2024-06-19
从谷歌流感趋势谈大数据分析的光荣与陷阱 本文从谷歌流感趋势2009年前后表现差异谈起，讨论了大数据分析容易面临的大数据自大、算法演化、看不见的动机导致数据生成机制变化等陷阱，以及对我国大数据产业发展的借鉴。
一项发表在《科学》杂志政策论坛上的新研究利用 谷歌流感趋势 （GoogleFluTrends，GFT）作为范例，解释了大数据分析为何会背离事实，并提出了大数据时代背景下一些值得思考的事。谷歌发现某些搜索关键词可以很好地标示流感疫情的现状。
果忽略了一些我们以前所熟知的统计学中的教训，大数据可能注定会 让我们失望。Spiegelhalter 教授曾说到：“大数据中有大量的小数据问题 这些问题不会随着数据量的增大而消失，它们只会更加突出。
谷歌流感趋势充分体现了数据重组和扩展对数据价值的重要意义不对。
换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。大数据的及时性 谷歌流感趋势 谷歌有一个名为谷歌流感趋势的工具，它通过跟踪搜索词相关数据来判断全美地区的流感情况（比如患者会搜索流感两个字）。
事实上，大数据分析应用于防范非传统安全威胁在欧美国家早有例证。比如，美国国家海洋和大气管理局利用大数据方法协助进行气候、生态系统、天气的研究；“谷歌流感趋势”工具使用经过汇总的谷歌搜索数据来估测流感疫情，有效实施对疾病爆发的跟踪和处理。
1、分析目标不明确 “海量的数据其实并不能产生海量的财富。” 许多数据分析人员未能确立明确的分析目标，因此在处理海量数据时容易迷失方向。要么收集了错误的数据，要么数据收集不完整，这些都会影响分析的准确性。 数据收集过程中的误差 在数据收集阶段，软件或硬件的错误可能会引入误差。
2、变量之间关系可以分为两类 函数关系：反映了事物之间某种确定性关系。
3、就算了解数据分析，聪明人在进行数据分析时，也会犯错。下面5个错误就是聪明人也常犯的5个错误： 走得太快，没空回头看路。初创公司里的人们仿佛一直在被人念着紧箍咒：“要么快要么死，要么快要么死。
4、无思路：数据杂乱，不知到从何入手 成因：分析的业务目标不明晰，致使数据采集过剩；分析方法与分析的场景不懂得怎样结合，导致无从下手。对策：首先，学会理解业务背景和团队的业务目标；熟悉各分析方法及应用场景，后面有介绍。
1、数据分析的程度可以在保证高质量的前提下进行，把相关对策提出来。总之，在现代企业管理中，统计工作是重要基础，其位置特别关键，只有抓好企业统计工作，才能把统计工作中的问题有效解决好，确保统计数据的质量，使企业在市场中具备很强的竞争能力，不断提高企业的经济效益。
2、科技统计的重要意义 事业单位、高校的科技课题与项目的统计数据，才是地方科技水平的体现。而国家或一个地区的科技资源若要进行合理的配置，使科技更好地为社会发展服务，必须要对科技活动进行宏观管理，依靠相关的科技政策来对科技活动机构的决策行为实行某些限制。
3、数据分析基线数据分析基线数据分析基线数据分析基线数据分析阈值线数据分析阈值线常见问题分析PCR扩增抑制（以Bio-CFX96为例）扩增曲线荧光强度大小及Ct值大小可提示存在抑制。H07存在扩增抑制；解决方法：将样本稀释后进行扩增。
4、一）以事后分析为主，对事前、事中管控不足 传统财务分析只能对已经发生的财务数据进行归集、处理，这时分析结果的实效性和有效性已经大大降低，既不利于企业财务管理的风险控制，也不利于企业的经营决策。
数据收集和分析是一件非常闷的工作，不管是收集还是分析，海量的数据里，经常会让人摸不着头绪，数据越多，整理分析起来越麻烦，也越容易让人烦燥，坚持不了的就会半途而废。
分析目标不明确 “海量的数据其实并不能产生海量的财富。” 许多数据分析人员未能确立明确的分析目标，因此在处理海量数据时容易迷失方向。要么收集了错误的数据，要么数据收集不完整，这些都会影响分析的准确性。 数据收集过程中的误差 在数据收集阶段，软件或硬件的错误可能会引入误差。
数据分析的门槛说低也低说高也高，低是因为市面上各种软件非常多，各种入门教程也很多，各种开源框架也很多。高是因为如果想要深入了解学习数据分析，确实需要一些数学统计基础，需要较强的逻辑能力和对数据的敏感性。我目前的解决办法是使用火车头采集器，模拟人工点击，下载每页数据。
