论商业数据对统计的挑战与机遇
根据国际数据公司的相关研究,2011年全球数据产量达到1.8ZB,全球信息量每两年翻一番[1]。大数据时代,统计的发展既面临挑战,也面临机遇。挑战是指传统统计方法现阶段难以应用大数据,机遇是指基于统计对大数据进行处理和分析,使大数据具有可视化特征。因此,研究大数据对统计学的挑战和机遇具有重要的现实意义。1. 大数据及其目的目前,对大数据的定义还不是很明确。随着信息的不断膨胀,传统计算机原有的存储空间无法承载新处理的数据,产生了新兴的数据处理技术,如yahoo的Hadoop平台、谷歌的MapReduce等。这种技术可以消除僵化的层次结构和一致性,促进数据在没有常规数据库表的情况下进行排列,大大增加了人们可以处理[1]的数据量。