论商业数据对统计的挑战与机遇

 

根据国际数据公司的相关研究，2011年全球数据产量达到1.8ZB，全球信息量每两年翻一番[1]。大数据时代，统计的发展既面临挑战，也面临机遇。挑战是指传统统计方法现阶段难以应用大数据，机遇是指基于统计对大数据进行处理和分析，使大数据具有可视化特征。因此，研究大数据对统计学的挑战和机遇具有重要的现实意义。1. 大数据及其目的目前，对大数据的定义还不是很明确。随着信息的不断膨胀，传统计算机原有的存储空间无法承载新处理的数据，产生了新兴的数据处理技术，如yahoo的Hadoop平台、谷歌的MapReduce等。这种技术可以消除僵化的层次结构和一致性，促进数据在没有常规数据库表的情况下进行排列，大大增加了人们可以处理[1]的数据量。