入
“大数据”无处不在
谷歌公司在2009年比美国国家疾控中心更早知道甲型H1N1流感的暴发时间、地域;苹果之父乔布斯是全球第一个拥有自身整个基因密码的人;美国Target百货公司在完全不和顾客沟通的情况下比少女的父亲更早知道女儿怀孕的信息。
这些也仅仅是大数据时代的冰山一角,大数据的作用不仅限于此。无论企业还是政府,都已经意识到将巨量的数据进行计算分析并进行下一步的推测非常有用。
但是,大数据带来的不仅是各种便利及机会,同样也会让我们时刻都暴露在“第三只眼”之下,个人隐私受到了前所未有的威胁。
说到大数据,必须先了解之前的“小数据”时代。鉴于工具及方法的局限,很难做到大规模的数据采集并进行分析,而且成本颇高、时效性差。为解决问题,统计学家们发挥出作用,提出以随机采样的方式来替代全数据采集,不过其成功取决于样本选择的随机性,但实际上非常难以实现,一旦采样过程存在任何偏见,分析结果就会相去甚远。来到大数据时代,由于有了足够的数据处理和存储能力,加上最先进的分析技术,就能做到放弃样本分析这条捷径,选择收集全面而完整的数据,即采取全数据模式“样本=总体”。
大数据的特点就是“大”,而且随着时间的推移,数据的容量将会越来越大。2012年一年,我们创造了2.8泽字节(泽)的数据。1个泽字节为1,000,000,000,000,000,000千字节。专家预测说,到2020年,每年新创的数据容量将会达到40泽字节。如果要用DVD光盘储存一天在互联网里传送的数据的话,大约需要2.5亿张光盘——这个数量每两年就会翻番。
热
大数据创造大价值
现在,企业、政府机构和科学家们都开始分析手头的数据资源。储存空间对于现代人来说不是问题,电脑也越来越先进,可以在短时间内分析出一大堆不同数据的内在联系。
大数据本身对普通人的作用其实不大,但大数据算法和应用程序现在却几乎无处不在。例如,通过算法对大数据进行分析,信用卡公司能够很快地发现用卡异常情况,当信用卡在持卡人从未出现过的地方被刷时,系统会自动向持卡人发出警报;能源公司可以通过天气数据分析,精确地查找到使用风力涡轮发电机的理想地点;电商也开始通过数据分析优化营销策略,最常见的就是网页上的“购买了这件商品的顾客还买了……”
大数据创造价值是基于这样一个核心逻辑,即当今社会在商业、经济、政府及相关领域中,决策行为越来越取决于数据和分析,而不再是经验和直觉。大数据技术可以为决策提供一定的“预见参考”,而成功的分析和预见往往能带来商业和经济价值。
谷歌和脸谱网站目前的商业模式就是建立在搜集、分析和营销其客户制造出来的各类数据之上的,通过向用户推送为其量身定做的广告来实现。对于脸谱公司的投资者来说,“脸谱”掌握着超过10亿个人的资料数据,其商业价值至少达到1000万美元。从超市到汽车公司,从航空公司到银行和保险公司,将手头的巨量数据转化成盈利的前景让各行各业都开始心动。德国最大的IT产业协会BITKOM发表数据称,2012年全球与大数据应用相关的销售额达到了46亿欧元,到2016年这个数字会上升到160亿欧元。
说到商业应用,大数据技术创造价值的能力已经在英国崭露头角。一份行业报告显示,英国政府通过高效使用公共大数据技术每年可节省约330亿英镑,相当于英国每人每年节省约500英镑。
一些政府机构也开始利用大数据来改进工作。在瑞典首都斯德哥尔摩,有关部门使用数据算法管理交通后,驾车通过该市中心城区的时间缩短了一半,尾气排放也下降了10%。
虽然经济不景气,财政被迫收紧,但大数据依然是英国政府舍得为之一掷千金的“宠儿”。今年年初,英国商业、创新和技能部宣布,将注资6亿英镑(1英镑约合1.52美元)发展8类高新技术,大数据独揽其中的1.89亿英镑。
在医药和科学界,与大数据有关的应用也相继试水。
忧
生活在“第三只眼”下
大数据带来的不仅是各种便利及机会,同样也会让我们时刻都暴露在“第三只眼”之下。
生活处处被窥视
亚马逊网站监视我们的购物习惯,谷歌监视着我们的网页浏览习惯,而微博窃取着我们的社交关系网。在各种机构搜集数据的同时,普通人的各种私人信息也会成为被收集的数据。在哪里使用了购物卡、租用汽车等等,这些信息都会被收集起来。
这些私人信息被收集起来后会供给谁使用?会继续保持匿名,还是在使用后被删除?曾经有公司宣布要通过“脸谱”、推特和其他社交网站收集的信息分析个人的贷款信誉,结果引发了民众的抗议,这个计划最终被取消。
在荷兰,许多使用“TomTom”牌导航仪的司机发现,生产商将导航仪记录下来的数据信息打包卖给了荷兰政府,警察根据数据显示的司机驾驶习惯,在那些最可能“创收”的地方设置了限速“陷阱”,不少司机都因此“中招”。此事被曝光后,TomTom公司的CEO公开道歉。
可能遭遇数据“轰炸”
当大数据应用软件细化和明确到每个人的数据时,企业就可以针对每个人的喜好来进行非常具体的营销。例如,如果某人在社交网站上表示自己喜欢某个品牌某个款式的牛仔裤,那么百货商店就可以在此人下一次进入该品牌专柜时向他的手机发送该款式的优惠券。也许零售商和部分消费者会喜欢这种促销模式,但是其中涉及的隐私泄露也是非常可怕的。
迄今为止,许多公司都会标明收集的信息是“匿名”的,但信息越多,被对号入座的可能性就越大。已经有研究显示,这些收集到的移动样本是如此的不同,以致它们可以被用来“独特地标识出95%的个体”。
美国普林斯顿大学的计算机科学家纳拉亚南表示,只需要33比特(二进位制信息单位)的信息,就足以辨识出一个人的身份。
在大数据的采集和分析中,还会存在着各种偏差,哈佛商业评论博客作者凯特·克劳福德最近发表的一篇博文阐述了大数据的隐形偏差。他表示,数据和数据集本身并不是客观的,而是由人们设计的,是人们用数据来说话,从数据进行推断以及解释数据。因此在数据采集和数据分析阶段,都不可避免地存在偏差。(文字:彭玉磊)