大数据浪潮

大数据浪潮

1、 什么是大数据

研究报告将大数据定义为，由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享、交叉复用形成的智力资源和知识服务能力。大数据技术的战略意义在于对这些有意义的数据进行专业化处理，从海量数据中发掘出真正的价值。

2、 大数据提出背景

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”。 “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

“大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多，相当于美国两年的纸质信件数量；发出的社区帖子达200万个，相当于《时代》杂志770年的文字量；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。

目前，百度的总数据量已经超过1000PB，每天需要处理的网页数据达到10PB~100PB；

淘宝累计的交易数据量高达100PB；Twitter每天发布超过2亿条消息，新浪微博每天发帖量大道8000万条；中国移动一个省的电话通信记录数据每月可达0.5PB~1PB；一个省会城市道路车辆监控数据三年可达200亿条、总量120TB。。。在这个时代，信息（也是数据）的极大膨胀和爆炸，因此诞生了“大数据时代”。

3、大数据的特点

大数据的特征可以用4个V（即Volume、Variety、Value、Velocity）来概括：

一是数据体量巨大（Volume）。截止目前，人类生产的所有印刷材料的数据量是200PB（1PB=210TB）。而历史上全人类说过的所有的话的数据量大约是5EB（1EB=210PB）。当前，典型个人计算机硬盘的容量为TB量级，而一些大型企业的数据量已经接近EB量级。

二是数据类型繁多（Variety）。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

三是价值密度低（Value）。价值密度的高低与数据总量的大小成反比，以视频为例，一部1小时的视频，在连续不间断的监控中，游泳数据可能仅有1~2秒。如何通过欠打的机器算法更迅速的完成数据的价值提纯，成为目前大数据北京下系带解决的难题。

四是处理速度快（Velocity）。这是大数据区分于传统数据挖掘的最显著特征。根据IDC数字宇宙的报告，预计在2020年，全球以电子形式存储的数据量将达到35.2ZB。

3、大数据时代对人们生活的影响

（1）首先，大数据改变了我们的思维方式和教育方式。

（2）大数据改变了我们的生活方式，物质产品的生产退居次位，信息产品的加工将成为主要的生产活动；

（3）大数据改变了我们的生活方式，我们的精神世界和物质世界都将构建在大数据之上。

现如今，我们是大数据的制造者，我们是名副其实的“数据人”。

我们制造数据：在QQ、微信上发聊天信息，在上分享链接，在BBS论坛上发表帖子，在博客上发表日志。。。

我们消费数据：看到了好友的聊天信息，看记者记录的新闻，听音乐，看视频。。。

我们制造垃圾数据：发表无意义的回帖“顶”、胡乱编造网上个人档案信息、设计混乱不堪虚拟信息众多的个人网页。。。

我们的消费行为习惯，交友习惯，音乐喜好、电影偏好、小说偏好都是可以被网络所记录下来的。如果单放在一个网站中，就可以提炼出有着于一个人的档案信息，甚至可以推测出，这个人的性别年龄，出身背景、学历情况等等信息。

数据人，很多情况下可以帮助我们创建一个现实世界的映象。如大众点评网，58同城这些真实性较高的网站。大众点评网，将收集用户对商家、商品的点评信息汇总起来，而

供其他网友参考，形成一个现实世界的评价数据库。又如google地图，通过对网友标记的真实性遴选，google甚至知道一些国家的军事基地的确切位置。因此有些比较保守的国家了网友使用ugc的google地图。

数据世界，现实世界的另一重世界。未来的物联网的出现，将极大非常数据世界的拓充。IBM公司，甚至设想了所谓的智慧城市，并且以此作为了他们的商业解决方案，在世界各国推广他们的智慧城市的解决方案。其实这一切，不过是将现实世界，装入世界中。将现实世界的东西虚拟化、数据化、电子化（物联网）。

数据上的机器智能也将诞生，如google在研制的智能自动驾驶汽车。这个汽车的特点是会自动GPS定位，并将参考google地图所到线路图，由智能芯片、智能外设及时获取外界实时数据，然后综合分析，以进行自动的路线选择、车辆避让。从而真正的让电子计算机来自动驾驶汽车。从这里我们看到，这是一个完全的自动驾驶解决方案。依赖于GPS系统、GOOGLE地图系统、芯片及机器人视觉系统。是一个完全的数据化、电子化、信息化解决方案。