浅谈大数据的应用_大数据及应用

浅谈大数据的应用由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“大数据及应用”。

大数据的发展与应用

姓名：吕亚茹 专业：信息与计算科学

（二）学号：201100702040 摘要：随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的“大数据”时代，大数据在人类活动中的方方面面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。大数据的应用日益广泛，大数据最具潜力的应用领域也在日益显现。

关键字：大数据 发展 应用 潜力 云计算

一、大数据的基本概念

大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。

二、大数据的四个特征

大数据具有四个四个特征：海量性、多样性、高速性、易变性。

海量性：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。

多样性：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。

高速性：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。

易变性：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。

三、大数据时代数据的三个特征

除了大数据的四个特征，大数据时代的数据还呈现出其他三个特征。第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

四、大数据对人类的影响

（一）大数据对人类经济社会的影响

大数据对人类经济社会发展影响巨大，归纳起来主要有三个方面：

一是能够推动实现巨大经济效益。据麦肯锡全球研究院测算，大数据将给美国医疗服务业带来3000亿美元的价值，使美国零售业净利润增长达到60，使制造业产品开发、组装成本下降50。而大数据所带来的新的信息技术应用需求，将推动整个信息技术产业的创新发展，预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。

二是能够推动增强社会管理水平。大数据在政府和公共服务领域的应用，可有效推动政务工作开展，提高政府部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。

三是能够推动提高安全保障能力。大数据在国防、反恐、安全等领域的应用，将对各部门搜集到的各类信息进行自动分类、整理、分析，有效解决情报、监视和侦察系统不足等问题，提高国家安全保障能力。总而言之，大数据将为人们认识世界和改造世界提供新的强有力工具，使人们能更加容易地把握事物规律，更准确地预测未来。

（二）大数据对教育的影响

大数据时代推动教育的改革。

“一张试卷，它带给我们的数据是什么？分数的背后，还能读到什么有价值的信息？不得不承认，对于学生，我们知道的太少”——这是卡耐基在梅隆大学教育学院介绍中的一句直白，这同样是美国十大教育类年会中出镜率最高的核心议题。

大数据与传统数据最本质的区别体现在采集来源以及应用方向上。传统数据的整理方式更能够凸显群体水平——学生整体的学业水平，身体发育与体质状况，社会性情绪及适应性的发展，对学校的满意度等等。而大数据有能力去关注每一个个体学生的微观表现，诸如他在一道题上逗留了多久，在不同学科课堂上开小差的次数分别为多少等等。这些数据对其他个体没有意义，但所有学生的数据整合起来就能解答教育过程中的许多疑问。而最有价值的是，这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活。

举例来说，数据驱动教育工具已经在美国很大范围内使用了。16个州的学校，使用数据勘探技术去确认处于危险中的学生。通过使用关键因素(如旷课，纪律问题，课堂表现变化)预测模式，教育者可以确认哪些学生最有可能退学。大数据通过对于学生在课堂中点滴微观行为的捕捉，帮助我们了解学生对知识的掌握程度以及感兴趣程度，进而反思我们的教学是否满足了学生的需求。有了大数据，教育工作者们就需要针对分析出来的结果对教育模式进行适时的变更，从而真正做到以人为本、因材施教。

（三）大数据对现实生活的影响

大数据对现实生活的影响

数据产生方式现在已经被极大地改变，因为以前数据的生产都是由专业团体、专业人士，或者是专业公司完成，而现在数据产生更多是个体行为、是个人，每个人都可以使用自己所采集的终端来产生大量的数据。数据传统途径也发生了很大的变革，以前获取信息的来源基本上是报纸等平面媒体，或者电视、广播等传播媒体；现在很多信息来源通过互联网。互联网已经变成了媒体传播的主要途径，这个改变对整个社会也产生了非常大的改变。社交环境网络化变革，以前交朋友更多是生活的圈子，比如说同学、邻居、亲戚，现在更多的通过是互联网这种虚拟的环境。

数据存储习惯发生变化，以前都是把照片和文件备份到自己的电脑或者软盘上。现在这种观念已经改变，除非做保密工作，或者是年纪大一点的另当别论，大多数人就把它放到网上，在云中进行存储。社会安保系统变革，现在还没有真正实现，实现之后会对人们生活有非常大的变化。现在整个社会安保，整个城市里面已经有很多的传感器、摄像头等，通过它们可以使得社会变得更加安定，或者说发生案件会快速破案，这个系统对现在的安保系统会带来非常大的冲击。

2012年图像和视频数据在整个大数据的比例已经占到80%多，今年图像和视频数据在整个大数据的比例已经接近90%，真正的大数据核心是如何进行数据处理、如何挖掘数据，并找到数据的规律。而大数据处理是人们首先要解决的问题。

五、大数据最具潜力的应用领域

大数据在企业商业智能、公共服务和市场营销三个方面拥有巨大的潜力。

（一）大数据在商业智能的应用潜力

过去几十年，分析师们都依赖BI工具分析海量数据并生成报告。

传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。

而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。

此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。

（二）大数据在公共服务的应用潜力

大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而诚实，也是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。

客观的市政数据，是消除争端，维系公民社会的最佳纽带。当然，前提是让公民能够访问这些数据。苹果的Siri和谷歌的Google Now都具备成为个人化助理的潜力。当然，我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。此外，IBM的Watson以及Wolfram Alpha这样的人工智能技术还能实现与用户的互动。

（三）大数据在市场营销的应用潜力

大数据的第三大应用领域是市场营销。具体来说，是提升消费者与企业之间的关系。（卖得更多、更快、更有效率）

今天，最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址，发展到网页、社交媒体账户、博客等等。在这些五花八门的渠道里跟踪客户，将他们的每一次点击、收藏、“顶”、分享、加好友、转发等行为纳入企业的销售漏斗中并转化成收入是一个巨大的挑战。也就是所谓的“360度客户视角”。大数据已经与在线营销交织在一起，其应用可以分为两大类： 首先，从线上到线下。配备了NFC近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流，把在线零售的分析优化应用于线下。

其次，数据分析工具将更加容易使用（面向中小企业应用的大数据创业非常火爆），中小企业也许没有BI平台，但他们都有平板电脑和智能手机，移动版客户智能分析将会改变企业使用营销工具的方式。参考文献：

[1] 李建义.数据库原理及开发.北京：中国水利水电出版社，2005 [2] 维克托·迈尔·舍恩伯格.大数据时代.浙江：浙江人民出版社 2012 [3] 艾伯特-拉斯洛·巴拉巴西.爆发.[4] 关志刚 IT经理网 2012

北京：中国人民大学出版社 2012