大数据的特征、价值及在政府中的应用_大数据应用价值分析
大数据的特征、价值及在政府中的应用由刀豆文库小编整理,希望给你工作、学习、生活带来方便,猜你可能喜欢“大数据应用价值分析”。
第十七届全国统计科学讨论会征文
大数据的特征、价值及在政府中的应用
胡 毅
摘 要:海量数据的浪潮正呼啸而来,被推向大数据前线的,远不止是商业为目的的众多企业,同时也有公共服务为目的的政府机构。与前者类似,政府在履行其职责——管理社会的过程中,正面临着越来越大的挑战,但在另一个角度上看,如果合理应对和运用这些数据,也必将为社会管理带来巨大的好处。
关键词:大数据特征 政府 应用
Big Data characteristics, value and application in
government
Hu Yi Abstract:Maive data are roaring waves, big data is pushed to the front line, far more than a busine for the purpose of many enterprises, but also a public service for the purpose of government agencies.Similarly with the former, the government in fulfilling its responsibilities-management of social proce, is facing increasing challenges, but in another point of view, if a reasonable response and use of these data will also provide management with social to huge benefits.Keyword :Big Data Characteristics government applications
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数 大数据时代来临[1]据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。
正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
所谓的大数据最直白的理解是海量数据,通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费很多时间和金钱。调研机构IDC认为,某项技术要想成为大数据技术,必须满足IBM所描述的三个“V”条件,即多样性(Variety)、大容量(VoIume)和时效性高(VeIocity)。
我们可以通过一组形象的数据来了解大数据的容量。一项对531名独立OracIe用户进行的调查发现,90%的企业的数据量在迅速上涨,其中 16%的企业的数据量每年增长率达到 50%或更高。不少企业已经感受到失控的数据增长对绩效造成的冲击,其中 87%的受访者将企业的应用程序性能下降归咎于不断增长的数据量。调研机构IDC在2011年6月的报告则显示,全球数据量在2011年已达到 1.8ZB,在过去5年里增加了5倍。
1.8ZB是什么样的概念呢?如果把所有这些数据都刻录存入普通DVD光盘里,光盘的高度将等同于从地球到月球的一个半来回也就是大约72万英里。相当于每位美国人每分钟写3条 Twitter微博,而且还要不停地写2.6976万年,是不是很恐怖?这还不是最恐怖的,IDC还预测全球数据量大约每两年翻一番,2015年全球数据量将达到近8ZB,到2020年,全球将达到35ZB。
2011年全球产生的数据量达 1.8ZB,并且预计将每年翻番。这一数据量相当于2000亿部时长2小时的高清电影,一个人要连续看4700万年才能看完。
通过形象的举例,也许你会感觉到恐怖,感觉到头都快爆炸的感觉,这么大的数据到底该怎么入手?具体到每一条数据,它都有它自身所承载的数据内容,反应的事物或者现象当然也是各式各样。但是我们从宏观上来看,数据并非是杂乱无章的,它也有他们的共同的特点和规律。
一、大数据的特征
大数据是指大量、高速、复杂、变化不定的数据,需要用先进的方法和技术实现信息的收集、存储、分配、管理和分析。
体量大、类型多和速度快是大数据的显著特征。目前,15%的信息是结构化信息,便于存储在关系型数据库中。电子邮件、视频、呼叫中心对话和社交媒体等非结构化信息占85%,这对于运用常规的业务情报工具来提取有意义的信息造成了挑战。传感器、平板电脑和移动电话等产生信息的设备继续成倍增加。随着全世界的联系更加紧密,社交网络也在加速发展。这些共享信息的选择意味着公众、政府和企业间互动方式的根本转变。
从大数据的特征来看,数据源增加、传感器的分辨率提高,使得大数据的体量大。数据源增加、数据通讯的吞吐量提高、数据生成设备的计算能力提高,使得大数据的速度快。移动设备、社交媒体、视频、聊天、基因组学研究和各种传感器使得大数据的类型多以数据为基础的决策要可追溯,要有理有据,这使得大数据还应具备准确性的特征。
大数据的这些特征将决定政府在大数据业务和整个大数据生态系统中收集、分析、管理、存储及分配数据的方式。
二、大数据的大价值
巨量数据正在成为一种资源,一种生产要素,渗透至各个领域,而拥有大数据能力,即善于聚合信息并有效利用数据,将会带来层出不穷的创新,从某种意义上说它代表着一种生产力,麦肯锡认为,“人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”
大数据将带来此起彼伏的IT技术革命。为解决日益增长的海量数据、数据多样性、数据处理时效性等问题,一定会在存储器、数据仓库、系统架构、人工智能、数据挖掘分析以及信息通讯等方面不断涌现突破性技术,当今世界IT巨头、IT敏锐的创新者们正努力耕耘在大数据技术领域,大数据将成为IT的主战场。
大数据将在各行各业引发各类创新模式。随着大数据的发展,行业渐进融合,以前认为不相关的行业通过大数据技术有了相通的渠道,沃尔玛通过数据挖掘将风马牛不相及的“啤酒与尿布”联系在一起,大数据将会产生新的生产模式、商业模式、管理模式,这些新模式对经济社会发展带来深刻影响。
大数据将给人们生活带来翻天覆地的变化。大数据技术进步将极大地惠及人们生活的方方面面,在家有智能管家帮助你美好生活;外出购物,商家会根据你的消费习惯将购物信息通过无线互联网推送给你;外出就餐,车载语音助手会帮你挑选餐厅并告诉你即时的周边情况和停车状况。衣食住行的便利将无处不在。
大数据将提升电子政务和政府社会治理的效率。大数据的包容性将打开政府各部门间、政府与市民间的边界,信息孤岛现象大幅消减,数据共享成为可能,政府各机构协同办公效率和为民办事效率提高,同时大数据将极大地提升政府社会治理能力和公共服务能力。
驾驭大数据,在整个政府和全球经济中创造价值,其影响是广泛而深远的。
政府善政的许多重要原则与大数据有相通之处。从根本上说,大数据能够通过改进政府机构和整个政府的决策,使政府机构更加英明地提高政府工作效率,为利益相关者服务。利用各种渠道的各种数据,快速获得关键、准确的深刻见解,将显著改进政府的各项关键政策和工作。
我们可以从下面的例子看出大数据的价值和大数据的重要性,2012年5月10日,马云卸任CEO,早在卸任前,马云已经为阿里巴巴的未来定下了很清晰的架构,包括将公司拆分成25个事业部,按照平台、数据、金融三大方向调整集团发展方向;而近期阿里巴巴大手笔收购新浪微博、高德地图等举措,也传递出阿里集团正在填补产业和产品空缺,积极布局大数据时代下的新市场。
卸任演讲中,“大数据”同样是焦点。马云说:“这是一个变化的时代——还有人没搞清楚PC(个人电脑),移动互联网来了;还没搞清楚移动互联网,大数据就来了。”
至于马云的接任者陆兆禧,更是无独有偶——原集团首席数据官。
马云曾经说过,现阶段的电子商务只能是“前传”,仅仅释放了电子商务的部分能量;而电子商务的“后传”将全面渗透到各行各业、各个角落、各个业务流程,全面推动行业、企业、经济的转型,更深度地渗透到各个领域。不论是融合还是整合,“数据”既是基础,也是渠道。
事实上,在阿里巴巴集团的发展中,一直都很重视数据的重要性。例如,集团很早就成立了研究中心,不定期地发布各种基于产业数据的报告。在最新一份报告、即5月9日发布的《增长极:从新兴市场国家到互联网经济体——信息经济前景研究报告》中,就基于数据,首次提出了“电子商务经
济体”的概念,详细分析了以淘宝网为代表的中国电子商务经济体给中国经济带来的巨大 变化,并且判断,到2020年,中国电子商务经济体规模预计达到47.8万亿元,接近2012年中国全年GDP总额。与此同时,阿里旗下的淘宝、支付宝、聚划算等平台,也各有自身的数据分析中心。这些数据分析中心一边在出具类似“最受欢迎的夏季服装是什么”、“‘舌尖上的中国’带动哪些产品”等生活类、趣味类数据分析报告;另边也在捕捉市场变化、判断市场走向,并且将结果作为卖家以及上游生产企业的发展和创新依据。
毫无疑问,大数据时代中的阿里巴巴将进一步利用数据的力量,拓展市场。多年前,B2C(企业对个人)还是电子商务市场最为流行的模式,因为它让很多企业有了直接面对消费者的机会;可在那时,阿里巴巴就预测,在B2C之后,就是C2B(个人决定企业)的市场——而这,既是基于分析数据的基础,也是对数据的重新利用。相信未来,阿里巴巴旗下众多平台上的交易数据,将成为一个个全新的产品。
越来越多的中国人习惯了用智能手机搜索附近的美食、查找交通线路,上网选购物品,不停地登录社交网站记录生活的每一个瞬间。也许,他们并不知道自己已经成为“大数据”时代的忠实“粉丝”。
“在信息技术融合应用的新时代,大数据就是像黄金一样的新型经济资产、像石油一样的重要战略资源。”中国科学院院士邬贺铨在不久前召开的“宽带中国与光纤通信”高峰论坛上说,随着移动带宽技术的迅速提升,更多的传感设备、移动终端随时随地地接入网络,产生了大量的数据,并且仍在以惊人的速度迅猛增长。
“在云计算、物联网等技术的带动下,中国已步入‘大数据’时代。”邬贺铨介绍说,过去短短的18个月,中国移动互联网流量增加了10倍,占到全球互联网流量的10%成为名副其实的“世界数据中心”。
利用智能手机、计算机、平板电脑等各种现代通信工具,现代社会人们不停地在向分布在全球各地的服务器发送数据、获取数据。这些服务全依赖于“大数据”的支撑,其背后所涉及的定位、资料检索、存储、数据交换等一系列复杂的数据处理,正在对每一个领域造成深远的影响。
邬贺铨说,我们正在进行一场全新的革命,庞大的数据带来的量化转变将在各领域迅速蔓延,没有哪个领域能够逃脱它的影响。
据有关机构测算,大数据已成为全球IT产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元,2015年将超过170亿美元,平均年增长速度超过50%。作为全球大数据产业的重要组成,中国大数据潜在市场规模未来有望达到2万亿人民币。
身处“大数据”时代,中国正多方位布局“大数据”产业,各地政府、通信公司、科研院所、IT企业等都“摩拳擦掌”,希望能在这个大蛋糕里分到“一杯羹”。
2012年4月,中国移动、中国联通、中国电信三大运营商不约而同地落户西安西咸大数据处理与服务产业园,这是中国首家以大数据业务为中心的高新园区。投资20亿元的中国联通项目已经签订合作备忘录,分三期建设西北大区数据中心、呼叫中心和西咸新区运营中心。
7月,全球知名电子商务品牌阿里巴巴集团在管理层设置了“首席数据官”一职,管理“聚石塔”――一个大型的数据分享平台,它通过共享阿里巴巴旗下的子公司淘宝、天猫、支付宝等的数据
资源来创造价值。同样的平台模式也出现在中国另一家的互联网巨头――腾讯,腾讯正通过建立社区开放平台来实现大量的数据互通,以挖掘更大的商机。
三、大数据的应用现状
(一)大数据已经深耕于经济领域并创造了巨大的经济价值
一是美国的大数据产业已经创造了巨大的价值。医疗。对于医疗服务的提供方和支付方来说,在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标,而这也是改善民生的重大机遇。2010年,全美医疗支出占国内生产总值的17.9%,比2000年增长13.8%。而且,某些慢性疾病如糖尿病的患病率正在增加,正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果,更多地使用电子健康记录(电子健康档案),并与新的分析工具相结合,将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势,并依据真实的医疗服务质量开展医疗评估。
交通。通过完善信息和自动驾驶功能,大数据有可能在许多方面彻底改变交通的面貌。开车的人多,交通堵塞就多,其后果是浪费能源,造成全球气候变暖,耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息,再加上更好的自动驾驶功能,可以使驾驶更安全,交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。
教育。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如,通过深入地跟踪和分析学生的在线学习活动——精细至每个鼠标点击动作,研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行,而不是孤立的小型研究。课程和教学方法,无论是在线的,还是传统的,都可以根据大规模分析所收集到的信息进行修订。
征税。由于迅速发现异常的能力日益增加,政府税务部门可以缩小“税收缺口”,即纳税人应付税款与其自愿缴税额之间的差额,并且对于那些试图进行不当纳税申报的人,会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下,它们接受纳税人的纳税申报单并办理退税,并对一部分纳税申报单进行抽查,以找出有意或无意欠税的情况。大数据则能够提高欺诈检测的水平,在纳税申报之初就揭露违规情况,减少问题退税的发放。资料表明,在医疗领域每年产生3000亿美元的潜在价值;在公共管理部门,每年产生2500亿美元的潜在价值;在个人位置数据领域,每年产生1000亿美元的市场;在零售业能够增加60%的营业额;在制造业部门,能够降低50%的产品开发及装配成本。二是大数据在欧洲公共管理部门得到深入应用。大数据在OECD组织中的欧洲国家公共管理部门创造了1500到3000亿欧元或更高的潜在经济价值,这些经济价值主要通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且出现供需缺口。Gartner咨询公司预测,到2015年,大数据人才需求达到440万人,人才需求缺口将达到三分之一。
(二)欧美等发达国家把数据资产上升到国家信息战略高度
一是美国已经布局大数据产业。2012年3月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油与矿产”,将“大数据研究”上升为国家意志,对未来的科技与经
济发展必将带来深远影响。二是欧盟及日韩将会紧随其后。继美国率先开启大数据国家战略先河之后,欧盟、日本及韩国等国家也将跟进,预计不久相应的战略举措也将出台。数据规模及运用数据的能力将成为综合国力的重要组成部分,对数据的占有和控制也将成为国家间争夺的焦点。
(三)我国大数据产业应用现状
在全球经济、技术一体化的今天,我国IT行业已经开启了大数据的起航之旅,大数据已经在经济领域发挥重要作用。据计世咨讯预测,2012年,政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的应用现状如下。
1、大数据在经济预警方面发挥重要作用
在2008年金融危机中,阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑,预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警,为预防危机做好了准备。
2、大数据分析成为市场营销的重要手段
与传统的市场研究方法不同,大数据的市场研究方法不再局限于抽样调查,而是基于几乎全样本空间。例如,百度拥有中国最大的消费者行为数据库,覆盖95%的中国网民,搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具,帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息,根据百度分析的结论,宝洁适时地调整了营销策略。
3、大数据在临床诊断、远程监控、药品研发等领域发挥重要作用
我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据,医院能够精准地分析病人的体征、治疗费用和疗效数据,可避免过度及副作用较为明显的治疗,此外还可以利用这些数据进行实现计算机远程监护,对慢性病进行管理等。
4、大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑
大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台,导入客户社交网络、电子商务、终端媒体产生的数据,从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析,进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性,银行等金融部门能够实施风险及营销管理。
当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
四、当下我国大数据建设应在以下四个方面着力
一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。
二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准,为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享,才有生命力。应在各专用数据库建设的基础上,通过数据集成,实现各级各类指挥信息系统的数据交换和数据共享。
四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
作者简介:
姓 名:胡毅
工作单位:山西省夏县统计局 职 称:助理统计师 身份证号:***010 通讯地址:山西省夏县东风西街14号夏县统计局 邮 编:044400 联系电话:*** 电子邮件地址:huyi63@126.com
个人简历:2005.09——2009.07 运城学院
2009.07——2011.07 运城市公安局
2011.07——现在 夏县统计局