此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

大数据

大数据 大手笔 大挑战
作者:   来源:中国信息产业网   日期:2014-05-16

    大数据,这项具有解决庞大复杂任务能力的新技术,被喻为创新、竞争和生产力的新前沿。在此前的一次国际电信联盟(简称国际电联)大会上,各方认为大数据通过比其他来源的数据更低的成本提供实时信息,在促进发展方面具有巨大潜力。

    大数据前景可期

    几乎与数据或商业信息相关的任何事物都可以被称为“大数据”,大数据的流行似乎与云计算带来的热潮相契合。其中现有产品被重新命名为“具备云功能的”,整个组织可以在一夜间转移到“云”。

    大数据的能力也使得来自物理、计算机科学、基因组学和经济学等不同领域的研究人员兴奋不已。这种新的分析能力可望在较短的时间和空间内分析更多的数据,令相关方在横跨金融、卫生和研究的各个领域作出更好更快的决策。

    2013年年初震撼了欧洲几个国家的一件食品丑闻证明了大数据在解决危机方面的能力。该丑闻涉及欺诈、错误标签和不符合标准的供应链管理的网络等环节。这不是第一起食品丑闻而且肯定不会是最后一起。对于有成千上万条分支和数百个供应商的全球餐饮连锁企业来说,监控每种成分的来源和质量几乎是不可能的。然而,现在数据可用性和先进的实时分析提供了尽早发现(或者更好地是阻止)违规现象的一种方式。通过数据分析,揭露了导致丑闻的事件并加以解决。这一事件凸显了对于多方、多层面、国际系统数据管理的前景和挑战。

    全球每天都会累积数十亿条独立数据,其来源包括供应商数据、交货单、餐厅地点、雇佣记录、 DNA记录、来自国际刑警组织的国际罪犯数据库中的数据,还有如位置登记之类的客户投诉和用户生成内容,以及社交媒体网站上的短信、照片和视频。从这些海量异构数据中提炼出真知灼见需要确定相关的数据项,发现它们之间的模式,以得出准确的、全面的和可操作的结论。

    大数据的四大特点

    虽然没有确切的定义,但目前有四个共同特点有助于描述大数据——数据量、速度、多样性和准确性。

    数据量可能是大数据分析最引人注目的亮点。例如在医疗卫生领域,基于大量人口范围对治疗的有效性进行评估所产生的结果要远比在100例患者的数据集上所做的同样分析更为可靠。虽然形容词“大”并没有量化,但据估计,在当今世界中90%的数据是在过去的两年中创建的,机器和人类都为数据增长作出了贡献。

    决策的速度——从数据输入到决策输出所花的时间是一个关键因素。新的技术能够实时或近实时地处理庞大的数据量。这提高了组织应对市场变化、客户喜好改变或欺诈行为迹象的灵活性。速度和紧密的信息反馈途径是一些行业获得竞争优势的关键部分,对于金融业务市场中的高频交易者尤为如此。

    多样性是大数据的杂乱的现实。文字、传感器数据、通话记录、地图、音频、图像、视频、点击流、日志文件和其他各种信息需要时间和精力整理成适合的形式来处理与分析。系统分析多种来源数据的能力是至关重要的,因为这样可以产生靠单独分析一种类型的数据所无法获取的深层次信息。

    评估数据的准确性的能力对于为重要决策构建基础是必不可少的。大数据集反映了数据项中不一致、不完整、不明确和延迟等不确定性。这种变化的不确定性水平必须被纳入决策过程中。因此,一个系统需要能力来区分、评价、权衡或排列不同的数据集以保持准确性。

    行业应用初露锋芒

    在医疗行业中,数据是记录个别病人病情和所给予的治疗的关键。随着医学影像存档以每年20%至40%的幅度增加,到2015年,预计平均每家医院每年将产生665TB的医疗数据。医疗领域大数据分析的应用在多个方面有着众多的用途,无论是在研究还是实践方面。例如,服务于慢性病患者的远程病人监护系统可以减少预约医生、到急诊处就诊和住院时间,提高护理目标,并防止一些长期并发症。

    对病人特点、治疗结果和费用的大型数据集进行分析,可以帮助确定最有效的临床及具成本效益的治疗应用。此外,分析全球疾病模式,以在早期阶段确定病情发展趋势不仅是公共健康危机管理的一项关键任务,同时也能使制药和医疗部门对其产品的未来需求进行建模,作为决定研发投资的基础。

    大数据的一个突出例子是为解决宇宙奥秘所做的工作。距国际电联总部仅几分钟车程,欧洲核子研究组织(CERN)是世界上目前已知的最大型的实验基地。五十多年以来,CERN一直在处理其研究基本粒子和它们相互作用力的实验所产生不断增长的数据流。在大型强子对撞机(LHC)方面,为满足储存、分发和分析每年产生的高达30 PB数据的需要,2002年全球LHC计算网格诞生,提供全球计算机中心分布式网络。很多CERN的数据是非结构化的,只表示已经发生了某些情况。世界各地的科学家正在合作构建、重建和分析发生了何种情况及其原因。