大数据技术及应用
说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。
大数据技术及应用 【摘要】:随着互联网技术的飞速发展,特别是近年来云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。对大数据的产生背景和基本概念进行剖析，并对大数据的主要应用作简单对比.在此基础上,阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战. 【关键字】：大数据 发展趋势 应用 机遇和挑战 一、大数据时代的背景 半个世纪以来,随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博)、物联网（传感器,智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险)、电信（通话、短信）都在疯狂产生着数据。2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据"时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。” 二、什么是大数据 大数据(Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息.如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解.对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。 （一）大数据的4V特征 大量化(Volume):企业面临着数据量的大规模增长.例如,IDC最近的报告预测称，到2020年，全球数据量将扩大50倍.目前,大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑.此外，各种意想不到的来源都能产生数据. 多样化（Variety)：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。 快速化（Velocity）:高速描述的是数据被创建和移动的速度.在高速网络时代，通过基于实现 软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求.根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。 价值（Value）：大量的不相关信息，浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等） 三、大数据时代对生活、工作的影响 大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数"管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据,得数据者得天下。 “大数据"的影响,增加了对信息管理专家的需求.事实上,大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬"和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址.而在零售业中，数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。 大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的，公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。 四、大数据时代的发展方向、趋势 根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示:被调查者最关注的大数据技术中,排在前五位的分别是大数据分析（12.91％）、云数据库(11.82％）、Hadoop（11.73%）、内存数据库(11.64％）以及数据安全(9。21%）。Hadoop已不再是人们心目中仅有的大数据技术,而大数据分析成为最被关注的技术。从中可以看出，人们对大数据的了解已经逐渐深入，关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势，那么大数据分析中的哪项功能是最重要的呢？从下图可以看出，排在前三位的功能分别是实时分析(21。32%)、丰富的挖掘模型(17。97％)和可视化界面(15。91%）。2012年也曾做过类似的调查，当时选择丰富的挖掘模型（27.22％)比实时分析（19.88%）多7.34％.短短一年时间内,企业对实时分析的需求激增，成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出：企业在未来一两年中有迫切部署大数据的需求，并且已经从一开始的基础设施建设，逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时，大数据还面临人才的缺乏的挑战，需要企业和高校联合起来，培养数据领域的复合型人才，帮助企业打赢这场“数据战”。 五、大数据的应用 （一）行业拓展者，打造大数据行业基石 你IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉(混搭供电合作的网络平台）;业务事件处理;IBM Mashup Center的计量，监测，和商业化服务(MMMS）。 IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights,基于Apache Hadoop。 该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析。软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案 微软：2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列 本文来源：https://www.wddqw.com/doc/7d17cab52c3f5727a5e9856a561252d381eb204a.html