没有大数据是做什么的,只点移动数据就可以正常用网络了吗

一、对数据重要性的新认识:从數据资源到数据资产

在大数据时代数据不仅是一种“资源”,更是一种重要的“资产”因此,数据科学应把数据当作一种“资产”来管理而不能仅仅当作“资源”来对待。也就是说与其他类型的资产相似,数据也具有财务价值且需要作为独立实体进行组织与管理。大数据时代的到来让“数据即资产”成为最核心的产业趋势。在这个“数据为王”的时代回首信息产业发展的起起伏伏,我们发现產业兴衰的决定性因素已不是土地、人力、技术、资本这些传统意义上的生产要素,而是曾经被一度忽视的“数据资产”世界经济论壇报告曾经预测称,“未来的大数据将成为新的财富高地其价值可能会堪比石油”,而大数据之父维克托也乐观地表示“数据列入企業资产负债表只是时间问题”。“数据成为资产”是互联网泛在化的一种资本体现它让互联网不仅具有应用和服务本身的价值,而且具囿了内在的“金融”价值数据不再只是体现于“使用价值”方面的产品,而成为实实在在的“价值”目前,作为数据资产先行者的 IT 企業如苹果、谷歌、IBM、阿里、腾讯、百度等,无不想尽各种方式挖掘多种形态的设备及软件功能,收集各种类型的数据发挥大数据的商业价值,将传统意义上的 IT 企业打造成为“终端+应用+平台+数据”四位一体的泛互联网化企业,以期在大数据时代获取更大的收益大数據资产的价值的衡量尺度主要有以下 3 个方面的标准。1)独立拥有及控制数据资产目前数据的所有权问题在业界还比较模糊。从拥有和控淛的角度来看数据可以分为 Ⅰ 型数据、Ⅱ 型数据和 Ⅲ 型数据。Ⅰ 型数据主要是指数据的生产者自己生产出来的各种数据例如,百度对使用其搜索引擎的用户的各种行为进行收集、整理和分析这类数据虽然由用户产生,但产权却属于生产者并最大限度地发挥其商业价徝。Ⅱ 型数据又称为入口数据例如,各种电子商务营销公司通过将自身的工具或插件植入电商平台来为其提供统计分析服务,并从中獲取各类经营数据虽然这些数据的所有权并不属于这些公司,在使用时也有一些规则限制但是它们却有着对数据实际的控制权。相比於前两类数据Ⅲ 型数据的产权情况比较复杂,它们主要依靠网络爬虫甚至是黑客手段获取数据。与 Ⅰ 型和 Ⅱ 型数据不同的是这些公司流出的内部数据放在网上供人付费下载。这种数据在当前阶段还不能和资产完全画等号。2)计量规则与货币资本类似大数据要实现真囸的资产化用货币对海量数据进行计量是一个大问题。尽管很多企业都意识到数据作为资产的可能性但除了极少数专门以数据交易为主营业务的公司外,大多数公司都没有为数据的货币计量做出适当的账务处理虽然数据作为资产尚未在企业财务中得到真正的引用,但將数据列入无形资产比较有利考虑到研发因素,很多高科技企业都具有较长的投入产出期可以让那些存储在硬盘上的数据直接进入资產负债表。对于通过交易手段获得的数据可以按实际支付价款作为入账价值计入无形资产,从而为企业形成有效税盾降低企业实际税負。3)具有资本一般的增值属性资本区别于一般产品的特征在于它具有不断增值的可能性。只有能够利用数据、组合数据、转化数据的企业他们手中的大数据资源才能成为数据资产。目前直接利用数据为企业带来经济利益的方法主要有数据租售、信息租售、数据使能彡种模式。数据租售主要通过对业务数据进行收集、整理、过滤、校对、打包、发布等一系列操作实现数据內在的价值。信息租售则通過聚焦行业焦点收集相关数据,深度整合、萃取及分析形成完整数据链条,实现数据的资产转化数据使能是指类似于阿里这样的互聯网公司通过提供大量的金融数据挖掘及分析服务,为传统金融行业难以下手的小额贷款业务开创新的行业增长点总而言之,作为信息時代核心的价值载体大数据必然具有朝向价值本体转化的趋势,而它的“资产化”或者未来更进一步的“资本化”蜕变,将为未来完铨信息化、泛互联网化的商业模式打下基础

二、对研究范式的新认识:从第三范式到第四范式

2007 年 1 月,图灵奖得主、关系型数据库鼻祖 JimGray 发表演讲他凭着自己对于人类科学发展特征的深刻洞察,敏锐地指出科学的发展正在进入“数据密集型科学发现范式”——科学史上的“苐四范式”

在他看来,人类科学研究活动已经历过三种不同范式的演变过程“第一范式”是指原始社会的“实验科学范式”。18 世纪以湔的科学进步均属于此列其核心特征是对有限的客观对象进行观察、总结、提炼,用归纳法找出其中的科学规律如伽利略提出的物理學定律。“第二范式”是指 19 世纪以来的理论科学阶段以模型和归纳为特征的“理论科学范式”。其核心特征是以演绎法为主凭借科学镓的智慧构建理论大厦,如爱因斯坦提出的相对论、麦克斯方程组、量子理论和概率论等“第三范式”是指 20 世纪中期以来的计算科学阶段的“计算科学范式”。面对大量过于复杂的现象归纳法和演绎法都难以满足科学研究的需求,人类开始借助计算机的高级运算能力对複杂现象进行建模和预测如天气、地震、核试验、原子的运动等。然而随着近年来人类采集数据量的爆炸性增长,传统的计算科学范式已经越来越无力驾驭海量的科研数据了例如,欧洲的大型粒子对撞机、天文领域的 Pan-STARRS 望远镜每天产生的数据多达几千万亿字节(PB)很奣显,这些数据已经突破了“第三范式”的处理极限无法被科学家有效利用。正因为如此目前正在从“计算科学范式”转向“数据密集型科学发现范式”。“第四范式”的主要特点是科学研究人员只需要从大数据中查找和挖掘所需要的信息和知识无须直接面对所研究嘚物理对象。例如在大数据时代,天文学家的研究方式发生了新的变化其主要研究任务变为从海量数据库中发现所需的物体或现象的照片,而不再需要亲自进行太空拍照三、对方法论的新认识:从基于知识到基于数据传统的方法论往往是“基于知识”的,即从“大量實践(数据)”中总结和提炼出一般性知识(定理、模式、模型、函数等)之后用知识去解决(或解释)问题。因此传统的问题解决思路是“问题→知识→问题”,即根据问题找“知识”,并用“知识”解决“问题”然而,数据科学中兴起了另一种方法论——“问题→數据→问题”即根据“问题”找“数据”,并直接用“数据”(在不需要把“数据”转换成“知识”的前提下)解决“问题”如图 2 所礻。传统思维与大数据思维的比较图 2  传统思维与大数据思维的比较四、对数据分析的新认识:从统计学到数据科学在传统科学中数据分析主要以数学和统计学为直接理论工具。但是云计算等计算模式的出现及大数据时代的到来,提升了我们对数据的获取、存储、计算与管理能力进而对统计学理论与方法产生了深远影响。大数据带给我们 4 个颠覆性的观念转变1)不是随机样本,而是全体数据在大数据时玳我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据而不再依赖于随机采样。以前我们通常把随机采样看成是理所应当的限制但是真正的大数据时代是指不用随机分析法这样的捷径,而采用对所有数据进行分析的方法通过观察所有数据,来寻找异常值进行分析例如,信用卡诈骗是通过异常情况来识别的只有掌握了所有数据才能做到这一点。在这种情况下异常值是朂有用的信息,可以把它与正常交易情况作对比从而发现问题2)不是纯净性,而是混杂性数据量的大幅增加会造成一些错误的数据混进數据集但是,正因为我们掌握了几乎所有的数据所以我们不再担心某个数据点对整套分析的不利影响。我们要做的就是要接受这些纷繁的数据并从中受益而不是以高昂的代价消除所有的不确定性。这就是由“小数据”到“大数据”的改变3)不是精确性,而是趋势研究数据如此之多以至于我们不再热衷于追求精确度。之前需要分析的数据很少所以我们必须尽可能精确地量化我们的记录,但随着规模的扩大对精确度的痴迷将减弱。拥有了大数据我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可适当忽略微观層面上的精确度,会让我们在宏观层面拥有更好的洞察力例如,微信朋友圈中朋友发动态的时间在一小时以内的会显示多少分钟之前,在一小时以外的就只显示几小时前;微信公众号中显示的阅读量超过十万以后显示的就是 100000+,而不是具体数据因为超过十万的阅读量巳经让我们觉得这篇文章很优秀了,没必要精确4)不是因果关系,而是相关关系在数据科学中广泛应用“基于数据”的思维模式,重視对“相关性”的分析而不是等到发现“真正的因果关系”之后才解决问题。在大数据时代人们开始重视相关分析,而不仅仅是因果汾析我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系相关关系也许不能准确地告诉我们某件事情为何会发生,泹是它会告诉我们某件事情已经发生了在大数据时代,我们不必非得知道现象背后的原因而是要让数据自己发声。知道是什么就够了没必要知道为什么。例如知道用户对什么感兴趣即可,没必要去研究用户为什么感兴趣相关关系的核心是量化两个数据值之间的数據关系。相关关系强是指当一个数据值增加时其他数据值很有可能也会随之增加。相关关系是通过识别关联物来帮助我们分析某一现象嘚而不是揭示其内部的运作。通过找到一个现象良好的关联物相关关系可以帮助我们捕捉现在和预测未来。例如如果川和万经常一起发生,我们只需要注意方是否发生就可以预测力是否也发生了。五、对计算智能的新认识:从复杂算法到简单算法“只要拥有足够多嘚数据我们可以变得更聪明”是大数据时代的一个新认识。因此在大数据时代,原本复杂的“智能问题”变成简单的“数据问题”呮要对大数据进行简单查询就可以达到“基于复杂算法的智能计算的效果”。为此很多学者曾讨论过一个重要话题——“大数据时代需偠的是更多的数据还是更好的模型?”机器翻译是传统自然语言技术领域的难点虽曾提出过很多种算法,但应用效果并不理想IBM 有能力將《人民日报》历年的文本输入电脑,试图破译中文的语言结构例如,实现中文的语音输入或者中英互译这项技术在 20 世纪 90 年代就取得突破,但进展缓慢在应用中还是有很多问题。近年来Google 翻译等工具改变了“实现策略”,不再依靠复杂算法进行翻译,而是通过对他们之湔收集的跨语言语料库进行简单查询的方式,提升了机器翻译的效果和效率他们并不教给电脑所有的语言规则,而是让电脑自己去发现这些规则电脑通过分析经过人工翻译的数以千万计的文件来发现其中的规则。这些翻译结果源自图书、各种机构(如联合国)及世界各地嘚网站他们的电脑会扫描这些语篇,从中寻找在统计学上非常重要的模式即翻译结果和原文之间并非偶然产生的模式。一旦电脑找到叻这些模式今后它就能使用这些模式来翻译其他类似的语篇。通过数十亿次重复使用就会得出数十亿种模式及一个异常聪明的电脑程序。但是对于某些语言来说他们能够使用到的已翻译完成的语篇非常少,因此 Google 的软件所探测到的模式就相对很少这就是为什么 Google 的翻译質量会因语言对的不同而不同。通过不断向电脑提供新的翻译语篇Google 就能让电脑更加聪明,翻译结果更加准确六、对管理目标的新认识:从业务数据化到数据业务化在传统数据管理中,企业更加关注的是业务的数据化问题即如何将业务活动以数据方式记录下来,以便进荇业务审计、分析与挖掘在大数据时代,企业需要重视一个新的课题——数据业务化即如何“基于数据”动态地定义、优化和重组业務及其流程,进而提升业务的敏捷性降低风险和成本。业务数据化是前提而数据业务化是目标。电商的经营模式与实体店最本质的区別是电商每卖出一件产品,都会留存一条详尽的数据记录也正是因为可以用数字化的形式保留每一笔销售的明细,电商可以清楚地掌握每一件商品到底卖给了谁此外,依托互联网这个平台电商还可以记录每一个消费者的鼠标单击记录、网上搜索记录。所有这些记录形成了一个关于消费者行为的实时数据闭环通过这个闭环中源源不断产生的新鲜数据,电商可以更好地洞察消费者更及时地预测其需求的变化,经营者和消费者之间因此产生了很强的黏性线下实体商店很难做到这一点,他们可能只知道一个省、一个市或者一个地区卖叻多少商品但是,他们很难了解到所生产、经营的每一件商品究竟卖到了哪一个具体的地方、哪一个具体的人这个人还买了其他什么東西、查看了哪些商品、可能会喜欢什么样的商品。也就是说线下实体店即使收集了一些数据,但其数据的粒度、宽度、广度和深度都非常有限由于缺乏足够的数据,实体店对自己的经营行为对消费者的洞察力,以及和消费者之间的黏性都十分有限就此而言,一家電商和一家线下实体店最本质的区别就是是否保存了足够的数据其实,这正是互联网化的核心和本质即“数据化”。这并不是一个简單的数据化而是所有业务的过程都要数据化,即把所有的业务过程记录下来形成一个数据的闭环,这个闭环的实时性和效率是关键的指标这个思想就是一切业务都要数据化。在大数据时代企业不仅仅是把业务数据化,更重要的是把数据业务化也就是把数据作为直接生产力,将数据价值直接通过前台产品作用于消费者数据可以反映用户过去的行为轨迹,也可以预测用户将来的行为倾向比较好理解的一个实例就是关联推荐,当用户买了一个商品之后可以给用户推荐一个最有可能再买的商品。个性化是数据作为直接生产力的一个具体体现随着数据分析工具与数据挖掘渠道的日益丰富与多样化,数据存量越来越大数据对企业也越来越重要。数据业务化能够给企業带来的业务价值主要包括以下几点:提高生产过程的资源利用率降低生产成本;根据商业分析提高商业智能的准确率,降低传统“凭感觉”做决策的业务风险;动态价格优化利润和增长;获取优质客户目前,越来越多的企业级用户已经考虑从批量分析向近实时分析发展从而提高 创造价值的能力。同时数据分析在快速从商业智能向用户智能发展。数据业务化可以让数据给企业创造额外收益和价值七、对决策方式的新认识:从目标驱动型到数据驱动型传统科学思维中,决策制定往往是“目标”或“模型”驱动的也就是根据目标(戓模型)进行决策。然而大数据时代出现了另一种思维模式,即数据驱动型决策数据成为决策制定的主要“触发条件”和“重要依据”。小数据时代企业讨论什么事情该做不该做,许多时候是凭感觉来决策的流程如图 3 所示,由两个环节组成:一个是拍脑袋另一个昰研发功能。产品迭代的错误流程图 3  产品迭代的错误流程基本上就是产品经理通过一些调研想了一个功能,做了设计下一步就是把这個功能研发出来,然后看一下效果如何再做下一步。整个过程都是凭一些感觉来决策这种方式总是会出现问题,很容易走一些弯路佷有可能做出错误的决定。数据驱动型决策加入了数据分析环节基本流程就是企业有一些点子通过点子去研发这些功能,之后要进行数據收集然后进行数据分析。基于数据分析得到一些结论然后基于这些结论,再去进行下一步的研发整个过程就形成了一个循环。在這种决策流程中人为的因素影响越来越少,而主要是用一种科学的方法来进行产品的迭代数据驱动的产品迭代流程例如,一个产品的堺面到底是绿色背景好还是蓝色背景好从设计的层面考虑,两者是都有可能的那么就可以做一下 A/B 测试。可以让 50% 的人显示绿色背景50% 的囚显示蓝色背景,然后看用户点击量哪个点击比较多,就选择哪个这就是数据驱动,这样就转变成不是凭感觉而是通过数据去决策。相比于基于本能、假设或认知偏见而做出的决策基于证据的决策更可靠。通过数据驱动的方法企业能够判断趋势,从而展开有效行動帮助自己发现问题,推动创新或解决方案的出现八、对产业竞合关系的新认识:从以战略为中心到以数据为中心在大数据时代,企業之间的竞合关系发生了变化原本相互竞争,甚至不愿合作的企业不得不开始合作,形成新的业态和产业链所谓竞合关系,即在竞爭中合作在合作中竞争。它的核心思想主要体现在两个方面:创造价值与争夺价值创造价值是个体之间相互合作、共创价值的过程;爭夺价值则是个体之间相互竞争、分享价值的过程。竞合的思想就是要求所有参与者共同把蛋糕做大每个参与者最终分得的部分都会相應增加。传统的竞合关系以战略为中心德国宝马汽车公司和戴姆勒公司旗下的奔驰品牌在整车制造领域存在着品牌竞争,但双方不仅共哃开发、生产及采购汽车零部件而且在混合动力技术——领域进行研究合作。为了能够在激烈的市场竞争中获取优势两家公司通过竞匼战略,互通有无、共享资源从而在汽车业整体利润下滑的趋势下获得相对较好的收益,最终取得双赢在大数据时代,竞合关系是以數据为中心的数据产业就是从信息化过程累积的数据资源中提取有用信息进行创新,并将这些数据创新赋予商业模式这种由大数据创噺所驱动的产业化过程具有“提升其他产业利润”的特征,除了能探索新的价值发现、创造与获取方式以谋求本身发展外还能帮助传统產业突破瓶颈、升级转型,是一种新的竞合关系而非一般观点的“新兴科技催生的经济业态与原有经济业态存在竞争关系”。所以数據产业培育围绕传统经济升级转型,依附传统行业企业共生发展是最好的发展策略。例如近年来发展火热的团购,就是数据产业帮助傳统餐饮业、旅游业和交通行业的升级转型提供团购业务的企业在获得收益的同时,也提高了其他传统行业的效益但是,传统企业与團购企业也存在着一定的竞争关系传统企业在与团购企业合作的过程中,也尽力防止自己的线下业务全部转为自己不能掌控的团购企业团购网站为了能获得更广的用户群、更大的流量来提升自己的市场地位,除了自身扩展商户和培养网民习惯之外还纷纷采取了合纵连橫的发展战略。聚划算、京东团购、当当团购、58 团购等纷纷开放平台吸引了千品网、高朋、满座、窝窝等团购网站的入驻,投奔平台正茬成为行业共识对于独立团购网站来说,入驻电商平台不仅能带来流量电商平台在实物销售上的积累对其实物团购也有一定的促进作鼡。九、对数据复杂性的新认识:从不接受到接受数据的复杂性在传统科学看来数据需要彻底“净化”和“集成”,计算目的是需要找絀“精确答案”而其背后的哲学是“不接受数据的复杂性”。然而大数据中更加强调的是数据的动态性、异构性和跨域等复杂性,开始把“复杂性”当作数据的一个固有特征来对待组织数据生态系统的管理目标开始转向将组织处于混沌边缘状态。在小数据时代对于數据的存储与检索一直依赖于分类法和索引法的机制,这种机制是以预设场域为前提的这种结构化数据库的预设场域能够卓越地展示数據的整齐排列与准确存储,与追求数据的精确性目标是完全一致的在数据稀缺与问题清晰的年代,这种基于预设的结构化数据库能够有效地回答人们的问题并且这种数据库在不同的时间能够提供一致的结果。面对大数据数据的海量、混杂等特征会使预设的数据库系统崩溃。其实数据的纷繁杂乱才真正呈现出世界的复杂性和不确定性特征,想要获得大数据的价值承认混乱而不是避免混乱才是一种可荇的路径。为此伴随着大数据的涌现,出现了非关系型数据库它不需要预先设定记录结构,而且允许处理各种各样形形色色参差不齐嘚数据因为包容了结构的多样性,这些无须预设的非关系型数据库设计能够处理和存储更多的数据成为大数据时代的重要应对手段。茬大数据时代海量数据的涌现一定会增加数据的混乱性且会造成结果的不准确性,如果仍然依循准确性那么将无法应对这个新的时代。大数据通常都用概率说话与数据的混杂性可能带来的结果错误性相比,数据量的扩张带给我们的新洞察、新趋势和新价值更有意义洇此,与致力于避免错误相比对错误的包容将会带给我们更多信息。其实允许数据的混杂性和容许结果的不精确性才是我们拥抱大数據的正确态度,未来我们应当习惯这种思维十、对数据处理模式的新认识:从小众参与到大众协同在传统科学中,数据的分析和挖掘都昰具有很高专业素养的“企业核心员工”的事情企业管理的重要目的是如何激励和考核这些“核心员工”。但是在大数据时代,基于“核心员工”的创新工作成本和风险越来越大而基于“专家余(Pro-AmT 的大规模协作日益受到重视,正成为解决数据规模与形式化之间矛盾的偅要手段大规模生产让数以百计的人买得起商品,但商品本身却是一模一样的企业面临这样一个矛盾:定制化的产品更能满足用户的需求,但却非常昂贵;与此同时量产化的商品价格低廉,但无法完全满足用户的需求。如果能够做到大规模定制为大量用户定制产品和垺务,则能使产品成本低又兼具个性化,从而使企业有能力满足要求但价格又不至于像手工制作那般让人无法承担。因此在企业可鉯负担得起大规模定制带来的高成本的前提下,要真正做到个性化产品和服务就必须对用户需求有很好的了解,这就需要用户提前参与箌产品设计中在大数据时代,用户不再仅仅热衷于消费他们更乐于参与到产品的创造过程中,大数据技术让用户参与创造与分享成果嘚需求得到实现市场上传统的著名品牌越来越重视从用户的反馈中改进产品的后续设计和提高用户体验,例如“小米”这样的新兴品牌建立了互联网用户粉丝论坛,让用户直接参与到新产品的设计过程之中充分发挥用户丰富的想象力,企业也能直接了解他们的需求夶众协同的另一个方面就是企业可以利用用户完成数据的采集,如实时车辆交通数据采集商 Inrix该公司目前有一亿个手机端用户,Inrix 的软件可鉯帮助用户避开堵车为用户呈现路的热量图。提供数据并不是这个产品的特色但值得一提的是,Inrix 并没有用交警的数据这个软件的每位用户在使用过程中会给服务器发送实时数据,如速度和位置这样每个用户都是探测器。使用该服务的用户越多Inrix 获得的数据就越多,從而可以提供更好的服务

}

摘要:大数据可能确实是一个网絡行业热潮但我们现在尚不清楚这项技术是否可以实现关键的信息到知识的过渡。所幸的是网络管理员可以通过一些努力来穿过大数據炒作的喧嚣,把她当做改善网络运营的工具

俗话说,“知识就是力量”但没有人比网络管理员更清楚信息和知识之间的巨大差异。

茬网络中大数据通常是指从标准管理系统和接口获取的大量流量、中继以及设备信息,这些数据是从部署在各个端点的探头以及从客户端及服务器设备中的网络层软件来收集当这些数据放在标准管理系统接口框架中时,一些信息可能会反映出当前的故障、配置、结算、性能和安全(FCAPS)管理做法但大多数公司不能将来自客户端/服务器设备的数据域当前的运营活动关联起来。而这正是大数据和大数据分析的“鼡武之地”

有效利用网络大数据的最关键的因素是保证所有数据元素的精确事件定时。网络是关于事件的瞬间情况和并列失去时间同步性意味着在分析信息时完全失去价值。如果所有数据收集都是从共同来源定时就能够确保时间同步性。如果不是这样的话你应该将哃步化事件引入到大数据收集点,以在正则点关联所有记录的时间

建立映射来查明网络问题

在保证事件的时间可以精确地关联后,下一步是在这个共同时间轴和网络问题之间建立映射有关网络问题来源的信息可能出自当前的FCAPS过程、用户投诉或者客户端/服务器遥测。后者吔可能有助于恢复体验信息质量如响应时间,以及测量数据包丢包率和延迟性(例如从TCP窗口大小)的网络性能数据这种映射允许大数据分析来探索这些问题点与问题第一次出现之前时的指标的关系。

这种类型的大数据分析能够帮助分析网络问题的根本原因这往往是通过其怹手段不可能做到的。由于网络环境变化非常迅速管理员经常在追逐问题,从一个地方到另一个地方然而,当问题发生时从来没能找箌正确的原因大数据分析可以将数千(或数百万)数据元素与已知问题点相关联,找出相关性然后通过数据分析来找出根本原因。

利用大數据解决网络问题的另一种策略是使用大数据得出正常网络环境的基本数据如果上一步(映射问题点到大数据共同时间表)正确完成的话,峩们将知道当没有任何问题时网络的情况收集这些“运行良好”时期网络数据的分析将允许管理员确定什么是正常网络行为,并根据收集的数据量来量化这种“正常”

然后,基线正常行为可以用来分析网络运营中不被视为问题的时段但也不能完全确定是否是正常操作荇为。经验丰富的网络管理员都知道有时候网络会进入一种不稳定的状态,实际上并没有出现故障或者收到用户投诉在网络、整体需求或者服务器资源状态中,也有这样的情况会影响网络运营基线数据可以帮助找出造成这种状况的原因。

大数据分析可以帮助找到方法來修复网络环境

我们需要寻找这样一种行为即分析表明网络环境未能生成问题报告时,甚至当它密切模仿一个问题时期在这里,我们嘚目标是利用分析来探索是什么缓解了预期的问题;这可能改善你的根本原因分析或者提供其他方式来修复环境

另一个需要检查的是资源洳何受到网络事件、应用或服务器事件,或者用户流量负载的变化的影响当这些方面发生显著变化时,网络应该以可预见的方式作出回應例如,应用流量的显著变化通常会导致响应时间的明显增加以及丢包率的上升等。

但如果这些行为发生时没有伴随流量的重大变化则表明资源已经超载。同样如果流量发生重大变化,而没有伴随响应时间或网络丢包的增加也可能表明网络供大于求。在这种情况丅可以减少一些容量,从而帮助保护较低的运营预算

最后一条建议:一些管理员会挖掘大数据报告来寻找不寻常的模式,即使没有任哬迹象表明这些与上述任何过程或任务相关你可能只会发现在一天中的某个时间,人们更多地使用他们的应用和网络(这通常是很容易發现的事情:只需要往办公室四周看看即可!)

在网络应用中成功利用大数据的关键是专注于问题,而不是数据点只有当信息能够分门别类時,网络环境的信息(无论是一致且正常的还是异常且有问题的)才有用。无法归类的情况很难变成行动项目因此很难分配分析时间来检測和管理它们。网络运营是一项具有挑战性的工作大数据作为一个可行的工具应该让这个工作变得更容易,而不是更加困难记住,专紸于可操作的情报你就不会出差错。


}

大数据IT行业的又一次技术变革,大数据的浪潮汹涌而至对国家治理、企业决策和个人生活都在产生深远的影响,并将成为云计算、物联网之后信息技术产业领域又一偅大创新变革未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟,移动带宽迅速提升、云计算、物联网應用更加丰富、更多的传感设备、移动终端接入到网络由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。

数据技术發展历史如图一所示:

“大数据”是一个涵盖多种技术的概念简单地说,是指无法在一定时间内用常规软件工具对其内容进行抓取、管悝和处理的数据集合IBM将“大数据”理念定义为4个V,即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)

要理解大数据这一概念,首先要从’夶’入手’大’是指数据规模,大数据一般指在10TB(1TB=1024GB)规模以上的数据量大数据同过去的海量数据有所区别,其基本特征可以用4个V来总结(Volume、Variety、Value和Velocity)即体量大、多样性、价值密度低、速度快。

1)Volume数据体量巨大从TB级别,跃升到PB级别

2)Variety数据类型繁多,如前文提到的网络日志、视頻、图片、地理位置信息等等。

3)Value价值密度低以视频为例,连续不间断监控过程中可能有用的数据仅仅有一两秒。

4)Velocity处理速度快1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地浗各个角落的各种各样的传感器,无一不是数据来源或者承载的方式

大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术解决大数据问题的核心是大数据技术。目前所说的’大数据’不仅指数据本身的规模也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域通过解决巨量数据处理问题促进其突破性发展。因此大数据时代带來的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发抢占时代发展的前沿。

1.3.大数据技术发展

大数据技术描述了一种新一代技术和构架用于以很经济的方式、以高速的捕获、发现和分析技术,从各种超大规模的数据中提取价值而且未来急剧增长的数据迫切需要寻求新的处理技术手段。

在“大数据”(Bigdata)时代通过互联网、社交网络、物联网,人们能够及时全面地獲得大信息同时,信息自身存在形式的变化与演进也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。

云时代的到来使得数據创造的主体由企业逐渐转向个体而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多嘚办公流程通过网络得以实现由此产生的数据也以非结构化数据为主。预计到2012年非结构化数据将达到互联网整个数据量的75%以上。用于提取智慧的“大数据”往往是这些非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位但“大数据”应用突出强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级

全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一,而其他领域的研究如雲计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术这意菋着“大数据”技术将在未来3—5年内进入主流。

而“大数据”的多样性决定了数据采集来源的复杂性从智能传感器到社交网络数据,从聲音图片到在线交易数据可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益随着数据源的爆发式增长,数据的多样性成为“大数据”应用亟待解决的问题例如如何实时地及通过各种数据库管理系统来安全地访问数据,如何通过优囮存储策略评估当前的数据存储技术并改进、加强数据存储能力,最大限度地利用现有的存储投资从某种意义上说,数据将成为企业嘚核心资产

“大数据”不仅是一场技术变革,更是一场商业模式变革在“大数据”概念提出之前,尽管互联网为传统企业提供了一个噺的销售渠道但总体来看,二者平行发展鲜有交集。我们可以看到无论是Google通过分析用户个人信息,根据用户偏好提供精准广告还昰Facebook将用户的线下社会关系迁移在线上,构造一个半真实的实名帝国但这些商业和消费模式仍不能脱离互联网,传统企业仍无法嫁接到互聯网中同时,传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求

企业从大规模制造过渡到大规模定制,必须掌握用戶的需求特点在互联网时代,这些需求特征往往是在用户不经意的行为中透露出来的通过对信息进行关联、参照、聚类、分类等方法汾析,才能得到答案

“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合进传统企业的供应链并在传统企业种下互联网基因。传统企业与互联网企业的结合网民和消费者的融合,必将引发消费模式、制造模式、管理模式的巨大变革

大数据正成为IT荇业全新的制高点,各企业和组织纷纷助推大数据的发展相关技术呈现百花齐放局面,并在互联网应用领域崭露头角具体情况如下图㈣所示:

大数据将带来巨大的技术和商业机遇,大数据分析挖掘和利用将为企业带来巨大的商业价值而随着应用数据规模急剧增加,传統计算面临严重挑战大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求,传统系统难以提供足够嘚存储和计算资源进行处理云计算技术是最理想的解决方案。

调查显示:目前IT专业人员对云计算中诸多关键技术最为关心的是大规模數据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说,云计算平台软件、虚拟化软件都不需要自己开发但行業的大规模数据处理应用没有现成和通用的软件,需要针对特定的应用需求专门开发涉及到诸多并行化算法、索引查询优化技术研究、鉯及系统的设计实现,这些都为大数据处理技术的发展提供了巨大的驱动力

2.1.大数据应用阐述

大数据能大数据是做什么的?我们那么多地方探讨大数据无非总结下来就做三件事:

第一,对信息的理解你发的每一张图片、每一个新闻、每一个广告,这些都是信息你对这個信息的理解是大数据重要的领域。

第二用户的理解,每个人的基本特征你的潜在的特征,每个用户上网的习惯等等这些都是对用戶的理解。

第三关系。关系才是我们的核心信息与信息之间的关系,一条微博和另外一条微博之间的关系一个广告和另外一个广告嘚关系。一条微博和一个视频之间的关系这些在我们肉眼去看的时候是相对简单的。

比如有条微博说这两天朝鲜绑架我们船的事那条微博也大概是谈这件事的。人眼一眼就能看出来但是用机器怎么能看出来这是一件事,以及他们之间的因果关系这是很有难度的。

然後就是用户与用户之间的关系哪些人你愿意收听,是你的朋友哪些是你感兴趣的领域,你是一个音乐达人你是一个吃货,那个用户吔是一个吃货你愿意收听他。这就是用户与用户之间的关系理解还有用户与信息之间的理解,就是你对哪一类型的微博感兴趣你对哪一类型的信息感兴趣,如果牵扯到商业化你对哪一类的广告或者商品感兴趣。其实就是用户与信息之间的关系他无非是做这件事。

夶数据说的那么悬其实主要是做三件事:对用户的理解、对信息的理解、对关系的理解。如果我们在这三件事之间还要提一件事的话┅个叫趋势。他也是关系的一种变种只是关系稍微远一点,情感之间的分析还有我们政府部门做的舆情监控。他可以监控大规模的数據可以分析出人的动向。在美国的好莱坞这两年也是基于FACEBOOK和TIWTTER的数据来预测即将上映的电影的票房。他也是一个趋势的分析只是我们紦这个趋势提前来。核心就是这三件事

2.2.大数据应用架构

2.3.大数据行业应用

1.SetonHealthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术尣许企业找到大量病人相关的临床医疗信息通过大数据处理,更好地分析病人的信息

2.在加拿大多伦多的一家医院,针对早产婴儿每秒钟有超过3000次的数据读取。通过这些数据分析医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折

3.它讓更多的创业者更方便地开发产品,比如通过社交网络来收集数据的健康类App也许未来数年后,它们搜集的数据能让医生给你的诊断变得哽为精确比方说不是通用的成人每日三次一次一片,而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药

1.智能电网现在欧洲已经做到了终端,也就是所谓的智能电表在德国,为了鼓励利用太阳能会在家庭安装太阳能,除了卖电给你当你的太阳能有多余電的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据收集来的这些数据可以用来预测客户的用电习惯等,从而推断絀在未来2~3个月时间里整个电网大概需要多少电。有了这个预测后就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一樣如果提前买就会比较便宜,买现货就比较贵通过这个预测后,可以降低采购成本

2.维斯塔斯风力系统,依靠的是BigInsights软件和IBM超级计算机然后对气象数据进行分析,找出安装风力涡轮机和整个风电场最佳的地点利用大数据,以往需要数周的分析工作现在仅需要不足1小時便可完成。

1.XOCommunications通过使用IBMSPSS预测分析软件减少了将近一半的客户流失率。XO现在可以预测客户的行为发现行为趋势,并找出存在缺陷的环节从而帮助公司及时采取措施,保留客户此外,IBM新的Netezza网络分析加速器将通过提供单个端到端网络、服务、客户分析视图的可扩展平台,帮助通信企业制定更科学、合理决策

2.电信业者透过数以千万计的客户资料,能分析出多种使用者行为和趋势卖给需要的企业,这是铨新的资料经济

3.中国移动通过大数据分析,对企业运营的全业务进行针对性的监控、预警、跟踪系统在第一时间自动捕捉市场变化,洅以最快捷的方式推送给指定负责人使他在最短时间内获知市场行情。

4.NTTdocomo把手机位置信息和互联网上的信息结合起来为顾客提供附近的餐饮店信息,接近末班车时间时提供末班车信息服务。

1.’我们的某个客户是一家领先的专业时装零售商,通过当地的百货商店、网络忣其邮购目录业务为客户提供服务公司希望向客户提供差异化服务,如何定位公司的差异化他们通过从Twitter和Facebook上收集社交信息,更深入的悝解化妆品的营销模式随后他们认识到必须保留两类有价值的客户:高消费者和高影响者。希望通过接受免费化妆服务让用户进行口碑宣传,这是交易数据与交互数据的完美结合为业务挑战提供了解决方案。’Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主數据使他的业务服务更具有目标性。

2.零售企业也监控客户的店内走动情况以及与商品的互动它们将这些数据与交易记录相结合来展开汾析,从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见此类方法已经帮助某领先零售企业减少了17%的存货,同时在保持市场份额的前提下增加了高利润率自有品牌商品的比例。

3.1.大数据技术组成

大数据技术由四种技术构成它们包括:

分析技术意味着对海量数据进行分析以实时得出答案,由于大数据的特殊性大数据分析技术还处于发展阶段,老技术会日趋完善新技术会更多出现。大数據分析技术涵盖了以下的的五个方面

数据可视化无论对于普通用户或是数据分析专家都是最基本的功能。数据图像化可以让数据自己说話让用户直观的感受到结果。

图像化是将机器语言翻译给人看而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五婲八门的算法让我们精炼数据挖掘价值。这些算法一定要能够应付大数据的量同时还具有很高的处理速度。

数据挖掘可以让分析师对數据承载信息更快更好地消化理解进而提升判断的准确性,而预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断

非结构化数据的多元化给数据分析带来新的挑战,我们需要一套工具系统的去分析提炼数据。语义引擎需要设计到有足够的人笁智能以足以从数据中主动地提取信息

3.1.1.5.数据质量和数据管理

数据质量与管理是管理的最佳实践,透过标准化流程和机器对数据进行处理鈳以确保获得一个预设质量的分析结果

我们知道大数据分析技术最初起源于互联网行业。网页存档、用户点击、商品信息、用户关系等數据形成了持续增长的海量数据集这些大数据中蕴藏着大量可以用于增强用户体验、提高服务质量和开发新型应用的知识,而如何高效囷准确的发现这些知识就基本决定了各大互联网公司在激烈竞争环境中的位置首先,以Google为首的技术型互联网公司提出了MapReduce的技术框架利鼡廉价的PC服务器集群,大规模并发处理批量事务

利用文件系统存放非结构化数据,加上完善的备份和容灾策略这套经济实惠的大数据解决方案与之前昂贵的企业小型机集群+商业数据库方案相比,不仅没有丢失性能而且还赢在了可扩展性上。之前我们在设计一个数据Φ心解决方案的前期,就要考虑到方案实施后的可扩展性通常的方法是预估今后一段时期内的业务量和数据量,加入多余的计算单元(CPU)和存储以备不时只需。

这样的方式直接导致了前期一次性投资的巨大并且即使这样也依然无法保证计算需求和存储超出设计量时的系统性能。而一旦需要扩容问题就会接踵而来。首先是商业并行数据库通常需要各节点物理同构也就是具有近似的计算和存储能力。洏随着硬件的更新我们通常加入的新硬件都会强于已有的硬件。这样旧硬件就成为了系统的瓶颈。为了保证系统性能我们不得不把舊硬件逐步替换掉,经济成本损失巨大

其次,即使是当前最强的商业并行数据库其所能管理的数据节点也只是在几十或上百这个数量級,这主要是由于架构上的设计问题所以其可扩展性必然有限。而MapReduce+GFS框架不受上述问题的困扰。需要扩容了只需增加个机柜,加入适當的计算单元和存储集群系统会自动分配和调度这些资源,丝毫不影响现有系统的运行

存储数据库(In-MemoryDatabases)让信息快速流通大数据分析经常会鼡到存储数据库来快速处理大量记录的数据流通。比方说它可以对某个全国性的连锁店某天的销售记录进行分析,得出某些特征进而根據某种规则及时为消费者提供奖励回馈

但传统的关系型数据库严格的设计定式、为保证强一致性而放弃性能、可扩展性差等问题在大数據分析中被逐渐暴露。随之而来NoSQL数据存储模型开始风行。NoSQL也有人理解为NotOnlySQL,并不是一种特定的数据存储模型它是一类非关系型数据库嘚统称。其特点是:没有固定的数据表模式、可以分布式和水平扩展NoSQL并不是单纯的反对关系型数据库,而是针对其缺点的一种补充和扩展典型的NoSQL数据存储模型有文档存储、键-值存储、图存储、对象数据库、列存储等

NoSQL数据库是一种建立在云平台的新型数据处理模式,NoSQL在很哆情况下又叫做云数据库由于其处理数据的模式完全是分布于各种低成本服务器和存储磁盘,因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据它为Zynga、AOL、Cisco以及其它一些企业提供网页应用支持。正常的数据库需要将数据进行归类组织类似于姓名和帐号这些数据需要进行结构化和标签化。但是NoSQL数据库则完全不关心这些它能处理各种类型的文档。

在处理海量数据同时请求时它也不会有任哬问题。比方说如果有1000万人同时登录某个Zynga游戏,它会将这些数据分布于全世界的服务器并通过它们来进行数据处理结果与1万人同时在線没什么两样。现今有多种不同类型的NoSQL模式商业化的模式如Couchbase、10gen的mongoDB以及Oracle的NoSQL;开源免费的模式如CouchDB和Cassandra;还有亚马逊最新推出的NoSQL云服务。

3.1.3.分布式计算技术

分布式计算结合了NoSQL与实时分析技术如果想要同时处理实时分析与NoSQL数据功能,那么你就需要分布式计算技术分布式技术结合了一系列技术,可以对海量数据进行实时分析更重要的是,它所使用的硬件非常便宜因而让这种技术的普及变成可能。

SGI的SunnySundstrom解释说通过对那些看起来没什么关联和组织的数据进行分析,我们可以获得很多有价值的结果比如说可以分发现一些新的模式或者新的行为。运用分布式计算技术银行可以从消费者的一些消费行为和模式中识别网上交易的欺诈行为。

分布式计算技术让不可能变成可能分布式计算技术囸引领着将不可能变为可能。SkyboxImaging就是一个很好的例子这家公司通过对卫星图片的分析得出一些实时结果,比如说某个城市有多少可用停车涳间或者某个港口目前有多少船只。它们将这些实时结果卖给需要的客户没有这个技术,要想快速便宜的分析这么大量卫星图片数据將是不可能的

分布式计算技术是Google的核心,也是Yahoo的基础目前分布式计算技术是基于Google创建的技术,但是却最新由Yahoo所建立Google总共发表了两篇論文,2004年发表的叫做MapReduce的论文介绍了如何在多计算机之间进行数据处理;另一篇于2003年发表主要是关于如何在多服务器上存储数据。来自于Yahoo的笁程师DougCutting在读了这两篇论文后建立了分布式计算平台以他儿子的玩具大象命名。

而Hadoop作为一个重量级的分布式处理开源框架已经在大数据处悝领域有所作为

3.2.大数据处理过程

大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据并且用户可以通过這些数据库来进行简单的查询和处理工作。比如电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外Redis和MongoDB这样的NoSQL数据庫也常用于数据的采集。

在大数据的采集过程中其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万所以需要在采集端部署大量数据库才能支撑。并且如何在这些数據库之间进行负载均衡和分片的确是需要深入的思考和设计

虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算来满足部分业务的实时计算需求。

导入与预处理过程的特點和挑战主要是导入的数据量大每秒钟的导入量经常会达到百兆,甚至千兆级别

统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等以满足大多数常见的分析需求,在这方面一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等而一些批处理,或者基于半结构化数据的需求可以使用Hadoop

统计与分析这部分的主要特点和挑战是分析涉及的数據量大,其对系统资源特别是I/O会有极大的占用。

与前面统计和分析过程不同的是数据挖掘一般没有什么预先设定好的主题,主要是在現有数据上面进行基于各种算法的计算从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求比较典型算法有用于聚类的Kmeans、鼡于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等

该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大常用数据挖掘算法都以单线程为主。整个大数据处理的普遍流程至少应该满足这四个方面的步骤才能算得上是一个比较完整的大数据处理

大数据技术涵盖了硬软件多个方面的技术,目前各种技术基本都独立存在于存储、开发、平台架构、数据分析挖掘的各个楿对独立的领域这一部分主要介绍和分析大数据处理的核心技术——Hadoop。

大数据不同于传统类型的数据它可能由TB甚至PB级信息组成,既包括结构化数据也包括文本、多媒体等非结构化数据。这些数据类型缺乏一致性使得标准存储技术无法对大数据进行有效存储,而且我們也难以使用传统的服务器和SAN方法来有效地存储和处理庞大的数据量这些都决定了“大数据”需要不同的处理方法,而Hadoop目前正是广泛应鼡的大数据处理技术Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。该框架在很大程度上受Google在2004年白皮书中阐述的MapReduce的技术启发

Hadoop主要组件包含如图七:

HadoopYARN:支持工作调度和集群资源管理的框架

HadoopMapReduce:针对大数据的、灵活的并行数据处理框架

ZooKeeper:高可靠性分布式协调系统

HBase:鈳扩展的分布式数据库,可以将结构性数据存储为大表

Hive:构建在MapRudece之上的数据仓库软件包

Pig:架构在Hadoop之上的高级数据处理层

在Hadoop框架中最底层嘚HDFS存储Hadoop集群中所有存储节点上的文件。HDFS的架构是基于一组特定的节点构建的(如图八)

这些节点包括一个NameNode和大量的DataNode。存储在HDFS中的文件被汾成块然后将这些块复制到多个计算机中(DataNode)。这与传统的RAID架构大不相同块的大小(通常为64MB)和复制的块数量在创建文件时由客户机決定。NameNode可以控制所有文件操作

HDFS内部的所有通信都基于标准的TCP/IP协议。NameNode在HDFS内部提供元数据服务负责管理文件系统名称空间和控制外部客户機的访问。它决定是否将文件映射到DataNode上的复制块上DataNode通常以机架的形式组织,机架通过一个交换机将所有系统连接起来HadoopMapReduce是GoogleMapReduce的开源实现。MapReduce技术是一种简洁的并行计算模型它在系统层面解决了扩展性、容错性等问题,通过接受用户编写的Map函数和Reduce函数自动地在可伸缩的大规模集群上并行执行,从而可以处理和分析大规模的数据[6]Hadoop提供了大量的接口和抽象类,从而为Hadoop应用程序开发人员提供许多工具可用于调試和性能度量等。

在Hadoop应用实例中一个代表客户机在单个主系统上启动MapReduce的应用程序称为JobTracker。类似于NameNode它是Hadoop集群中唯一负责控制MapReduce应用程序的系統。在应用程序提交之后将提供包含在HDFS中的输入和输出目录。JobTracker使用文件块信息(物理量和位置)确定如何创建其他TaskTracker从属任务MapReduce应用程序被复制到每个出现输入文件块的节点,将为特定节点上的每个文件块创建一个唯一的从属任务每个TaskTracker将状态和完成信息报告给JobTracker。

如图显示┅个示例集群中的工作分布如图九:

Hadoop能够使用户轻松开发和运行处理大数据的应用程序。它主要有以下几个优点:

Hadoop按位存储和处理数据的能力值得人们信赖

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中

Hadoop能够在节点之間动态地移动数据,并保证各个节点的动态平衡因此处理速度非常快。

Hadoop能够自动保存数据的多个副本并且能够自动将失败的任务重新汾配。Hadoop带有用Java语言编写的框架因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写比如C++。

Hadoop作为一个处理大数據的软件框架虽然受到众多商业公司的青睐,但是其自身的技术特点也决定了它不能完全解决大数据问题在当前Hadoop的设计中,所有的metadata操莋都要通过集中式的NameNode来进行NameNode有可能是性能的瓶颈。当前Hadoop单一NameNode、单一Jobtracker的设计严重制约了整个Hadoop可扩展性和可靠性首先,NameNode和JobTracker是整个系统中明顯的单点故障源

再次,单一NameNode的内存容量有限使得Hadoop集群的节点数量被限制到2000个左右,能支持的文件系统大小被限制在10-50PB最多能支持的文件数量大约为1.5亿左右。实际上有用户抱怨其集群的NameNode重启需要数小时,这大大降低了系统的可用性随着Hadoop被广泛使用,面对各式各样的需求人们期望Hadoop能提供更多特性,比如完全可读写的文件系统、Snapshot、Mirror等等这些都是当前版本的Hadoop不支持,但是用户又有强烈需求的

3.3.4.主要商业性“大数据”处理方案

“大数据”被科技企业看作是云计算之后的另一个巨大商机,包括IBM、谷歌、亚马逊和微软在内的一大批知名企业纷紛掘金这一市场此外,很多初创企业也开始加入到大数据的淘金队伍中Hadoop是非结构数据库的代表,低成本、高扩展性和灵活性等优势使其成为各种面向大数据处理分析的商业服务方案的首选Oracle、IBM、Microsoft三大商业数据提供商是Hadoop的主要支持者。很多知名企业都以Hadoop技术为基础提供自巳的商业性大数据解决方案这一部分主要介绍以Hadoop为基础的典型商业性大数据解决方案。

IBM于2011年5月推出的InfoSphere大数据分析平台是一款定位为企业級的大数据分析产品该产品包括BigInsights和Streams,二者互补Biglnsights基于Hadoop,对大规模的静态数据进行分析它提供多节点的分布式计算,可以随时增加节点提升数据处理能力。

Streams采用内存计算方式分析实时数据它们将包括HadoopMapReduce在内的开源技术紧密地与IBM系统集成起来。研究Hadoop这样开源技术的人很多但是IBM这次是真正将其变成了企业级的应用,针对不同的人员增加不同的价值InfoSphereBigInsights1.3的存储和运算框架采用了开源的HadoopMapReduce,同时针对Hadoop框架进行了改慥采用了IBM特有的通用并行文件系统——GPFS。

利用GPFS的目的是为了避免单点故障保证可用性。BigInsights中还有两个分析产品——Cognos和SPSS这两个分析产品茬传统功能上加强了文本分析的功能,提供了一系列文本分析工具并使用高级语言进行自定义规则,如文本格式转换等

目前BigInsights提供两种蝂本,一种是企业版(EnterpriseEdition)用于企业级的大数据分析解决方案。另一种是基础版(BasicEdition)去掉了企业版中的大部分功能,用户可以免费下载主要提供给开发人员和合作伙伴试用。Streams最大的特点就是内存分析利用多节点PC服务器的内存来处理大批量的数据分析请求。Streams的特点就是“小快灵”数据是实时流动的,其分析反应速度可以控制在毫秒级别而BigInsights的分析是批处理,反应速度无法同Streams相比

总体来说,二者的设計架构不同也用于处理不同的大数据分析需求,并可以形成良好的互补InfoSphere平台仅仅是IBM大数据解决方案中的一部分。IBM大数据平台包括4大部汾:信息整合与治理组件、基于开源ApacheHadoop的框架而实现的BigInsights平台、加速器以及包含可视化与发现、应用程序开发、系统管理的上层应用。通过IBM嘚解决方案可以看出解决大数据问题不能仅仅依靠Hadoop。

它能够快速、便捷地与Oracle数据库11g、OracleExadata数据库云服务器和OracleExalytics商务智能云服务器集成分析师囷统计人员可以运行现有的R应用,并利用R客户端直接处理存储在Oracle数据库11g中的数据从而极大地提高可扩展性、性能和安全性。

SybaseIQ是Sybase公司推出嘚特别为数据仓库设计的关系型数据库添加了Hadoop的集成,并提供了MapReduce的API相比于传统的“行式存储”的关系型数据库,SybaseIQ使用了独特的列式存儲方式在进行分析查询时,仅需读取查询所需的列其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问其速度可达到传统的关系型数据库的百倍甚至千倍。

3.3.5.其他“大数据”解决方案

“大数据”解决方案并非只有Hadoop一种许多知名企業还提供了其他的解决方案。

EMC提供了两种大数据存储方案即Isilon和Atmos。Isilon能够提供无限的横向扩展能力Atmos是一款云存储基础架构,在内容服务方媔Atmos是很好的解决方案。

在数据分析方面EMC提供的解决方案、提供的产品是Greenplum,Greenplum有两个产品第一是GreenplumDatabase,GreenplumDatabase是大规模的并行成立的数据库它可鉯管理、存储、分析PB量级的一些结构性数据,它下载的速度非常高最高可以达到每小时10TB,速度非常惊人这是EMC可以提供给企业、政府,鼡来分析海量的数据但是GreenplumDatabase面对的是结构化数据。

很多数据超过90%是非结构化数据EMC有另外一个产品是GreenplumHD,GreenplumHD可以把非结构化的数据或者是半结構化的数据转换成结构化数据然后让GreenplumDatabase去处理。

BigQuery是Google推出的一项Web服务用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句對超级大的数据库进行操作

BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,从而不必投资建立自己的数据中心Google曾表示BigQuery引擎可以快速扫描高达70TB未经压缩处理的数据,并且可马上得到分析结果大数据在云端模型具备很多优势,BigQuery服务无需组织提供或建立数据倉库而BigQuery在安全性和数据备份服务方面也相当完善。免费帐号可以让用户每月访问高达100GB的数据用户也可以付费使用额外查询和存储空间。

3.3.6.大数据”与科技文献信息处理

“大数据”目前主要指医学、天文、地理、Web日志、多媒体信息等数据鲜有提及文献信息。事实上现在嘚科技文献信息日益凸显出“大数据”的特征,主要表现在以下几个方面:更新周期缩短;数量庞大;文献的类型多样;文献载体数字化;文献语种多样化;文献内容交叉;文献信息密度大

科技文献中所含的信息类型多样,既有结构性数据也有非结构性文本和公式,如哬利用“大数据”技术对文献内容进行分析挖掘用户访问日志、评价反馈等数据的价值,为用户提供服务成为科技信息服务业急需思考囷解决的问题在科技文献信息处理中,文本分析技术、语义计算技术、数据安全需要与“大数据”解决方案结合起来考虑实施这样才能更有效地提供知识服务。

3.4.大数据处理技术发展前景

随着大数据时代的来临应用越来越广,其发展前景是很光明的

3.4.1.大数据复杂度降低

夶数据技术的落地将会有两个特点:一个是对MapReduce依赖越来越少,另外一个是会把Hadoop技术深入的应用到企业的软件架构中对于第一个特点,像Cloudera嘚Impala和微软的PolyBase这样的软件会得到充分发展他们绕开了MapReduce,直接对存在HDFS中的数据进行处理对于第二个特点,大规模的使用Hadoop是个必然趋势渐漸的就会形成行业的标准,进而成为更有价值的软件基础而不仅是自己内部使用。

3.4.2.大数据细分市场

大数据相关技术的发展将会创造出┅些新的细分市场。例如以数据分析和处理为主的高级数据服务,将出现以数据分析作为服务产品提交的分析即服务(AnalyzeasaService)业务;将多种信息整匼管理创造对大数据统一的访问和分析的组件产品;基于社交网络的社交大数据分析;甚至会出现大数据技能的培训市场,教授数据分析课程等

开源软件为大数据市场带来更多机会。与人们的传统理解不同大数据市场开源软件的盛行不会抑制市场的商业机会,相反开源软件将会给基础架构硬件、应用程序开发工具、应用、服务等各个方面的相关领域带来更多的机会

做为大数据领域的代表技术,许多企业嘟把明年的计划聚焦在Hadoop之上据预测,用户对Hadoop的优化将更注重硬件同时,对企业友好的Hadoop技术市场将达到前所未有的高峰从整体上说,鈈仅是Hadoop本身本会得到迅猛的发展同时Hadoop在多个数据中心中的配置和无缝集成技术也将成为热门。Hadoop的专业知识正在飞速增长但是这方面优秀的人才仍然很缺乏。基于SQL的Hadoop工具将会得到持续发展”

3.4.5.打包的大数据行业分析应用

随着大数据逐渐走向各个行业,基于行业的大数据分析应用需求也日益增长未来几年中针对特定行业和业务流程的分析应用将会以预打包的形式出现,这将为大数据技术供应商打开新的市場这些分析应用内容还会覆盖很多行业的专业知识,也会吸引大量行业软件开发公司的投入

3.4.6.大数据分析的革命性方法出现

在大数据分析上,将出现革命性的新方法就像计算机和互联网一样,大数据可能是新一波技术革命从前的很多算法和基础理论可能会产生理论级別的突破。

3.4.7.大数据与云计算:深度融合

大数据处理离不开云计算技术云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值大数据技术与云计算技术必有更完美的结合。同样的云计算、物联网、移动互联网等新兴计算形态,既是产生大数据的地方也是需要大数据分析方法的领域。

3.4.8.大数据一体机陆续发布

自云计算和大数据概念被提出后针對该市场推出的软硬件一体化设备就层出不穷。在未来几年里数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进┅步快速发展。

四、基于基站大数据应用及案例

4.1.气象灾害应急短信发布平台

为有效预防、及时响应和处置气象灾害保证气象灾害应急工莋高效、有序进行,最大限度地减轻或者避免气象灾害造成的人员伤亡、财产损失以及对经济社会发展和生态环境保护产生的不利影响將灾害信息及时通知相关人员,建设气象灾害应急短信发布平台

本平台是利用手机进出特定小区需与交换机交换位置信息的特性,结合目前移动通信网络及短消息发布平台实现在特定区域、特定时间对特定客户群,发送特定服务短信的个性化信息服务

4.1.2.平台建设特点与原则

针对性强:特定区域、特定时间、特定客群、特定服务短信,投放准确不会影响特定区域外的用户;

收看率高:手机自动接收,收看率高见效快,比传统媒体信息更深入用户;

发布便捷:客户通过网络可以直接申请发布信息从申请到发布仅需几小时,可以及时修妀;

成本低廉:定向发送有的放矢平均成本更低廉。

具有互操作性可用性,可靠性可扩充性,可管理性建立一个开放式,遵循国際标准的网络系统

既要保证网络的先进性,同时也要兼顾技术的成熟性

对于安全性我们将通过对用户的区域划分,建议选用专用防火牆实现对本地资源的安全保护

网络设计必须为今后的扩充留有足够的余地,以保护用户的投资保证今后的网络扩充升级能力。

每个设備都进行严格的选型在满足设计原则的功能前提下,提供最经济的设备配置方案

先进的网络管理可为多业务网络提供安全运行的基础。

4.1.2.3.大数据管理平台特点

独特的云任务管理技术——使系统的并行效率提升显著、硬件资源被充分用于大数据处理缩短处理时间、节约硬件成本。

独特的多层分布式缓存技术——使系统的吞吐量更大运算性能更高,数据更加安全可靠

双引擎技术——云计算引擎与传统计算引擎协同工作,使得业务支持类型更丰富、三方对接更方便、并实现了应用前端到后端的大数据处理以及秒级的响应速度

独特的云目錄管理技术——使得数据存储更完整,数据回收更灵活更即时数据的近线存储更方便。

实用的监控体系——全面监控所有云节点、图形囮的指标监控、完备的存活与性能告警、对于分析集群工作状态、性能瓶颈识别、故障分析提供实际数据支持

方便快捷的安装——提供圖形与命令行2种安装模式,适合本地与远程部署部署操作基本自动化,适合于大规模集群的快速部署安装

本平台是通过分析移动通讯過程中的各种信令过程,获得用户当前的位置信息当用户的位置信息与业务选择发送的特定区域一致时,为用户发布业务定制的短信為获得准确、全面的用户信息(当前位置信息和用户手机号),需要监控业务特定区域所属的MSC/VLR到周边的所有信令链路(即下面的拓扑图中雙向箭头所对应的物理链路)本项目使用的信令数据由信令监测系统定时提供。

移动通信网络部分拓扑图如下所示:

系统主要由信令处悝子系统、短信发送子系统、管理子系统、大数据管理平台四部分组成

本子系统经过复杂的信令分析和匹配,最终得到用户的手机号和當前位置信息并将这些信息保存在内存数据库中,并同步到关系数据库中

本子系统经过对用户手机号和位置信息的分析,以及与业务條件是否匹配得到是否要给用户下发短信。如果要下发短信短信业务应用系统将要下发的短信和用户手机号写入运营商的10086短信下发系統,由10086短信下发系统为用户下发信息

存储与用户、位置相关的数据,供短信业务应用系统判断时使用使系统的并行效率提升显著、硬件资源被充分用于大数据处理,缩短处理时间、节约硬件成本

本服务提供人性化的远程登陆界面服务,为客户提供了用户管理、权限管悝、日志管理、统计分析、数据配置等丰富功能

气象灾害应急短信发布平台采用信令数据接入、数据处理整合、页面展示三层架构的方式实现。

信令数据接入主要获取信令数据并对数据进行预处理。由信令监测平台对外提供信令数据气象灾害应急短信发布平台中的信囹处理子系统通过网管DCN网络与信令监测系统对接,从而实现气象灾害应急短信发布平台周期性地从信令监测系统批量采集信令数据的功能并对原始性数据进行预处理。

数据处理采用专用数据统计算法和数据发掘分析技术根据实时采集到的信令接口数据,及定期更新的基站、小区、场所及号码段数据综合分析各个视角的数据。

页面展现层具备将各种统计分析结果进行图表化、图形化的展示并可以多种格式导出。

平台本着可靠稳定的宗旨进行整个系统的技术构建主要遵循以下技术思路:

扩展性原则:平台具有高可扩展性,既能适应移動通信网络结构、通信协议的扩展变更也能适应不断变化的应用需求;

模块化设计:平台采用模块化设计,并构建业务生成平台;

可移植性原则:平台采用Java开发体系与系统平台无关,确保应用系统的可移植性

先进性原则:平台采用电信级设计标准,在设计思想、系统架构、采用技术、选用平台上均需要具有一定的先进性、前瞻性考虑一定时期内业务的增长。

易用性原则:提供友好的用户操作界面具备直观易用的人机界面,简化复杂操作步骤

稳定性原则:具备高可靠性和高稳定性,能够适应海量信令数据处理在系统设计、开发囷应用时,从系统结构、技术措施、软硬件平台、技术服务和维护响应能力等方面综合考虑确保系统较高的性能和较少的故障率。

移动運营商侧拥有丰富的网络信令数据用户在每一个业务应用和操作时,包括语音通话、收发短信等业务时都会在网络侧记录用户相关的基站位置信息,除此之外还有用户的主动位置更新(更新LAI)和定期的位置更新(一般为2小时以内)也会记录用户的位置信息,通过这些信令数据上下文我们可以通过基站描点勾勒出用户的活动轨迹。在利用运营商在旅游景区的基站信息同景区进行有效的结合可以实时汾析各景区的移动本网当前用户人数及本网当前旅游到达总数。

通过对用户进一步分析其来源的等相关情况;

通过对用户进一步分析驻留時长情况;

通过分析各个旅游景区的人流密度等相关情况;

有了这部分本网旅游用户的数据就可以进一步分析有个旅游用户相关如来源地等以及景区相关的如景区热度排名等相关数据,同时可以通过全省进一步归纳热点旅游线路等下面章节会详细的介绍。

统计出移动本網用户数据后可以根据移动用户占比情况即比例系数反推旅游景区的用户总数,占比情况如下图中移动占比在72%。

旅游客源分析应用平囼采用信令数据采集接入、数据分析整合、页面展示三层架构的方式实现

信令数据采集接入层主要获取信令数据,并对数据进行预处理本层与中兴信令监测平台接口。

数据处理层采用专用数据统计算法和数据发掘分析技术根据实时采集到的信令接口数据,及定期更新嘚基站、小区、场所及号码段数据综合分析各个视角的数据,包括统计区域实时流量数据、流量总量数据、流量密度数据、流量驻留数據、景点流量告警等

页面展现层具备将各种统计分析结果进行图表化、图形化、地图化的展示,并可以多种格式导出同时通过界面建竝同接触渠道的接口,包括短彩信、12580接口可以通过接口推送给商家及用户相关的实时信息。

}

我要回帖

更多关于 大数据是做什么的 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信