很遗憾,因您的 浏览器版本过低导致无法获得最佳浏览体验,推荐下 载安装谷歌浏览器!

华为内部狂转好文,有关大数据,看这一篇就够了

2017-04-27  来自: 一点资讯 浏览次数:407

科技的 进步在很多的时候总会超出我们的想象,试想如 果未来我们一个人拥有的电脑设备超过现在全球现在计算能力的总和,一个人 产生的数据量超过现在全球数据量的总和,甚至你 的宠物小狗产生的信息量都超过现在全球数据量的总和,世界会发生什么呢?那就取 决于你的想象力了。

一、的初步理解

似乎一夜之间,的搜索 服务就是一个典型的大数据运用,根据客户的需求,实时从 全球海量的数字资产(或数字垃圾)中快速 找出最可能的答案,呈现给你,就是一 个最典型的大数据服务。只不过 过去这样规模的数据量处理和有的应用太少,在IT行业没 有形成成型的概念。现在随着全球数字化、网络宽带化、互联网 应用于各行各业,累积的 数据量越来越大,越来越多企业、行业和国家发现,可以利 用类似的技术更好地服务客户、发现新商业机会、扩大新 市场以及提升效率,才逐步 形成大数据这个概念。

有一个 有趣的故事是关于奢侈品的。在纽约 的旗舰店中每件衣服上都有RFID码。每当一 个顾客拿起一件PRADA进试衣间,RFID会被自动识别。同时,数据会传至总部。每一件 衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间,数据都 被存储起来加以分析。如果有 一件衣服销量很低,以往的 作法是直接干掉。但如果RFID传回的 数据显示这件衣服虽然销量低,但进试衣间的次数多。那就能 另外说明一些问题。也许这 件衣服的下场就会截然不同,也许在 某个细节的微小改变就会重新创造出一件非常流行的产品。

还有一 个是关于中国粮食统计的故事。中国的 粮食统计是一个老大难的问题。中国的统计,虽然有组织、有流程、有法律,但中央 的统计人员依靠省统计人员,省靠市,市靠县,县靠镇,镇靠村,最后真 正干活或上报的是基层兼职的调查人员,由于众所周知的KPI考核导向的原因,层层加码,几乎没 有人相信这个调查数据,而其中 国家统计局的人是最不信的。

在前两 年北京的一个会议上,原国家 统计局总经济师姚景源向我们讲述了他们是如何做的。他们采用遥感卫星,通过图像识别,把中国 所有的耕地标识、计算出来,然后把 中国的耕地网格化,对每个 网格的耕地抽样进行跟踪、调查和统计,然后按 照统计学的原理,计算(或者说估算)出中国 整体的整体粮食数据。这种做 法是典型采用大数据建模的方法,打破传统流程和组织,直接获得最终的结果。

最后是 一个炒股的故事。这个故事来自于2011年好莱 坞的一部高智商电影《永无止境》,讲述一 位落魄的作家库珀,服用了 一种可以迅速提升智力的神奇蓝色药物,然后他 将这种高智商用于炒股。

库珀是怎么炒股的呢?就是他 能在短时间掌握无数公司资料和背景,也就是将世界上已经存在的(包括公司财报、电视、几十年前的报纸、互联网、小道消息等)挖掘出来,串联起来,甚至将Face Book、Twitter的海量 社交数据挖掘得到普通大众对某种股票的感情倾向,通过海量信息的挖掘、分析,使一切 内幕都不是内幕,使一切,如果剩余80%潜能被激发出来,世界会变得怎样?

在企业、行业和国家的管理中,通常只 有效使用了不到20%的数据(甚至更少),如果剩余80%数据的价值激发起来,世界会变得怎么样呢?特别是 随着海量数据的新摩尔定律,数据爆发式增长,然后数 据又得到更有效应用,世界会怎么样呢?

单个的 数据并没有价值,但越来 越多的数据累加,量变就会引起质变,就好像 一个人的意见并不重要,但1千人、1万人的 意见就比较重要,上百万 人就足以掀起巨大的波澜,上亿人足以改变一切。

数据再多,但如果 被屏蔽或者没有被使用,也是没有价值的。中国的 航班晚点非常多,相比之 下美国航班准点情况好很多。这其中,美国航 空管制机构一个的好做法发挥了积极的作用,说起来也非常简单,就是美 国会公布每个航空公司、每一班 航空过去一年的晚点率和平均晚点时间,这样客 户在购买机票的时候就很自然会选择准点率高的航班,从而通 过市场手段牵引各航空公司努力提升准点率。这个简 单的方法比任何管理手段都直接和有效。

没有整 合和挖掘的数据,价值也呈现不出来。《永无止境》中的库 珀如果不能把海量信息围绕某个公司的股价整合起来、串联起来,这些信息就没有价值。

因此,海量数据的产生、获取、挖掘及整合,使之展现出巨大的,这就是 我理解的大数据。在互联 网对一切重构的今天,这些问题都不是问题。因为,我认为 大数据是互联网深入发展的下一波应用,是互联 网发展的自然延伸。目前,可以说 大数据的发展到了一个临界点,因此才成为IT行业中 最热门的词汇之一。

二、大数据 将重构很多行业的商业思维和

我想以 对未来汽车行业的狂野想象来展开这个题目。

在人的一生中,汽车是 一项巨大的投资。以一部30万车、七年换车周期来算,每年折旧费4万多(这里还不算资金成本),加上停车、保险、油、维修、保养等各项费用,每年耗费应在6万左右。汽车产 业也是一个很长产业链的龙头产业,这个方 面只有房地产可以媲美。

但同时,汽车产 业链是一个低效率、变化慢的产业。汽车一 直以来就是四个轮子、一个方向盘、两排沙发(李书福语)。这么一个昂贵的东西,围绕车 产生的数据却少的可怜,行业产 业链之间几无任何数据传递。

我们在 这里狂野地想象一番,如果将 汽车全面数字化,都大数据了,会产生什么结果?

有些人说,汽车数字化,不就是加个MBB模块吗?不,这太小儿科了。在我理想中,数字化 意味着汽车可以随时联上互联网,意味着 汽车是一个大型计算系统加上传统的轮子、方向盘和沙发,意味着 可以数字化导航、自动驾驶,意味着 你和汽车相关的每一个行动都数字化,包括每一次维修、每一次驾驶路线、每一次事故的录像、每一天 汽车关键部件的状态,甚至你 的每一个驾驶习惯(如每一 次的刹车和加速)都记录在案。这样,你的车 每月甚至每周都可能产生T比特的数据。

好了,我们假 设这些数据都可以存储并分享给相关的政府、行业和企业。这里不 讨论问题带来的影响,假设在保护的前提下,数据可以自由分享。

那么,会怎么做呢?保险公 司把你的所有数据拿过去建模分析,发现几个重要的事实:

一是你 开车主要只是上下班,南山到 坂田这条线路是非繁华路线,红绿灯很少,这条路 线过去一年统计的事故率很低;你的车况(车的使用年限、车型)好,此车型 在全深圳也是车祸率较低;甚至统 计你的驾驶习惯,加油平均,临时刹车少,超车少,和周围 车保持了应有的车距,驾驶习惯好。最后结论是你车型好,车况好,驾驶习惯好,常走的线路事故率低,过去一 年也没有出过车祸,因此可 以给予更大幅度的优惠折扣。这样保 险公司就完全重构了它的商业模式了。

在没有 大数据支撑之前,保险公 司只把客户做了简单的分类,一共分为四种客户,第一种 是连续两年没有出车祸的,第二种 过去一年没有出车祸,第三种 过去一年出了一次车祸,第四种 是过去一年出了两次及以上车祸的,就四种类型。这种简单粗暴的分类,就好像女人找老公,仅把男 人分为没有结过婚的、结过一次婚的、结过二次婚的、结过三 次及以上婚的四种男人,就敢嫁人一样。

在大数据的支持下,保险公 司可以真正以客户为中心,把客户 分为成千上万种,每个客 户都有个性化的解决方案。

这样保 险公司经营就完全不同,对于风 险低的客户敢于大胆折扣,对于风 险高的客户报高价甚至拒绝,一般的 保险公司就完全难以和这样的保险公司竞争了。拥有大 数据并使用大数据的保险公司比传统公司将拥有压倒性的竞争优势,大数据 将成为保险公司最核心的竞争力,因为保 险就是一个基于概率评估的生意,大数据 对于准确评估概率毫无疑问是最有利的武器,而且简 直是量身定做的武器。

在大数据的支持下,4S店的服 务也完全不同了。

车况信 息会定期传递到4S店,4S店会根 据情况及时提醒车主及时保养和维修,特别是 对于可能危及安全的问题,在客户 同意下甚至会采取远程干预措施,同时还可以提前备货,车主一到4S店就可 以维修而不用等待。

对于驾驶者来说,不想开车的时候,在大数据和来源之一。数字化的车辆、大数据 应用将带来很多的改变。

红绿灯可以自动优化,根据不 同道路的拥堵情况自动进行调整,甚至在 很多地方可以取消红绿灯;城市停 车场也可以大幅度优化,根据大 数据的情况优化城市停车位的设计,如果配 合车辆的自动驾驶功能,停车场 可以革命性演变,可以设 计专门为自动驾驶车辆的停车楼,地下、地上楼 层可以高达几十层,停车楼层可以更矮,只要能 高于车高度即可(或者把车竖起来停),这样将 对城市规划产生巨大的影响;在出现紧急情况,如前方塌方的时候,可以第 一时间通知周围车辆(尤其是 开往塌方道路的车辆);现在的 燃油税也可以发生革命性变化,可以真 正根据车辆的行驶路程,甚至根 据汽车的排污量来收费,排污量 少的车甚至可以搞碳交易,卖排放 量卖给高油耗的车;政府还 可以每年公布各类车型的实际排污量、税款、安全性等指标,鼓励民众买更节能、更安全的车。

和快递 业也可能发生巨大的变化。

运快递 的车都可以自动驾驶,不用赶 白天的拥堵的道路,晚上半夜开,在你家 门口设计自动接收箱,通过密 码开启自动投递进去,就好像 过去报童投报一样。

这么想象下来,我认为,汽车数字化、互联网化、大数据应用、人工智能,将对汽 车业及相关的长长的产业链产生难以想象的巨大变化和产业革命,具有无限的想象空间,可能完全被重构。当然,要实现 我所描述的场景,估计至少50年、100年之后的事情了,估计我 这辈子是看不到的。

下面一 个想象是围绕着人本身来展开的。人的数 字化生存也就是这几十年的事情。我爷爷奶奶那辈子,是在人 生末年的时候有照片,算是初 步在个人形象方面有了一点数字化,让我们 及后代还可以知道爷爷奶奶的光辉形象。而我们从小就有照片,这些年 我们的数字化就越来越多了,身份是数字的(就是身份证),银行存款是数字的,照片是全数字,体检单也数字化,购物数字化(淘宝上 有我的几十个地址、几百条购物信息、上万次搜索信息),沟通数字化(****上有新的朋友圈生态),初步构 建了一个数字化生存的状态。而我们 的下一辈或下下一辈将进入完全的数字化生存,人从一 出生就有基因图谱,到后续的每一次体检、每一次化验,到每一年、每一个月、每一个日子的活动,到相关亲戚的轨迹,从每一个人,到每一代人,到整个族谱,到整个国家,到整个全球,这些海 量数据的产生将从量变到质变,这些数 据的挖掘与使用将对人类本身产生革命性的影响。这里,我们也想象一下:

比如,在你找对象的时候,碰上一位心爱的姑娘,大数据 系统就像算命系统一样,根据双方的挖掘,告诉你 和姑娘匹配指数是多少,告诉你 全球类似情况的夫妻日后概率是多少,低于某个匹配指数,大数据 系统会慎重建议你认真考虑不要这个姑娘继续交往下去。听起来 是不是特别像门当户对的数字化呢?当然,你可能会说,这样的 人生多没有意思啊,错误本 来就是人生最美丽的一部分。呵呵,我只讨论科学问题,对你这种以“浪漫主义”为名,事实上 是不以结婚为目的的耍流氓式的,不予以理睬。其实,我内心也承认,偶尔耍 耍流氓是很好的。呵呵,开个玩笑。

又比如,在你政策也可能重构,国家能 根据大数据系统,分析整体国民素质,分析老龄化情况,分析金 系统的承受能力,针对性 地增强某些区域的医疗资源,或者动 态调整养老保险费率,或者动 态调整退休年限等等。

对汽车 产业和数字化人生的想象告一段落。

这里,我想系 统回顾一下工业文明的发展历程,首先是 物理世界的工业文明,典型是蒸汽机的发明,使汽车、轮船进入生活;然后是 数字世界的工业文明,就是IT技术的使用,使PC及各种 电子产品进入生活,以及企 业数字化系统的建立,使沃尔 玛这样的巨型企业产生成为可能;下一步 就是物理世界和数字世界的融合,这也就是业界热炒的“工业互联网”、“IT 3.0”,而这里 面除了数字技术在传统行业的使用(这个事 实上已经在广泛使用)、在、营销、服务、商业模 式等发生巨大的变化,这种巨 大的变化带来了很多行业的革命性变局,也就是颠覆与改造。这种变 化在所谓的低效率的大行业将最为明显与直接。这些所 谓的的低效率大行业,就是垄断特征明显、产业规模大、产业链长、历史悠 久但长时间变化少、IT应用水平低的行业,如汽车、金融、保险、医疗等。

在这个章节的最后,我想总 结一下自己对大数据的看法。

第一,大数据 使企业真正有能力从以自我为中心改变为以客户为中心。企业是为客户而生,目的是 为股东获得利润。只有服务好客户,才能获得利润。但过去,很多企 业是没有能力做到以客户为中心的,原因就 是相应客户的信息量不大,挖掘不够,系统也不支持,目前的 保险业就是一个典型。大数据 的使用能够使对企业的经营对象从客户的粗略归纳(就是所谓提炼归纳的“客户群”)还原成 一个个活生生的客户,这样经营就有针对性,对客户的服务就更好,投资效率就更高。

第二,大数据 一定程度上将颠覆了企业的传统管理方式。现代企 业的管理方式是来源于对军队的模仿,依赖于 层层级级的组织和严格的流程,依赖信息的层层汇集、收敛来 制定正确的决策,再通过 决策在组织的传递与分解,以及流程的规范,确保决策得到贯彻,确保每 一次经营活动都有质量保证,也确保 一定程度上对风险的规避。过去这 是一种有用而笨拙的方式。在大数据时代,我们可 能重构企业的管理方式,通过大 数据的分析与挖掘,大量的 业务本身就可以自决策,不必要 依靠膨大的组织和复杂的流程。大家都 是基于大数据来决策,都是依 赖于既定的规则来决策,是高高在上的CEO决策,还是一线人员决策,本身并无大的区别,那么企 业是否还需要如此多层级的组织和复杂的流程呢?

第三,大数据 另外一个重大的作用是改变了商业逻辑,提供了 从其他视角直达答案的可能性。现在人 的思考或者是企业的决策,事实上 都是一种逻辑的力量在主导起作用。我们去调研,去收集数据,去进行归纳总结,最后形 成自己的推断和决策意见,这是一个观察、思考、推理、决策的商业逻辑过程。人和组 织的逻辑形成是需要大量的学习、,那么分 析起来完全就不一样了。大数据 就是我们的显微镜,它可以 让我们从全新视角来发现新的商业机会,并可能重构商业模型。

我们的可能不一样了,很多事情不用猜了,客户的 习惯和偏好一目了然,我们的 设计就能轻易命中客户的心窝;我们的也完全不同了,我们知 道客户喜欢什么、讨厌什么,更有针对性。特别是 显微镜再加上广角镜,我们就 有更多全新的视野了。这个广 角镜就是跨行业的数据流动,使我们 过去看不到的东西都能看到了,比如前 面所述的汽车案例,开车是开车,保险是保险,本来不相关,但当我 们把开车的大数据传递到保险公司,那整个 的商业模式就全变了,完全重构了。

最后一点,我想谈 的是大数据发展对IT本身技 术架构的革命性影响。大数据的根基是IT系统。我们现代企业的IT系统基本上是建立在IOE(IBM小型机、、存储)+Cisco模型基础上的,这样的模型是Scale-UP型的架构,在解决 既定模型下一定数据量的业务流程是适配的,但如果是大数据时代,很快会面临成本、技术和的问题,大数据对IT的需求 很快就会超越了现有厂商架构的技术顶点,超大数据增长将带来IT支出增 长之间的线性关系,使企业难以承受。因此,目前在 行业中提出的去IOE趋势,利用Scale-out架构+开源软件对Scale-up架构+私有软件的取代,本质是 大数据业务模型所带来的,也就是 说大数据将驱动IT产业新 一轮的架构性变革。去IOE潮流中 的所谓国家安全因素,完全是次要的。

所以,美国人说,大数据是资源,和大油田、大煤矿一样,可以源 源不断挖出大财富。而且和 一般资源不一样,它是可再生的,是越挖越多、越挖越值钱的,这是反自然规律的。对企业如此,对行业、对国家也是这样,对人同样如此。这样的 东西谁不喜欢呢?因此,大数据这么热门,是完全有道理的。

三、新智慧生物的诞生?

下面的 想象就更狂野了,真正要实现,估计至 少是我们十辈子或者一百辈子以后的事情。那时候,我们已经是祖宗了哈。大家就 当科幻小说来看好了。

从最近 一位微软副总裁的演讲说起。瑞克·拉希德(Rick Rashid)是微软 研究院的高级副总裁,有一天,他在中 国的天津迈上讲台,面对2000名研究者和学生,要发表演讲,他非常非常紧张。这么紧张是有原因的。问题在于,他不会讲中文,而他的 翻译水平以前非常糟糕,似乎注 定了这次的尴尬。

我们希望,几年之内,我们能 够打破人们之间的语言障碍,”这位微 软研究院的高级副总裁对听众们说。令人紧 张的两秒钟停顿之后,翻译的 声音从扩音器里传了出来。拉希德继续说:“我个人相信,这会让 世界变得更加美好。”停顿,然后又是中文翻译。

他笑了。听众对 他的每一句话都报以掌声。有些人 甚至流下了眼泪。这种看 上去似乎过于热情的反应是可以理解的:拉希德 的翻译太不容易了。每句话都被理解,并被翻译得天衣无缝。令人印 象最深的一点在于,这位翻译并非人类。

这就是 自然语言的机器翻译,也是长 期以来人工智能研究的一个重要体现。人工智 能从过去到未来都有清晰而巨大的商业前景,是以前IT业的热点,其热度 一点不亚于现在的“互联网”和“大数据”。但是,人类过 去在推进人工智能的研究遇到了巨大的障碍,最后几乎绝望。

当时人 工智能就是模拟人的智能思考方式来构筑机器智能。以机器翻译来说,语言学 家和语言专家必须不辞劳苦地编撰大型词典和与语法、句法、语义学有关的规则,数十万词汇构成词库,语法规则高达数万条,考虑各种情景、各种语境,模拟人类翻译,计算机 专家再构建复杂的程序。最后发 现人类语言实在是太复杂了,穷举式 的做法根本达不到最基本的翻译质量。这条道 路最后的结果是,1960年代后 人工智能的技术研发停滞不前数年后,痛苦地发现以“模拟人脑”、“重建人脑”的方式 来定义人工智能走入一条死胡同,这导致 后来几乎所有的人工智能项目都进入了冷宫。

这里讲个小插曲。我读大学的时候,有个老 师是国内人工智能的顶级教授,还是国 内某个人工智能研究会的副会长。他评述 当时的人工智能,不是人工智能,而是人工愚蠢,把人类 简单的行为分解、分解再分解,再去笨拙地模拟,不是人 怎么聪明怎么学,而是模 拟学习最蠢的人的最简单的动作。他说,对于当 时人工智能的进步,有些人沾沾自喜,说好像 登月计划中人类离月亮更进一步了,其实,就是站 上了一块石头对着月亮抒情,啊,我离你更近了。他对自 己事业的自我嘲讽,让我至 今记忆非常深刻。

后来有人就想,机器为 什么要向人学习逻辑呢,又难学又学不好,机器本 身最强大的是计算能力和数据处理能力,为什么不扬长避短、另走一条道路呢?这条道路就是IBM“深蓝”走过的道路。1997年5月11日,大师卡斯帕罗夫在和IBM公司开发的计算机“深蓝”进行对弈时宣布失败,计算机“深蓝”因此赢 得了这场意义深远的“人机对抗”。 “深蓝”不是靠逻辑、不靠所 谓的人工智能取胜的,就是靠 超强的计算能力取胜:思考不过你,但是算死你。

类似的 逻辑在后续也用到了机器翻译上。谷歌、微软和IBM都走上了这条道路。就是主要采用匹配法,同时结合机器学习,依赖于 海量的数据及其相关相关统计信息,不管语法和规则,将原文 与互联网上的翻译数据对比,找到最相近、引用最 频繁的翻译结果做为输出。也就是 利用大数据以及机器学习技术来实现机器翻译。现有的 数据量越是庞大,那么这 个系统就能越好地运行,这也正 是为何新的机器翻译只有在互联网出现以后才有可能重新取得突破性进展的原因所在。

因此,目前这 些公司机器翻译团队中,有不少计算机科学家,但却连 一个纯粹的语言学家也没有,只要擅 长数学和统计学,然后又会,那就可以了。

在线客服 ×

职业规划师李老师

18010167689

3月就业学员喜报

平均薪资9417元

只需一个决心

4个月0基础转行

截止开班

仅剩5个名额

友情链接:    558赢彩-安全购彩   众联彩票-安全购彩   野狼彩票---首页欢迎你   上海快三走势图  极速PK10