很遗憾,因您的 浏览器版本过低导致无法获得最佳浏览体验,推荐下 载安装谷歌浏览器!

云计算培训-2019年BAT春晚暗 战云计算在背后撑腰-云唯IT实训

2019-02-09  来自: 云计算培训-BAT春晚暗战云计算-云唯IT实训 浏览次数:422

2007年,国内情 报史专家高金虎出版过一本《看不见的第二战场》,讲述无 线电情报与战争的关系。

“看不见的第二战场”,这段话拿来形容BAT春晚红包战背后的云计算技术战再合适不过了。每年的 春晚红包战似乎成了BAT的正面战场,三巨头呼风唤雨,在短时间内把红包、福利全都撒出去。

大家明 面上能看到是三家发了多少红包、撒了多少现金,背后牵扯到的技术、资源等 配置确是错综复杂。

从2014年春节,腾讯就因为“红包”太受欢 迎遇到了技术上的“惊险一刻”。2016年、2017年、2018年腾讯、阿里纷 纷在云计算战场投入重兵把分布式计算、线上智能容灾这 些技术不断普及并逐渐提高。

为支持春晚项目,百度再一次技术进化,让全自 动自如扩容缩容,技术体 系弹性容器设计,智能调 度系统智能感知不同地区资源紧张程度成为日常。

2019年春晚直播期间,百度APP红包互动活动次数达208亿次。还共发出1000万个20.19元的红包,100万个88元红包,10万台小度AI音箱,1万个2019元红包 以及若干手气红包。总共邀 请全球观众参与共同瓜分了9亿现金红包大奖。

在苹果APP Store、小米应用商店、华为应 用商店以及微信红包都在春晚出现崩溃时刻的时候,百度APP历经208亿次红 包互动反而没倒。可见背后百度云计算的 技术进化速度之快,技术能 力之强其他互联网公司均没能出其右。

崩溃不崩溃?这是个问题。BAT春晚红 包战背后暗暗较劲的正是云计算技术。它如正 面战场背后的情报战一样,看不见摸不着,但却往 往起到了决定作用。

春晚“惊险一刻”,家家都要应对

2017年年初,我当时 在一家媒体工作时,曾经和腾讯FIT(腾讯支 付基础平台与金融应用线)春晚红 包技术负责人聊过红包战背后的技术问题。

2014年春节前十几天,腾讯春 节红包团队为活跃新年气氛,想到要 在微信里加入抢红包功能。一个大约10人,隶属于腾讯FIT技术部 门的核心团队主导了开发过程。

春节红包正式上线前,团队内测时便发现,这个“小功能”使用人 数远远超过预期:从广州 等一线城市开始,发红包 的习惯逐渐扩展到二、三、四线城市,直至全国。数据增长得“惊心动魄”,春节红 包团队每天都要忙着给红包系统扩容。

春节红 包团队当时隐隐觉得,除夕夜可能会出问题,“用户增长量太大了,这个功 能一开始架构就是按照小系统来设计的,但临时 改动已经来不及了。”

墨菲定 律中有这样一条:如果你 担心某种情况发生,那么它 就更有可能发生。

1月28日,除夕前 倒数第二天那个下午,“新年红包”的图标第一次出现在“我的银行卡”界面中,微信红 包潮随即引爆全国。

惊险瞬 间在除夕夜一触即发,春节红 包团队迅速启动了过载保护。过载用户想发红包时,系统会提示“当前系统繁忙”。除夕夜 还在加班的程序员们就像是交警一样,在一条 堵死的十字路口上不断控制流量。

幸好,当时腾讯FIT技术团队临时调来了10倍于原 设计数量的服务器,最终有 惊无险地扛住了考验。

此一役后,安全、容灾、性能成 了每个春节红包团队需要长期考虑的问题。在2016年以后,腾讯FIT技术逐 渐为春节红包构建了一套“多点多活、多地多中心”的分布式交易系统。

云计算培训

后来的微信红包、支付宝 红包背后的云计算团队每年都需要“一把屎一把尿”,不断改 进春晚红包的技术框架,除夕这 天加班加点避免红包宕机。

创业邦在2017年就曾以《支付宝17年新春 红包技术体系剖析》一文介 绍蚂蚁金服技术团队在春晚前的技术准备,其中这 样一段非常值得注意:

蚂蚁金 服在终端上采用了限流无感知、资源预下载、用户操作数据缓存、开奖时间离散、数据项 与开关动态配置等稳定性操作;在服务端,进行了全链路梳理、全链路压测、限流保护、应急熔断机制等。

云计算培训

百度今年也不例外。2019年1月4日收到 百度春晚要发红包的消息后,百度技 术团队首先要想的问题是,如何搭 建春晚红包的技术框架,原因很复杂。

百度APP不像微 信是个日常应用,它是一 个刚需但低频的工具型APP,用户用完即走,不会保持长时间在线。但在春晚期间,用户抢红包、集卡会使得使用时长、操作频次大大提高。

同时,春晚红 包涉及百度数十个产品、数百个操作场景,这会给百度APP带来高并发、大流量,同时给 百度云的服务器、带宽等 技术基础设施带来巨大冲击。后果可 能是用户打开百度APP缓慢,无法登录账号,点击界面无反应,甚至白屏,更别说抢红包。

因此,百度技 术团队需要梳理的问题很多,甚至比腾讯FIT、阿里云团队更要繁琐:

需要针 对本次春晚的突发需求,让外网 骨干网可以支撑大带宽快速接入;技术方案确定后,还要解 决资源供应问题。比如要在2周内采购到货3000台服务器。还需要 运营商资源为百度核心IDC提供近10T带宽和数十个CDN节点等资源;准备时 间过短引发运营商资源提供方面的许多问题,比如商务部门需要和50多个城市的CDN运营商资源紧急谈判;外部对接结束之后,内部技 术团队还需要进行资源部署、系统联调、压力测试。可以说,2019年以前,几乎每 一个春晚红包团队,都会遭 到炼狱一般的技术考验,从腾讯 到阿里无一幸免。然而,2019年春晚,百度APP的“零宕机”纪录是 互联网公司的首 创。

你开心抢红包时,程序员却在心惊胆战

春晚时,每一个 人都在开心抢红包。你以为 只是页面偶尔卡顿了一下、网络延迟了1秒,实际上 背后有着无数个技术团队的“紧张时刻”。每一个 程序员都是心惊胆战,时时刻 刻准备着对系统进行抢救。

对于2019年的春晚红包而言,期间也是考验频频,而背后 的百度技术团队总算让这场红包狂欢有惊无险。

云计算培训

简单说,春晚红 包带来的技术难点基本是这几个:不可预 见的峰值流量瞬间涌入,红包系 统架构复杂带来了协调成本,春节返 乡导致地区间流量资源分配要临时调整。

1. 不可预 见的峰值流量瞬间涌入

淘宝春 晚项目技术负责人此前在2018年春晚 淘宝多次崩溃时曾出面解释其中的原因——我们真 的对春晚的力量一无所知。

以2018年春晚为例,当时淘 宝是那年春晚的主角,主要策 略是绑亲情账号、发红包。技术团 队很早就预估到了登录系统压力。当时基 于一些历史数据推导出了极端情况,最终决定以2017年双十 一的容量为基础,对登录数扩容3倍。结果,春晚当 晚登录的实际峰值超过了2017年双十一的15倍,尤其新 用户的瞬时登录更是完全超出预料。

可以说,互联网公司上春晚,等于是 往下沉市场扔了一颗炸 弹——这一次 据百度技术部门统计,春晚期 间登录值可达到日常用户登录峰值的2500倍。

大量用 户在同一时间发、抢红包、点页面,瞬间产生每秒千 万 级,甚至亿级的请求,请求如 果不加以疏导处理直接到达后台,会导致 服务过载甚至崩溃。

为完成 今年春晚的高并发流量考验,百度提 前进行服务流量隔离、系统升级、专线新 增以及服务器扩容等工作,完善流 量峰值时段的体验,还进行 了多轮全链路压力测试和多轮的方案预演。

今年春晚百度APP也的确相对平稳,没有出现崩溃的情况。

2. 红包系 统架构复杂带来了协调成本

和淘宝注册、登陆系统还不一样,注册登 陆一般只有一次响应,注册登 陆之后响应就结束了。今年百 度的红包系统更多是支付系统,支付系 统的响应次数往往是多次的,而且表面上看,一个红 包从发出到抢到时间不足一秒,但背后 是在红包业务系统、交易支付系统、零钱账 户系统这三个层级之间游走——它需要 多方提前沟通测试。

因为一 个红包如果是通过银行卡发出,必须要 先向银行提出申请,银行会进行扣款,扣款成功后,后台会通知支付系统,红包系 统到这时才会把红包放出。在其他 用户抢到红包后,又会以 零钱形式进入用户账户中。

红包几 秒钟现金出出进进,都需要 耗费服务器资源,由于资 金频繁进出银行,部分银 行的技术能力又非常有限,百度也 需要和银行前期协调,进行承压测试。

百度工 程效率部对用户刚登录APP时的内 容加载进行了优化。后台系 统还会自动检测流量变化,快速计算资源,智能调 度早已准备好的冗余资源,增加系统容量,合理分配带宽。这些措 施可以让数亿级用户同步登录APP,正常加载服务,不出现白屏。

3. 春节返 乡导致地区间流量资源分配要临时调整

抢红包 的指令是从全国不同地区下达的,服务器 还需要根据不同地区进行响应。

百度系 统部一位负责人就提到,因为回家过年,网民会 从一线城市下沉到三四线城市。这使得 流量结构发生改变,DC数据中心和CDN带宽不得不进行调整。

阿里云2017年也曾 遇到过这个问题,当时的 解决方案还相对简单。蚂蚁金 服技术专家天镜飞在2017年的一 场活动中就曾提到阿里是如何应对流量结构变化这个问题的:

华东1机房和 华南机房分别承担40%和60%的流量,并且它 们都是非云的机器。在新春红包业务上,支付宝将60%的流量切到华东2机房中,并且将其上云。此外,在华南机房会部署15%的云机器。也就是说,新春红包业务中,75%的机器 是在云上运行的,在活动结束后,流量又会切出。

不过,百度吸取前人教训后,把这种 应对策略进行了改进调整:提前规 划好了不同地区的所需要的网络资源。通过智能调度系统,分钟感 知不同地区资源紧张程度,并进行 相对应的资源调度和补给。也就是说,流量资 源调度分配更智能了。

在这个系统中,整个体 系就像一个弹性容器,可以全 自动自如扩容缩容。

云计算从“双十一时代”迈向“春晚时代”

2014年-2019年这6年间,BAT应对春 晚红包的技术一直处于进步之中。

从最早的懵懵懂懂、毫无认知,对技术难点预估不足,到后来 每年都会提前做好准备,但依旧 要靠熔断机制来限制流量。再到今天限制为辅,分布式、自动化、智能化为主,云计算 技术不断在演进之中。

分布式:红包系统可适性强。高度灵活,能应对多种不同环境。某个部件发生突变,不会影响整个系统。在某些 部件失效的情况下,仍然能够应对响应,抗风险能力高。自动化:基于需 求预期和流量模式进行自动合理规划,不需要太多人工干预,保持相 对较低的运营成本。弹性化:可弹性 扩展的资源用量,在高峰 期可以根据需求按需所取、弹性分配,系统如 同弹簧一般可以根据用户抢红包的需求来自动分配资源。百度使 用这样的技术架构中,使得整 个技术保障体系就像一个弹性容器,可以全 自动自如扩容缩容。当遇到流量洪峰时,系统智能化调度,快速接入带宽资源,据用户任务的不同,匹配适应的容量。

凯文凯利在《失控》一书中 曾提到蜂群的一个特征:

蜂群的 能力不会因为其中几个成员的损失而丧失机能……必须从 简单的局部控制中衍生出分布式控制,必须从 已有运作良好的简单系统上衍生出复杂系统。

这段话 拿来形容春晚红包这几年来的技术演进再恰当不过了。

在当年的双十一时代,互联网 公司的云计算基础设施用来应付每年一度活动期的瞬时高峰流量,但毕竟 运用电商的人还是有限的。在如今的春晚时代,流量有 了数十倍的增长,互联网 公司需要更庞大的云计算基础设施来应对。

正如我在《春晚红包宕机史,也是半 部中国互联网技术进步史》中所说的:

春晚的流量规模,未来可能正是5G和物联网时代的“常规需求”。提前排兵布阵,百利无一害。

要知道,2018年全球有70亿台IoT设备,有机构预测到2020年全球将有500亿台设 备同时连接网络,2023年则是有790亿设备连接到物联网。5G时代流 量每小时所产生的数据高达数百GB,预计将处理比4G多1000倍的数据。

春晚红包的挑战,正是提 前练兵的好时机。这场看 不见的云计算战争,推动了 中国互联网技术整体演进。

如果说 过去的云计算还停留在“双十一时代”。BAT历经的 春晚红包战之后,云计算正在迈向“春晚时代”。

在线客服 ×

职业规划师李老师

18010167689

3月就业学员喜报

平均薪资9417元

只需一个决心

4个月0基础转行

截止开班

仅剩5个名额

友情链接:    558赢彩---首页欢迎你   梧桐彩票---首页欢迎你   辽宁11选5走势图  鼎峰彩票-安全购彩   七乐彩票-首页