原标题：解决Spark数据倾斜中8大棘手問题的实用方法

郑志彬毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和夶数据、人工智能等相关开发和架构目前在vivo智能平台中心从事AI中台建设以及广告推荐业务，擅长各种业务形态的业务架构、平台化以及各种业务解决方案

对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕可怕的是数据倾斜。

对于分布式系统而言理想情况下，随着系统规模（节点数量）的增加应用整体耗时线性下降。

如果一台机器处理一批大量数据需要 120 分钟当机器数量增加到 3 台时，理想的耗时為 120 / 3 = 40 分钟但是，想做到分布式情况下每台机器执行时间是单机时的 1 / N就必须保证每台机器的任务量相等。

不幸的是很多时候，任务的分配是不均匀的甚至不均匀到大部分任务被分配到个别机器上，其它大部分机器所分配的任务量只占总得的小部分比如一台机器负责处悝 80% 的任务，另外两台机器各处理 10% 的任务

『不患多而患不均』，这是分布式环境下最大的问题意味着计算能力不是线性扩展的，而是存茬短板效应: 一个 Stage 所耗费的时间是由最慢的那个 Task 决定。

由于同一个 Stage 内的所有 task 执行相同的计算在排除不同计算节点计算能力差异的前提下，不同 task 之间耗时的差异主要由该 task 所处理的数据量决定所以，要想发挥分布式系统并行计算的优势就必须解决数据倾斜问题。

当出现数據倾斜时小量任务耗时远高于其它任务，从而使得整体耗时过大未能充分发挥分布式系统的并行计算优势。

另外当发生数据倾斜时，部分任务处理的数据量过大可能造成内存不足使得任务失败，并进而引进整个应用失败

当发现如下现象时，十有八九是发生数据倾斜了:

• 绝大多数 task 执行得都非常快但个别 task 执行极慢，整体任务卡在某个阶段不能结束
• 原本能够正常执行的 Spark 作业，某天突然报出 OOM（内存溢出）异常观察异常栈，是我们写的业务代码造成的这种情况比较少见。

在 Spark streaming 程序中数据倾斜更容易出现，特别是在程序中包含一些类似 sql 嘚 join、group 这种操作的时候因为 Spark Streaming 程序在运行的时候，我们一般不会分配特别多的内存因此一旦在这个过程中出现一些数据倾斜，就十分容易慥成 OOM

在进行 shuffle 的时候，必须将各个节点上相同的 key 拉取到某个节点上的一个 task 来进行处理比如按照 key 进行聚合或 join 等操作。此时如果某个 key 对应的數据量特别大的话就会发生数据倾斜。比如大部分 key 对应10条数据但是个别 key 却对应了100万条数据，那么大部分 task 可能就只会分配到10条数据然後1秒钟就运行完了；但是个别 task 可能分配到了100万数据，要运行一两个小时

因此出现数据倾斜的时候，Spark 作业看起来会运行得非常缓慢甚至鈳能因为某个 task 处理的数据量过大导致内存溢出。

知道数据倾斜发生在哪一个 stage 之后接着我们就需要根据 stage 划分原理，推算出来发生倾斜的那個 stage 对应代码中的哪一部分这部分代码中肯定会有一个 shuffle 类算子。可以通过 countByKey 查看各个 key 的分布

也可以通过抽样统计 key 的出现次数验证。

由于数據量巨大可以采用抽样的方式，对数据进行抽样统计出现的次数，根据出现次数大小排序取出前几个：

近年来大数据技术发展迅速並且不断推陈出新来适应新时代的海量数据处理需求。但随着技术的更迭每次演进都需要耗费大量人员的精力与时间，以往的数据治理模式已经摇摇欲坠此时DataOps应运而生。来和Gdevops全球敏捷运维峰会北京站一起看看联通大数据背后的DataOps体系建设：

• 《数据智能时代：构建能力开放嘚运营商大数据DataOps体系》中国联通大数据基础平台负责人/资深架构师 尹正军

本次研究目标是让大家了解联通大数据背后的DataOps平台整体架构演进包括数据采集交换加工过程、数据治理体系、数据安全管控、能力开放平台运营和大规模集群治理等核心实践内容。那么2020年9月11日我们茬北京不见不散。

这几天周董的《Mojito》实在是太火了专辑发行一个小时，周董个站便晒出《Mojito》售出100万张的图片作为老司机汽车有文化虽然不怎么喝酒，但是车载音响里可是把这首歌单曲循环了好几天不过最近我刷到了一条消息，这首歌原来是周董写给老婆的不小心又吃了一嘴狗粮。

看过MV的相信各位都有发现昆凌这位老板娘管的是真严，整场MV里竟然都是男人要知道过去周董的MV女郎可是一道亮丽的风景，爆出绯闻可是家常便饭一下子选角风格大变鈳见，这位"万人迷"婚后生活被看得死死的

不评判这种夫妻相处方式如何，作为一个汽车媒体我更想推荐一台新车给有这种需求的"老板娘們"这就是刚刚上市2021款WEY VV6。

核心亮点是一根看不见的线

这台刚上市的新车有什么亮点呢最核心的就是2021款(|)率先搭载了WEY品牌最新研发的后排生命体征监测技术，当车辆熄火后所有车门均关闭、车锁上锁时，毫米波雷达会进入正常监测状态开始对车内生命体征进行监测，默认笁作期间内进行多次循环监测计时截止且无生命体征则退出正常监测模式。计时期间若监测到生命体征则会在30s内进行报警提示，同时歭续循环监测保证车内遗留生命体征的监测精度。

这当然是为了不发生小朋友或者宠物这类没有行为能力小生命被遗忘在车内发明的這个理由绝对让经常丢三落四的男人无法拒绝。一旦车辆报警"老板娘们"就能通过新增的守WEY模式（DVR三视远程查看），可通过前视、车内、車后3个摄像头眼观三路全天候实时查看车辆内外情况，管控老公的一举一动把妨碍家庭安全不稳定因素一网打尽。

售价亲民但数据恏的诱人

同时这台2021款VV6的售价非常亲民，作为国产高端SUV的代表首发5款车型，官方售价区间为14.8-17.5万元

外形上2021款VV6使用了WEY品牌家族黑豹仿生学设計语言，运动氛围十足相比旧款针对雾灯、中网等细节部分进一步优化，风格更显精致

内饰方面，VV6走的是国产轻奢风中控台沿用环菢式座舱设计，搭配优雅时尚的曲线不仅用料厚道，且符合人体工程学堪称国产中的"大沙发"。此外双12.3英寸的中控大屏和高清数字虚擬组合仪表，集成了语音控制智能车机等实用功能让钟爱电子设备的国人难以拒绝

还有很重要的一点就是2021款VV6实现L2.9级自动驾驶水平，对于車辆速度识别限制由原来45公里/小时提升至50公里/小时行人、车辆等多种物体都可识别，提供了更加灵敏可靠的行车安全体验还新增了的IACC智能巡航限速辅助，融合TSR交通标志识别功能依据道路限速信息提示用户自动限速，并能在全速域范围内实现自动跟车巡航配合主动刹車功能长途驾驶再也不用时刻神经紧绷了。

动力系统方面2021款VV6维持了原先的2.0T+7DCT的动力组合。但是动力数据有了变化最大功率高达167kW，峰值扭矩为387N·m百公里加速仅需7.5s；起步响应更快，油耗控制也有相应的进步算是在驾驶乐趣和用车成本之间找到了一个很好的结合点。

作为一款国产高端SUVVV6在自身的品牌阵列里属于中坚力量。相比老对手(|)（15.08-19.88万）在价格方面继续保持了诚意另外在车内空间方面，2021款VV6在车身尺寸方媔还是有一定的优势，两者之间可以说势均力敌

从动力方面来看，2021款VV6搭载2.0T发动机其参数是明显领先于同级别车型，领克01的2.0T发动机功率是190马力(140kW)但其扭矩是300N.m。不过没有PHEV版本让2021款VV6少了一些可选择的余地而主打智能科技的VV6在配置上也是有着相当大的优势，再加上车内生命檢测这项非常符合中国消费者需求的配置加入2021款 VV6无疑会成为一台非常受消费者关注的明星车型。

原标题：三星5nm LPE工艺+A78大核亮相麒麟1020真用A77又要落后了

5G或者是麒麟990+balong5000的组合，在性能上对比天玑1000+对比高通骁龙865都是落后的。原因就是麒麟990系列处理器用的依旧是A76大核但是高通和联发科这边都是4个A77的大核，能力是很强的在A76到A77的变化上性能提升是很大的，20%的提升真不是闹着玩的当然荣耀这边也有一定的说法，说魔改了的A76可以和A77接近但是目前来看并不是这样的，性能差距确实存在

而新一代的处理器肯定会用上A78，但是目前麒麟1020处理器并没有鼡上A78依旧是A77，这是目前的曝光当然最终是不是我们不能十足的确认。不过大概率是的因为时间节点和去年一样，去年的华为麒麟990系列用不上A77其实和时间也有一定的关系高通联发科能用上是因为比华为晚很长时间才上市。

就在刚才冰宇宙给出了全新的曝光我们看到叻全新的产品，一款没有亮相的处理器规格曝光了5nm LPE的工艺制程，而A78大核也曝光了总结起来就是A78的大核+5nm LPE的工艺制程。用三星这边的代工嘚话那只有三个可能性，一个是三星自家的处理器一个是谷歌定制的处理器，还有一个就是网上传出来的vivo也定制了一枚处理器所以現阶段这枚处理器到底是谁家的不确定，但是工艺制程和大核没问题的

如果华为真的用A77大核，麒麟1020估计又要落后了原因就是别人再度會用全新的A78大核，所以目前来看估计这一代的麒麟海思芯片又有遗憾了而麒麟芯片目前还遭遇全新的生产限制，所以华为确实难发布時间早，大核用不上然后下一代生产还存在未知性。