智能化接口测试平台暴雪的前世今生

郑红，阿里巴巴资深测试开发专家，2009年从上海交大研究生毕业后，一直专注从事测试开发工作。早期主要在百度和一淘从事搜索领域相关测试，2012年加入天猫技术部负责核心交易链路相关测试，目前主要负责盒马、天猫超市和新零售终端的测试团队。致力于推动测试团队从工具化、自动化往平台化、智能化思维转变，通过技术手段赋能开发和测试，做最高效的用户体验的捍卫者。

以下内容根据演讲视频以及PPT整理而成。

暴雪的起源

2016年11月30日，暴雪起源于天猫技术质量部的第一次核心成员脑暴会，此次头脑风暴奠定了团队后面几年的转型方向，即智能化方向。智能化是极具有前瞻性的，当时质量部的远大目标就是要搞好智能化。当时我们有几千个自动化测试用例，但还是有漏测，跟不上开发的节奏。要解决这个问题就要搞好智能化，智能化要干什么呢？团队当时决定搞大数据方向，将线上数据引流下来就可以覆盖原来覆盖不到的用例，而且引流也稳定，维护成本也会下降，在智能化中我们确定了最接地气的大数据测试方向。

在2017年3月，接口测试0第一版正式发布，此时还没有真正的落地，并不能真正的使用。2017年4月，第二期体验优化完成。2017年6月，第三期易用性优化完成，这一版更倾向于测试视角的用法。在这过程中，业务线同学兼顾开发，迭代速度低于预期速度，这时也有了天启和青龙，让团队更坚定了研究方向是正确的方向，但同时也有了危机感。有梦才有远方，回首三年，我们庆幸当初定下了长远的目标，使我们能够持之以恒。

暴雪的转变

在2017年7月，我们开始有专人投入开发，需求迭代速度加快。2017年8月，我们开始尝试探索智能化，如用例智能推荐、无脑回归。2017年11月，我们终于实现了从内往外走，开始加大运营投入，且取得了非常好的效果，慢慢的拥有了两个金牌用户：B2B团队和闲鱼团队。2018年1月，“智能接⼝测试0”正式更名为“暴雪”。我们针对重点应用和非核心应用的运营思路是不同的。

转变的背后我们有哪些思考？具体包括以下几方面：

效能目标设定：更贴近用户价值的量化目标。看到有专人投入，刚开始的迭代速度很快，定什么样的目标才是合理的？因为投入专人后一直在开发，但是价值在哪里，效能目标怎么设定？我们要设定更贴近用户价值的量化目标，即要完成多少个应用接入，要完成多少个case业务落地等，这才是暴雪存在的意义。智能化初探：由于算法大赛的刺激，每个小组自我报名参赛，敢想敢做，一切皆有可能。能力综合体：如果真的要做一个效能的平台，就必须成为一个能力综合体，不是说技术好就一定有更大的价值，产品能力+技术能力+运营能力都不可或缺。

当时的产品很烂，我们做各种交互，产品有很多层，要做一个好的产品，需要具备交互优化的能力，在决策某些功能时，什么该第一优先，什么该次级优先，既要了解用户需求，又不能被用户牵着鼻子走，如果没有自己的思考，就不会提供更强大的价值，这是效能产品同学需要重点去思考的。在这个转变阶段，形成了产品的价值定位，或者说能力节点，包括以下几部分：

大数据、高效、通用、闭环、智能，在这个阶段有流量测试的提效，测试覆盖更全面，研发流程全面升级，AI测试也得到了改革。此时，暴雪已经具备了一定的价值，用户数开始攀升，处于几十个应用接入的阶段。

暴雪的破局

20104爱迪生赛后，团队士气一时陷入低迷，得奖的前三名全部是大数据采集回放领域的，暴雪并不在其中。我们的竞争力是什么？我们是不是在重复造轮？这时我们思考了以下三个问题：

用户市场很广，虽然TMF有天启，但当前产品有差异化，服务好非TMF，价值空间依旧在。用户痛点还很多，应该共建互通，攻坚技术难题，聚焦用户价值。智能化探索之路还很远，创新力才是竞争力，不一定拘泥于当下几个点。

我们得出以下结论：

核心价值：广大非TMF应用的技术同学的测试赋能，解决质量和效率问题。竞争力：不断的用创新探索智能化测试。方向决策：进一步开放共赢，包括与AE、蚂蚁合作等，大家会有各种各样的想法，最后都能在平台上一起合作，最后形成各种解决方案，服务相同的自动化和接口测试。

重新扬帆起航

在这一年多的时间里，我们做了哪三个重大的事情呢？

更优的架构：一旦用户体量上去后，架构的好坏就会决定未来的发展，新暴雪平台，与DOOM解耦，跑得更快，创造更多可能性。更丰富的产品：无脑回归加强，增加了业务维度，可以自动识别业务规则，根据流量告诉你哪些规则组合还没有生成用例；异常接口测试，读接口链路测试，写接口链路测试、测试度量。更开放的思想：适配蚂蚁用暴雪，与AE共建精准回归，与蚂蚁compass合作，支持供应链-氢气球端式录制，更多openapi的开放。

破局之后，现在的暴雪有40多个BU的用户，接入应用数达700多个，周活跃用户接近200个，以前我们追求的指标是多少应用的接入，随着不断的深化，就会发现这个指标是不对的，可能接入后就死掉了，全部是非活跃用户，还是不能说自己有价值，所以从2018年开始，我们开始追求活跃用户数，活跃用户多，说明真正为用户创造了价值。