字节跳动的阳谋,A/B测试探路企业市场

给用户画像,做精准推荐,这是字节引以为傲的技术资本。曾经支持抖音、今日头条等产品增长迭代的A/B测试工具,现如要投入企业市场了。

什么是A/B测试?

简单来讲,A/B测试有两个目的,第一,判断究竟是 A 更好一些,还是 B 更好一些;第二,计算收益,A和B分别带来的收益是什么(比如日活的增长)。

A/B测试不是互联网公司发明的,而是最早应用在医学领域。十八世纪,一位英国医生把患有坏血病的水手随机分成六组,用不同方法进行治疗,从而确定了柠檬和橘子能有效治疗坏血病,这是人类有记载最早的A/B测试。在互联网时代,A/B测试被谷歌等巨头广泛使用在产品开发和运营中,有研究者也把A/B测试视为字节跳动快速增长的重要因素。

字节做过什么还要做什么?

字节跳动每天同时进行的A/B测试达到上万场,单日新增实验数量超过1500个,覆盖400多个大大小小的业务。累计达到70万次。

字节跳动副总裁、算法和数据技术负责人杨震原在火山引擎技术开放日表示,在公司最早期,张一鸣还在自己写代码的时候就开始在使用A/B测试。

2016年,字节跳动建立了支持大规模产品实验的A/B测试平台,之后陆续接入抖音、西瓜视频等全线业务,把A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

当然,这种决策不是一刀切,决策是需要反刍的。测试时间的长短往往可以反映更准确的结果,并影响最终决策。杨震原表示A/B测试并不是万能的,它也有很多局限性,比如提高商品推荐门槛、不推荐评分低的商品,如果做A/B测试,短期内交易量肯定会降低,但长期来看结论有可能逐渐反转,这是长周期影响和目标设定的问题。

依赖经验的判断还是依赖机器的统计数据,这一直以来都是互联网企业面对的灵魂拷问。

火山引擎产品体系包括基础服务、技术中台、智能应用和行业解决方案,字节跳动的视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力,都已在火山引擎上为企业服务,A/B测试也是其中一款重要的数据产品,能够帮助企业提高决策质量,促进业务增长。这种能力的输出是一个好的信号,互联网企业的核心价值是对外赋能。

字节跳动的阳谋,A/B测试探路企业市场

字节跳动副总裁、算法和数据技术负责人杨震原

A/B测试是提供一种参考

针对人群的用户画像本身就一定会存在偏差,用户的兴趣不是固定的,短期兴趣测试的结果并不能影响最终决策,字节在面向企业用户的时候也必然会更加谨慎。

字节跳动火山引擎大数据应用产品总监张锦波表示,一个功能上线之后,很多用户因为好奇心趋势,就会点击尝试这个功能,导致这个功能我们想监测的核心指标一定程度上会上升。但是这个功能通过完整的实验周期去长期观察它的策略,发现它对产品的核心能力并没有显著提升。所以我的建议是,在开启实验时不要马上显著了就直接关停实验,而是要等待一段时间,能够覆盖用户群体完整生命周期后,再做一个相对综合的全面的决策,否则有可能会被刚才所说的类似于“吸引性效益”问题左右。

在无数次的决策中积累的经验让字节跳动如今有实力去探索to B市场,输出的核心服务能力主要还是在用户增长方面,A/B测试意在为决策者提供参考,投石问路要比亡羊补牢更有效果。

版权声明:本文源自 网络, 于,由 楠木轩 整理发布,共 1291 字。

转载请注明: 字节跳动的阳谋,A/B测试探路企业市场 - 楠木轩