档案库 · 工作与做事的点子 · 运营决策 · 2007–2017
Booking.com 将每个产品改动都置于 A/B 测试之中——同时进行超千个测试
Booking.com 将实验作为默认的决策系统：每个改动都在测试中上线，同时进行的测试超千个，并拥有可搜索的成败历史记录。
Booking.com
当时的题目
As Booking.com grew into one of the largest travel marketplaces, product teams risked deciding features by opinion. The company had run online controlled experiments for more than a decade and wanted everyone, not just product managers, to validate ideas cheaply, safely and with trustworthy data.
它是怎么成立的
在 Booking.com，实验不是某些团队使用的工具，而是公司决策的方式。十多年来，这家旅行平台一直推行基于证据的产品开发，到 2017 年，各部门每天并行运行并分析超过一千个实验，覆盖移动应用、酒店老板工具、客服电话线和内部系统。
刻意的选择是去中心化。实验平台作为可搜索的仓库，记录从第一个实验起的每次成功与失败，任何人都能查阅历史、提出新假设。通用 API 抽象了招募、随机化和报告，每个部门有专属支持团队，因此运行测试无需产品管理层的许可。
信任来自工程纪律：两套独立维护的管道计算相同指标并互相对照，一组 A/A 实验验证统计有效性，预注册和成功同行评审等措施遏制 p-hacking。公司内任何人都有权自行停止有害实验。
结果正如工程师在 2017 年论文中所写，“每一个改动，从整个重新设计到基础设施改动，再到 bug 修复，都包裹在实验中”——产品开发变成一系列可衡量的赌注，而非一连串主观意见。
妙在哪
- 去中心化的实验让数千人能测试想法，而无需等待产品经理安排优先级。
- 可搜索的成败历史让团队能够回顾并借鉴彼此的经验。
- 可信的基础设施（双管道、A/A 组、预注册）使得证据成为决策的仲裁者。
- 保持实验平台与业务逻辑松耦合，让推出成功改动变得像移除一个 API 调用那样简单。
- 授权任何人停止有害实验，使安全与速度兼容。
做出来什么
More than 1,000 experiments run concurrently across mobile apps, hotelier tools, customer-service phone lines and internal systems; every redesign, infrastructure change and bug fix is wrapped in a test, so product decisions moved from opinions to evidence and learnings are reused across teams.
可以借走的
如果每个人都能进行低成本、安全的实验，就不需要达成意见一致：基础设施加上实证文化，将决策变为测试，将失败变为共享、可搜索的学习。
后来
这一由阿姆斯特丹工程师在 2000 年代中期开发的内部框架，不断扩展但从未重写；到 2026 年，据 Silicon Canals 报道，Booking.com 仍在生产环境预订页面同时运行超千个测试，每年累计实验数万次，0.1% 的转化率变化就相当于八位数金额。这种模式以“实验文化”传播到整个行业——第三方平台、公开手册和其他科技公司都采用了 Booking.com 开创的默认测试模式。
资料来源
- Democratizing online controlled experiments at Booking.com
- Booking.com still runs on the internal A/B testing framework its engineers wrote in Amsterdam in the mid-2000s, with no major rewrite since, and at any given moment it is running more than 1,000 live experiments
发现哪里写错了？告诉我们。
轮到你了
你刚读完一个点子。把你手上的题目说出来，看看谁接过同样的题。
免费账号 · 3 次免费提问 · 不用绑卡