A medida que Booking.com crecía hasta convertirse en uno de los mayores mercados de viajes, los equipos de producto corrían el riesgo de decidir funcionalidades por opinión. La empresa llevaba más de una década ejecutando experimentos controlados en línea y quería que todos, no solo los product managers, validaran ideas de forma barata, segura y con datos fiables.
La idea
Hacer de la experimentación el sistema de decisión por defecto: cada cambio, incluso las correcciones de errores, se lanza envuelto en una prueba A/B, y cualquiera puede lanzar pruebas, consultar el historial y detener las pruebas perjudiciales.
Los ingenieros construyeron una plataforma de experimentación interna con un repositorio consultable de cada éxito y fracaso pasado, API genéricas para reclutamiento, seguimiento y métricas, dos canalizaciones de monitorización independientes, grupos de pruebas A/A y salvaguardas como el preregistro y la revisión por pares de los éxitos. Cada departamento contó con su propio equipo de soporte dedicado para que cualquiera pudiera ser responsable de un experimento de principio a fin.
Más de 1000 experimentos se ejecutan de forma concurrente en aplicaciones móviles, herramientas para hoteleros, líneas telefónicas de atención al cliente y sistemas internos; cada rediseño, cambio de infraestructura y corrección de errores se envuelve en una prueba, de modo que las decisiones de producto pasaron de las opiniones a la evidencia y los aprendizajes se reutilizan entre equipos.
En Booking.com, la experimentación no es una herramienta que algunos equipos usan: es cómo decide la empresa. Durante más de diez años, la plataforma de viajes ha llevado a cabo un desarrollo de producto basado en evidencia y, para 2017, sus departamentos ejecutaban y analizaban más de mil experimentos concurrentes en un día cualquiera, en aplicaciones móviles, herramientas para hoteleros, líneas telefónicas de atención al cliente y sistemas internos.
La elección deliberada fue la democratización. La plataforma de experimentación actúa como un repositorio consultable de cada éxito y fracaso desde el primer experimento, de modo que cualquiera puede consultar el historial y formular nuevas hipótesis. Las API genéricas abstraen el reclutamiento, la aleatorización y la elaboración de informes, y cada departamento tiene su propio equipo de soporte dedicado, por lo que ejecutar una prueba no requiere permiso de la dirección de producto.
La confianza provino de la disciplina de ingeniería: dos canalizaciones mantenidas por separado calculan las mismas métricas y se monitorizan la una contra la otra, un conjunto de experimentos A/A valida las estadísticas, y salvaguardas como el preregistro y la revisión por pares de los éxitos frenan el p-hacking. Todos en la empresa están facultados para detener por sí mismos un experimento perjudicial.
El resultado fue una empresa en la que «cada cambio, desde rediseños completos y cambios de infraestructura hasta correcciones de errores, se envuelve en un experimento», como escribieron los ingenieros en un artículo de 2017, convirtiendo el desarrollo de producto en un flujo de apuestas medidas en lugar de una serie de opiniones.
Descentralizar los experimentos permitió a miles de personas probar ideas en lugar de esperar a que los product managers las priorizaran.
Un historial consultable de éxitos y fracasos permite a los equipos revisar y construir sobre los aprendizajes de los demás.
Una infraestructura fiable (canalizaciones duales, grupos A/A, preregistro) hizo que la evidencia fuera aceptable como árbitro de las decisiones.
Mantener la plataforma de experimentación débilmente acoplada a la lógica de negocio hizo que lanzar un cambio ganador fuera tan simple como eliminar una llamada a la API.
Facultar a cualquiera para detener un experimento perjudicial mantuvo la seguridad compatible con la velocidad.
No necesitas consenso sobre una opinión si todos pueden ejecutar un experimento barato y seguro: la infraestructura más una cultura de evidencia convierten las decisiones en pruebas, y los fracasos en aprendizaje compartido y consultable.
El marco interno, escrito por ingenieros de Ámsterdam a mediados de la década de 2000, se ha ampliado pero nunca se ha reescrito; en 2026 Silicon Canals informó de que Booking.com sigue ejecutando más de 1000 pruebas concurrentes en la página de reservas de producción en vivo y decenas de miles de experimentos acumulados al año, donde un cambio de conversión del 0,1% es una suma de ocho cifras. El patrón se extendió por toda la industria como «cultura de experimentación»: plataformas de proveedores, manuales públicos y otras empresas tecnológicas adoptaron el mismo modelo de probar por defecto que Booking.com había sido pionera en implantar.
CONSULTA LAS PRUEBAS
Las fuentes
- Democratizing online controlled experiments at Booking.com arXiv · arxiv.org ·
- Booking.com still runs on the internal A/B testing framework its engineers wrote in Amsterdam in the mid-2000s, with no major rewrite since, and at any given moment it is running more than 1,000 live experiments Silicon Canals · siliconcanals.com ·