De un requisito a pruebas automatizadas, estación por estación.
Este es mi flujo de QA con agentes de IA. Cada requisito recorre cuatro estaciones y en cada una un modelo distinto deja un artefacto firmado. Antes de automatizar, el plan lo reviso yo.
Cada línea es un requisito. Elige una estación para ver qué dejó ahí su agente.
Los agentes en acción
Una corrida real del flujo, de punta a punta, en cámara rápida. El tren se detiene donde alguien revisó el trabajo: las puertas que comprueba el orquestador, la aprobación de una persona y cada vez que una tarea volvió atrás.
REQ-004102 minde trabajo real, en98 s
UTC
Ver todos los momentos de control y los totales
Momentos de control
Orquestadorrevisa la puertay pasa: La extracción abre y trae CA-1 a CA-6 uno a uno
Orquestadorrevisa la puertay pasa
PersonaEl plan espera la aprobación de la persona
PersonaPlan aprobado: 13 casos, 12 automatizados y 1 manual
Orquestadorrevisa la puertay no pasa: Solas pasan 13 de 13; con la suite completa en paralelo fallan 4
OrquestadorVuelve al automator para cambiar la espera de networkidle en ContactPage
Orquestadorrevisa la puertay pasa
PersonaLa persona pide dejar el hallazgo H-1 como prueba en rojo (test.fail)
OrquestadorSe detiene el reporter: el plan cambia antes del reporte
OrquestadorVuelve al planner para agregar TC-014
Orquestadorrevisa la puertay pasa
OrquestadorEl automator escribe TC-014
Orquestadorrevisa la puertay pasa
Orquestadorrevisa la puertay pasa
PersonaLa persona pide validar la corrida del CI
OrquestadorEl CI pasó con un reintento: TC-009 inestable vuelve al automator
Orquestadorrevisa la puertay pasa
Lo que hizo cada uno
Quién
Modelo
Tramo (UTC)
Lecturas
Comandos
Archivos escritos
Orquestador
Claude Opus 5.5
–
0
6
4
Extractor
Claude Haiku 5.5
–
2
19
1
Planner
Claude Fable 5.2
–
8
0
2
Automator
Claude Opus 5.5
–
15
70
35
Reporter
Claude Haiku 5.5
–
37
0
10
Datos de la corrida real, extraídos del registro de Claude Code con scripts/repeticion.ts: horas, herramientas, archivos y cifras, sin prompts ni salidas.Ver el JSON
Qué pasa en cada estación
Cada agente tiene un solo trabajo y una lista de cosas que no puede hacer. El modelo se elige por el tipo de tarea: leer, razonar o escribir código.
Estación
Quién
Hace
No puede
Extractor
Claude Haiku
HaceLee el requisito y la aplicación real, y deja criterios, selectores y endpoints en un JSON.
No puedeOpinar, diseñar casos o usar datos de memoria.
Planner
Claude Fable
HaceDiseña los casos con su técnica, su prioridad por riesgo y qué queda manual.
No puedeEscribir código o inventar un resultado esperado que el requisito no da.
Revisión humana
Una persona
HaceLee el plan, pide cambios o lo aprueba. Queda registrado quién y cuándo.
No puedeSaltarse: sin aprobación no se automatiza.
Automator
Claude Opus
HaceConvierte los casos en pruebas de Playwright, las corre y las estabiliza.
No puedeDebilitar un assert para que pase. Si la aplicación falla, lo reporta.
Reporter
Claude Haiku
HaceLee los resultados y redacta el reporte y los bugs con sus pasos.
No puedeCambiar pruebas o dar una cifra que no esté en los resultados.
Las líneas, criterio por criterio
La trazabilidad completa: cada criterio de aceptación, los casos que lo cubren y cómo le fue a cada uno en la última corrida.
Pasa
Bug reportado
Falla
Manual
Sin ejecutar
REQ-001
Acceso de clientes: inicio de sesión y registro
Como cliente de la tienda quiero registrarme e iniciar sesión con mi correo y mi clave para ver mi cuenta y comprar con mis datos guardados.
Criterios y casos6 criterios, 13 casos, 12 automatizados
CA-1 Un cliente registrado que escribe su correo y su clave correctos entra a la tienda, llega a "My account" y ve su nombre en el menú superior.
TC-001Inicio de sesión con correo y clave correctospartición de equivalencia / AltaBug reportadoui-bugsOmitidoui
CA-2 Con un correo o una clave incorrectos el cliente no entra y ve el mensaje "Invalid email or password".
TC-002Inicio de sesión con un correo que no existepartición de equivalencia / AltaPasaui-bugsPasaui
TC-003Inicio de sesión con clave incorrecta de un cliente registradopartición de equivalencia / AltaPasaui-bugsPasaui
CA-3 El correo y la clave son obligatorios y el correo debe tener formato válido. Cada campo muestra su propio mensaje de error y no se envía el formulario.
TC-004Inicio de sesión con correo y clave vacíostabla de decisión / MediaBug reportadoui-bugsPasaui
TC-005Inicio de sesión con correo de formato inválidopartición de equivalencia / MediaBug reportadoui-bugsPasaui
TC-013Claridad y ubicación de los mensajes de error en ambos formulariosexploratoria / BajaManual
CA-4 Un visitante que llena el registro con datos válidos queda registrado, es llevado al inicio de sesión y puede entrar con las credenciales que acaba de crear.
TC-006Registro válido e inicio de sesión con las credenciales creadastransición de estados / AltaBug reportadoui-bugsOmitidoui
CA-5 El registro no acepta campos obligatorios vacíos ni una clave que incumpla la política: mínimo 8 caracteres, con mayúscula, minúscula, número y símbolo.
TC-007Registro con los campos obligatorios vacíospartición de equivalencia / MediaPasaui-bugsPasaui
TC-008Registro con clave que incumple una regla de composicióntabla de decisión / AltaBug reportadoui-bugsPasaui
TC-009Longitud de la clave en el registro: 7 y 8 caracteresvalores límite / AltaBug reportadoui-bugsOmitidoui
TC-011La API de registro rechaza una clave fuera de políticacontrato / MediaPasaapi
TC-013Claridad y ubicación de los mensajes de error en ambos formulariosexploratoria / BajaManual
CA-6 Al cerrar sesión el cliente vuelve a ser visitante: el menú muestra "Sign in" y la página "My account" deja de estar disponible.
TC-010Cierre de sesión y acceso directo a My accounttransición de estados / AltaOmitidoui-bugsOmitidoui
TC-012Botón atrás del navegador después de cerrar sesiónconjetura de errores / MediaOmitidoui-bugsOmitidoui
REQ-002
Catálogo, carrito y compra
Como cliente de la tienda quiero encontrar un producto, llevarlo al carrito y pagarlo para completar una compra sin ayuda.
Criterios y casos8 criterios, 13 casos, 12 automatizados
CA-1 Al buscar un texto, el catálogo muestra solo productos cuyo nombre lo contiene. Si no hay coincidencias, muestra un mensaje que lo dice.
TC-001Buscar un texto existente muestra solo productos cuyo nombre lo contienepartición de equivalencia / AltaPasaui-bugsPasaui
TC-002Buscar un texto sin coincidencias muestra el mensaje y ningún productopartición de equivalencia / MediaBug reportadoui-bugsPasaui
CA-2 Al marcar una categoría, el catálogo muestra solo productos de esa categoría.
TC-003Marcar una categoría muestra exactamente los productos de esa categoríapartición de equivalencia / AltaPasaui-bugsPasaui
CA-3 El catálogo se puede ordenar por nombre (A-Z, Z-A) y por precio (menor a mayor, mayor a menor), y el orden mostrado corresponde al elegido.
TC-004Ordenar por nombre A-Z y Z-A deja los nombres en el orden elegidotabla de decisión / MediaBug reportadoui-bugsPasaui
TC-005Ordenar por precio ascendente y descendente deja los precios en orden numéricotabla de decisión / AltaBug reportadoui-bugsPasaui
CA-4 Desde el detalle se puede elegir una cantidad y agregar el producto al carrito. El ícono del carrito muestra el total de unidades.
TC-006Agregar un producto con cantidad 3 deja el contador del carrito en 3valores límite / AltaPasaui-bugsPasaui
TC-007El contador del carrito suma unidades de dos productos distintos y no líneasconjetura de errores / AltaBug reportadoui-bugsPasaui
CA-5 En el carrito, el total de cada línea es precio por cantidad y el total general es la suma de las líneas. Al cambiar una cantidad, ambos se recalculan.
TC-008Total de línea igual a precio por cantidad y total general igual a la sumatabla de decisión / AltaBug reportadoui-bugsPasaui
TC-009Cambiar una cantidad en el carrito recalcula la línea y el total generaltransición de estados / AltaBug reportadoui-bugsPasaui
CA-6 Al quitar un producto del carrito, desaparece de la lista y el total se actualiza.
TC-010Quitar un producto lo elimina de la lista y actualiza el totaltransición de estados / AltaBug reportadoui-bugsPasaui
CA-7 Un producto sin existencias se muestra como "Out of stock" y no se puede agregar al carrito.
TC-011Producto sin existencias se muestra como Out of stock y no entra al carritoconjetura de errores / AltaPasaui-bugsOmitidoui
CA-8 Un cliente con sesión iniciada puede terminar la compra: confirma su dirección, elige un método de pago, y al confirmar ve el mensaje de pago exitoso y un número de factura.
TC-012Cliente con sesión completa la compra y ve pago exitoso y número de facturatransición de estados / AltaBug reportadoui-bugsOmitidoui
TC-013Recorrido exploratorio del pago con los demás métodos y revisión de la confirmaciónexploratoria / MediaManual
REQ-003
API de productos, sesión y carrito
Como equipo que integra la tienda con otros canales quiero que la API de productos, sesión y carrito responda de forma predecible para construir sobre ella sin sorpresas.
Criterios y casos7 criterios, 14 casos, 14 automatizados
CA-1 GET /products devuelve los productos paginados, con metadatos coherentes entre sí (página actual, tamaño de página, total y última página) y sin repetir productos entre páginas.
TC-001Paginación completa con metadatos coherentes y sin productos repetidoscontrato / AltaPasaapi
TC-002Última página y página fuera de rango mantienen metadatos coherentesvalores límite / MediaPasaapi
CA-2 GET /products/{id} devuelve el detalle del producto pedido, y responde 404 cuando el id no existe.
TC-003Detalle de un producto existente devuelve el producto pedido con su contratocontrato / AltaPasaapi
TC-004Detalle de un id inexistente responde 404partición de equivalencia / AltaPasaapi
CA-3 El listado admite búsqueda por texto, filtro por categoría y orden por precio o nombre, y todos los productos devueltos cumplen el criterio pedido.
TC-005Búsqueda por texto devuelve solo productos que contienen el términopartición de equivalencia / AltaPasaapi
TC-006Filtro por categoría devuelve solo productos de esa categoríapartición de equivalencia / AltaPasaapi
TC-007Orden por precio y por nombre, ascendente y descendentetabla de decisión / MediaPasaapi
CA-4 El contrato de un producto es estable: id, name, description, price, in_stock, category y brand vienen siempre y con el tipo esperado.
TC-003Detalle de un producto existente devuelve el producto pedido con su contratocontrato / AltaPasaapi
TC-008Contrato del producto estable en todo el listadocontrato / AltaPasaapi
CA-5 POST /users/login entrega un token con credenciales válidas y responde 401 con credenciales inválidas. GET /users/me exige ese token: sin él responde 401.
TC-009Login con cliente recién registrado entrega token y da acceso a /users/metransición de estados / AltaPasaapi
TC-010Login con correo inexistente responde 401 sin tokenpartición de equivalencia / AltaPasaapi
TC-011/users/me sin token o con token inválido responde 401conjetura de errores / AltaPasaapi
CA-6 El carrito se puede crear, recibir un producto, consultarse, cambiar la cantidad y eliminarse, y cada paso deja el carrito en el estado esperado.
TC-012Ciclo de vida del carrito: crear, añadir, consultar, cambiar cantidad y eliminartransición de estados / AltaPasaapi
CA-7 Una petición con datos inválidos responde con un error de cliente (4xx) y un cuerpo que explica el problema; nunca con un 5xx.
TC-013Datos inválidos en el carrito responden 4xx con explicación y nunca 5xxvalores límite / AltaPasaapi
TC-014Login con cuerpo incompleto responde 4xx con explicación y nunca 5xxconjetura de errores / MediaPasaapi
REQ-004
Formulario de contacto
Como visitante o cliente de la tienda quiero escribirle a la tienda desde un formulario para resolver una duda sin tener que buscar un correo.
Criterios y casos6 criterios, 14 casos, 13 automatizados
CA-1 Un visitante sin sesión puede enviar el formulario con nombre, apellido, correo, un asunto elegido de la lista y un mensaje. Al enviarlo ve una confirmación y el formulario ya no se muestra.
TC-001Un visitante envía el formulario completo y ve la confirmaciónpartición de equivalencia / AltaPasaui-bugsPasaui
TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual
CA-2 Si envía el formulario vacío, cada campo obligatorio dice que falta y no se envía nada.
TC-002Envío del formulario vacíopartición de equivalencia / AltaPasaui-bugsPasaui
TC-003Falta un solo campo obligatorio y los demás son válidostabla de decisión / MediaPasaui-bugsPasaui
TC-011Corregir los errores y enviartransición de estados / MediaBug reportadoui-bugsBug reportadoui
TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual
TC-014Envío sin nombre, apellido ni correo antes de que la pantalla compruebe la sesiónconjetura de errores / AltaBug reportadoui-bugsBug reportadoui
CA-3 Un correo con formato inválido se rechaza con un mensaje en ese campo.
TC-004Correo con formato inválidopartición de equivalencia / AltaBug reportadoui-bugsInestableui
TC-011Corregir los errores y enviartransición de estados / MediaBug reportadoui-bugsBug reportadoui
TC-012La API de mensajes rechaza lo que el formulario rechazacontrato / MediaBug reportadoapi
CA-4 El mensaje tiene un largo mínimo. Uno más corto se rechaza diciendo cuál es el mínimo, y uno que lo cumple justo se acepta.
TC-005Largo del mensaje: 49 y 50 caracteresvalores límite / AltaPasaui-bugsPasaui
TC-011Corregir los errores y enviartransición de estados / MediaBug reportadoui-bugsBug reportadoui
TC-012La API de mensajes rechaza lo que el formulario rechazacontrato / MediaBug reportadoapi
CA-5 Se puede adjuntar un archivo. Si el archivo no es aceptado, el formulario dice por qué y no se envía.
TC-006Envío con un adjunto aceptadopartición de equivalencia / MediaPasaui-bugsPasaui
TC-007Adjunto con extensión no aceptadapartición de equivalencia / AltaBug reportadoui-bugsPasaui
TC-008Adjunto de extensión aceptada que no está vacíopartición de equivalencia / MediaBug reportadoui-bugsPasaui
TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual
CA-6 Un cliente con sesión iniciada no tiene que volver a escribir su nombre ni su correo para enviar el formulario.
TC-009Un cliente con sesión envía sin escribir nombre ni correotransición de estados / AltaPasaui-bugsOmitidoui
TC-010El mensaje enviado con sesión identifica al clienteconjetura de errores / MediaBug reportadoui-bugsOmitidoui
Incidencias
La misma suite corre contra una versión de la tienda con defectos sembrados. Lo que encuentra queda reportado aquí.