Saltar al mapa
Arturo Isaza
Contactar

De un requisito a pruebas automatizadas, estación por estación.

Este es mi flujo de QA con agentes de IA. Cada requisito recorre cuatro estaciones y en cada una un modelo distinto deja un artefacto firmado. Antes de automatizar, el plan lo reviso yo.

Recorrer el mapa Ver el repositorio

Mapa del flujo

REQ-001REQ-002REQ-003REQ-004ExtractorLee con HaikuPlannerDiseña con FableRevisión humanaAprueba una personaAutomatorAutomatiza con OpusReporterReporta con Haiku001002003004ExtractorLee con HaikuPlannerDiseña con FableRevisión humanaAprueba una personaAutomatorAutomatiza con OpusReporterReporta con Haiku

Cada línea es un requisito. Elige una estación para ver qué dejó ahí su agente.

Los agentes en acción

Una corrida real del flujo, de punta a punta, en cámara rápida. El tren se detiene donde alguien revisó el trabajo: las puertas que comprueba el orquestador, la aprobación de una persona y cada vez que una tarea volvió atrás.

REQ-004 102 min de trabajo real, en 98 s

Ver todos los momentos de control y los totales

Momentos de control

  1. Orquestadorrevisa la puerta y pasa: La extracción abre y trae CA-1 a CA-6 uno a uno
  2. Orquestadorrevisa la puerta y pasa
  3. PersonaEl plan espera la aprobación de la persona
  4. PersonaPlan aprobado: 13 casos, 12 automatizados y 1 manual
  5. Orquestadorrevisa la puerta y no pasa: Solas pasan 13 de 13; con la suite completa en paralelo fallan 4
  6. OrquestadorVuelve al automator para cambiar la espera de networkidle en ContactPage
  7. Orquestadorrevisa la puerta y pasa
  8. PersonaLa persona pide dejar el hallazgo H-1 como prueba en rojo (test.fail)
  9. OrquestadorSe detiene el reporter: el plan cambia antes del reporte
  10. OrquestadorVuelve al planner para agregar TC-014
  11. Orquestadorrevisa la puerta y pasa
  12. OrquestadorEl automator escribe TC-014
  13. Orquestadorrevisa la puerta y pasa
  14. Orquestadorrevisa la puerta y pasa
  15. PersonaLa persona pide validar la corrida del CI
  16. OrquestadorEl CI pasó con un reintento: TC-009 inestable vuelve al automator
  17. Orquestadorrevisa la puerta y pasa

Lo que hizo cada uno

QuiénModeloTramo (UTC)LecturasComandosArchivos escritos
OrquestadorClaude Opus 5.5–064
ExtractorClaude Haiku 5.5–2191
PlannerClaude Fable 5.2–802
AutomatorClaude Opus 5.5–157035
ReporterClaude Haiku 5.5–37010

Datos de la corrida real, extraídos del registro de Claude Code con scripts/repeticion.ts: horas, herramientas, archivos y cifras, sin prompts ni salidas. Ver el JSON

Qué pasa en cada estación

Cada agente tiene un solo trabajo y una lista de cosas que no puede hacer. El modelo se elige por el tipo de tarea: leer, razonar o escribir código.

EstaciónQuiénHaceNo puede
ExtractorClaude HaikuHaceLee el requisito y la aplicación real, y deja criterios, selectores y endpoints en un JSON.No puedeOpinar, diseñar casos o usar datos de memoria.
PlannerClaude FableHaceDiseña los casos con su técnica, su prioridad por riesgo y qué queda manual.No puedeEscribir código o inventar un resultado esperado que el requisito no da.
Revisión humanaUna personaHaceLee el plan, pide cambios o lo aprueba. Queda registrado quién y cuándo.No puedeSaltarse: sin aprobación no se automatiza.
AutomatorClaude OpusHaceConvierte los casos en pruebas de Playwright, las corre y las estabiliza.No puedeDebilitar un assert para que pase. Si la aplicación falla, lo reporta.
ReporterClaude HaikuHaceLee los resultados y redacta el reporte y los bugs con sus pasos.No puedeCambiar pruebas o dar una cifra que no esté en los resultados.

Las líneas, criterio por criterio

La trazabilidad completa: cada criterio de aceptación, los casos que lo cubren y cómo le fue a cada uno en la última corrida.

REQ-001

Acceso de clientes: inicio de sesión y registro

Como cliente de la tienda quiero registrarme e iniciar sesión con mi correo y mi clave para ver mi cuenta y comprar con mis datos guardados.

Criterios y casos 6 criterios, 13 casos, 12 automatizados

CA-1 Un cliente registrado que escribe su correo y su clave correctos entra a la tienda, llega a "My account" y ve su nombre en el menú superior.

  • TC-001Inicio de sesión con correo y clave correctospartición de equivalencia / AltaBug reportado ui-bugsOmitido ui

CA-2 Con un correo o una clave incorrectos el cliente no entra y ve el mensaje "Invalid email or password".

  • TC-002Inicio de sesión con un correo que no existepartición de equivalencia / AltaPasa ui-bugsPasa ui
  • TC-003Inicio de sesión con clave incorrecta de un cliente registradopartición de equivalencia / AltaPasa ui-bugsPasa ui

CA-3 El correo y la clave son obligatorios y el correo debe tener formato válido. Cada campo muestra su propio mensaje de error y no se envía el formulario.

  • TC-004Inicio de sesión con correo y clave vacíostabla de decisión / MediaBug reportado ui-bugsPasa ui
  • TC-005Inicio de sesión con correo de formato inválidopartición de equivalencia / MediaBug reportado ui-bugsPasa ui
  • TC-013Claridad y ubicación de los mensajes de error en ambos formulariosexploratoria / BajaManual

CA-4 Un visitante que llena el registro con datos válidos queda registrado, es llevado al inicio de sesión y puede entrar con las credenciales que acaba de crear.

  • TC-006Registro válido e inicio de sesión con las credenciales creadastransición de estados / AltaBug reportado ui-bugsOmitido ui

CA-5 El registro no acepta campos obligatorios vacíos ni una clave que incumpla la política: mínimo 8 caracteres, con mayúscula, minúscula, número y símbolo.

  • TC-007Registro con los campos obligatorios vacíospartición de equivalencia / MediaPasa ui-bugsPasa ui
  • TC-008Registro con clave que incumple una regla de composicióntabla de decisión / AltaBug reportado ui-bugsPasa ui
  • TC-009Longitud de la clave en el registro: 7 y 8 caracteresvalores límite / AltaBug reportado ui-bugsOmitido ui
  • TC-011La API de registro rechaza una clave fuera de políticacontrato / MediaPasa api
  • TC-013Claridad y ubicación de los mensajes de error en ambos formulariosexploratoria / BajaManual

CA-6 Al cerrar sesión el cliente vuelve a ser visitante: el menú muestra "Sign in" y la página "My account" deja de estar disponible.

  • TC-010Cierre de sesión y acceso directo a My accounttransición de estados / AltaOmitido ui-bugsOmitido ui
  • TC-012Botón atrás del navegador después de cerrar sesiónconjetura de errores / MediaOmitido ui-bugsOmitido ui
REQ-002

Catálogo, carrito y compra

Como cliente de la tienda quiero encontrar un producto, llevarlo al carrito y pagarlo para completar una compra sin ayuda.

Criterios y casos 8 criterios, 13 casos, 12 automatizados

CA-1 Al buscar un texto, el catálogo muestra solo productos cuyo nombre lo contiene. Si no hay coincidencias, muestra un mensaje que lo dice.

  • TC-001Buscar un texto existente muestra solo productos cuyo nombre lo contienepartición de equivalencia / AltaPasa ui-bugsPasa ui
  • TC-002Buscar un texto sin coincidencias muestra el mensaje y ningún productopartición de equivalencia / MediaBug reportado ui-bugsPasa ui

CA-2 Al marcar una categoría, el catálogo muestra solo productos de esa categoría.

  • TC-003Marcar una categoría muestra exactamente los productos de esa categoríapartición de equivalencia / AltaPasa ui-bugsPasa ui

CA-3 El catálogo se puede ordenar por nombre (A-Z, Z-A) y por precio (menor a mayor, mayor a menor), y el orden mostrado corresponde al elegido.

  • TC-004Ordenar por nombre A-Z y Z-A deja los nombres en el orden elegidotabla de decisión / MediaBug reportado ui-bugsPasa ui
  • TC-005Ordenar por precio ascendente y descendente deja los precios en orden numéricotabla de decisión / AltaBug reportado ui-bugsPasa ui

CA-4 Desde el detalle se puede elegir una cantidad y agregar el producto al carrito. El ícono del carrito muestra el total de unidades.

  • TC-006Agregar un producto con cantidad 3 deja el contador del carrito en 3valores límite / AltaPasa ui-bugsPasa ui
  • TC-007El contador del carrito suma unidades de dos productos distintos y no líneasconjetura de errores / AltaBug reportado ui-bugsPasa ui

CA-5 En el carrito, el total de cada línea es precio por cantidad y el total general es la suma de las líneas. Al cambiar una cantidad, ambos se recalculan.

  • TC-008Total de línea igual a precio por cantidad y total general igual a la sumatabla de decisión / AltaBug reportado ui-bugsPasa ui
  • TC-009Cambiar una cantidad en el carrito recalcula la línea y el total generaltransición de estados / AltaBug reportado ui-bugsPasa ui

CA-6 Al quitar un producto del carrito, desaparece de la lista y el total se actualiza.

  • TC-010Quitar un producto lo elimina de la lista y actualiza el totaltransición de estados / AltaBug reportado ui-bugsPasa ui

CA-7 Un producto sin existencias se muestra como "Out of stock" y no se puede agregar al carrito.

  • TC-011Producto sin existencias se muestra como Out of stock y no entra al carritoconjetura de errores / AltaPasa ui-bugsOmitido ui

CA-8 Un cliente con sesión iniciada puede terminar la compra: confirma su dirección, elige un método de pago, y al confirmar ve el mensaje de pago exitoso y un número de factura.

  • TC-012Cliente con sesión completa la compra y ve pago exitoso y número de facturatransición de estados / AltaBug reportado ui-bugsOmitido ui
  • TC-013Recorrido exploratorio del pago con los demás métodos y revisión de la confirmaciónexploratoria / MediaManual
REQ-003

API de productos, sesión y carrito

Como equipo que integra la tienda con otros canales quiero que la API de productos, sesión y carrito responda de forma predecible para construir sobre ella sin sorpresas.

Criterios y casos 7 criterios, 14 casos, 14 automatizados

CA-1 GET /products devuelve los productos paginados, con metadatos coherentes entre sí (página actual, tamaño de página, total y última página) y sin repetir productos entre páginas.

  • TC-001Paginación completa con metadatos coherentes y sin productos repetidoscontrato / AltaPasa api
  • TC-002Última página y página fuera de rango mantienen metadatos coherentesvalores límite / MediaPasa api

CA-2 GET /products/{id} devuelve el detalle del producto pedido, y responde 404 cuando el id no existe.

  • TC-003Detalle de un producto existente devuelve el producto pedido con su contratocontrato / AltaPasa api
  • TC-004Detalle de un id inexistente responde 404partición de equivalencia / AltaPasa api

CA-3 El listado admite búsqueda por texto, filtro por categoría y orden por precio o nombre, y todos los productos devueltos cumplen el criterio pedido.

  • TC-005Búsqueda por texto devuelve solo productos que contienen el términopartición de equivalencia / AltaPasa api
  • TC-006Filtro por categoría devuelve solo productos de esa categoríapartición de equivalencia / AltaPasa api
  • TC-007Orden por precio y por nombre, ascendente y descendentetabla de decisión / MediaPasa api

CA-4 El contrato de un producto es estable: id, name, description, price, in_stock, category y brand vienen siempre y con el tipo esperado.

  • TC-003Detalle de un producto existente devuelve el producto pedido con su contratocontrato / AltaPasa api
  • TC-008Contrato del producto estable en todo el listadocontrato / AltaPasa api

CA-5 POST /users/login entrega un token con credenciales válidas y responde 401 con credenciales inválidas. GET /users/me exige ese token: sin él responde 401.

  • TC-009Login con cliente recién registrado entrega token y da acceso a /users/metransición de estados / AltaPasa api
  • TC-010Login con correo inexistente responde 401 sin tokenpartición de equivalencia / AltaPasa api
  • TC-011/users/me sin token o con token inválido responde 401conjetura de errores / AltaPasa api

CA-6 El carrito se puede crear, recibir un producto, consultarse, cambiar la cantidad y eliminarse, y cada paso deja el carrito en el estado esperado.

  • TC-012Ciclo de vida del carrito: crear, añadir, consultar, cambiar cantidad y eliminartransición de estados / AltaPasa api

CA-7 Una petición con datos inválidos responde con un error de cliente (4xx) y un cuerpo que explica el problema; nunca con un 5xx.

  • TC-013Datos inválidos en el carrito responden 4xx con explicación y nunca 5xxvalores límite / AltaPasa api
  • TC-014Login con cuerpo incompleto responde 4xx con explicación y nunca 5xxconjetura de errores / MediaPasa api
REQ-004

Formulario de contacto

Como visitante o cliente de la tienda quiero escribirle a la tienda desde un formulario para resolver una duda sin tener que buscar un correo.

Criterios y casos 6 criterios, 14 casos, 13 automatizados

CA-1 Un visitante sin sesión puede enviar el formulario con nombre, apellido, correo, un asunto elegido de la lista y un mensaje. Al enviarlo ve una confirmación y el formulario ya no se muestra.

  • TC-001Un visitante envía el formulario completo y ve la confirmaciónpartición de equivalencia / AltaPasa ui-bugsPasa ui
  • TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual

CA-2 Si envía el formulario vacío, cada campo obligatorio dice que falta y no se envía nada.

  • TC-002Envío del formulario vacíopartición de equivalencia / AltaPasa ui-bugsPasa ui
  • TC-003Falta un solo campo obligatorio y los demás son válidostabla de decisión / MediaPasa ui-bugsPasa ui
  • TC-011Corregir los errores y enviartransición de estados / MediaBug reportado ui-bugsBug reportado ui
  • TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual
  • TC-014Envío sin nombre, apellido ni correo antes de que la pantalla compruebe la sesiónconjetura de errores / AltaBug reportado ui-bugsBug reportado ui

CA-3 Un correo con formato inválido se rechaza con un mensaje en ese campo.

  • TC-004Correo con formato inválidopartición de equivalencia / AltaBug reportado ui-bugsInestable ui
  • TC-011Corregir los errores y enviartransición de estados / MediaBug reportado ui-bugsBug reportado ui
  • TC-012La API de mensajes rechaza lo que el formulario rechazacontrato / MediaBug reportado api

CA-4 El mensaje tiene un largo mínimo. Uno más corto se rechaza diciendo cuál es el mínimo, y uno que lo cumple justo se acepta.

  • TC-005Largo del mensaje: 49 y 50 caracteresvalores límite / AltaPasa ui-bugsPasa ui
  • TC-011Corregir los errores y enviartransición de estados / MediaBug reportado ui-bugsBug reportado ui
  • TC-012La API de mensajes rechaza lo que el formulario rechazacontrato / MediaBug reportado api

CA-5 Se puede adjuntar un archivo. Si el archivo no es aceptado, el formulario dice por qué y no se envía.

  • TC-006Envío con un adjunto aceptadopartición de equivalencia / MediaPasa ui-bugsPasa ui
  • TC-007Adjunto con extensión no aceptadapartición de equivalencia / AltaBug reportado ui-bugsPasa ui
  • TC-008Adjunto de extensión aceptada que no está vacíopartición de equivalencia / MediaBug reportado ui-bugsPasa ui
  • TC-013Claridad de los mensajes, de la ayuda del adjunto y de la lista de asuntosexploratoria / BajaManual

CA-6 Un cliente con sesión iniciada no tiene que volver a escribir su nombre ni su correo para enviar el formulario.

  • TC-009Un cliente con sesión envía sin escribir nombre ni correotransición de estados / AltaPasa ui-bugsOmitido ui
  • TC-010El mensaje enviado con sesión identifica al clienteconjetura de errores / MediaBug reportado ui-bugsOmitido ui

Incidencias

La misma suite corre contra una versión de la tienda con defectos sembrados. Lo que encuentra queda reportado aquí.

Estado del servicio

Resultado de la última corrida, por proyecto. Estas cifras las calcula un script a partir del reporte de Playwright.

ProyectoPasaBug reportadoFallaInestable
apiAPI de la tienda15100
uiInterfaz de la tienda23201
ui-bugsInterfaz de la versión con bugs132000

Matriz generada el .

Ver las corridas en GitHub Actions

Quién hizo qué

Los agentes

  • Extrajeron criterios, selectores y endpoints de la aplicación real.
  • Diseñaron los casos de prueba y su prioridad.
  • Escribieron y estabilizaron las pruebas de Playwright.
  • Redactaron los reportes y los bugs.

Yo

  • Escribí los requisitos y elegí la aplicación bajo prueba.
  • Definí el flujo, las reglas de cada agente y qué modelo usa.
  • Revisé y aprobé cada plan antes de automatizar.
  • Revisé el código y los hallazgos antes de publicarlos.

Un script, no un modelo

  • Calcula la matriz de trazabilidad.
  • Falla el pipeline si un criterio queda sin caso o un caso sin prueba.
  • Genera esta página con los resultados reales.