El Chatbot Que Se Cura Solo: De Widget a LLMOps en Producción

La Génesis#

3 días después del primer commit, alguien intentó hackear el chatbot. No tenía defensa. Ni logs. Ni tests. Solo 80 líneas de código y un system prompt expuesto. Eso fue lo que cambió todo.

Llevaba 16 años construyendo sistemas que funcionan solos. Primero en una tienda de reparaciones. Ahora en IA. La idea era simple: un portfolio que demuestre, no que describa. El primer commit fue el 26 de enero de 2026: 50 líneas de React y 30 de edge function. Claude Sonnet, streaming SSE, sin estado.

El chat.js original — toda la "arquitectura" cabía en una función

// api/chat.js — Day 1 (26 ene 2026)
export default async function handler(req, res) {
  const { messages } = await req.json()
  const response = await anthropic.messages.create({
    model: 'claude-sonnet-4-5-20250929',
    max_tokens: 500,
    system: 'Eres Santiago, un AI PM...',
    messages,
    stream: true,
  })
  // Stream SSE to client
  for await (const event of response) {
    res.write(`data: ${JSON.stringify(event)}\n\n`)
  }
}

La Evolución#

Día 1 vs Hoy

Arquitectura#

El sistema tiene 5 capas. Cada una se añadió cuando la anterior reveló un problema que no podía resolver sola.

Ciclo de vida de un request

Stack Técnico

Observabilidad Agéntica#

Observabilidad agéntica es trazar cada decisión autónoma del pipeline de IA, no solo lo que entró y salió. La observabilidad LLM estándar registra qué entró y qué salió. Yo registro cada decisión que el sistema toma por su cuenta. Cuando un usuario pregunta por Jacobo, Langfuse captura 6 generation observations: Claude decidiendo si buscar (Sonnet, 200ms), el embedding (OpenAI, 200 tokens), retrieval (pgvector, 10 chunks), Haiku seleccionando los top 5 (reranking, 50 tokens out), la respuesta final (Sonnet, 800ms), y el score de calidad (Haiku, 0ms añadidos). Cada observación lleva model ID, conteo real de tokens, y coste calculado. Un dashboard custom de operaciones agrega todo esto: conversaciones, coste por span, precisión del RAG, funnel de seguridad, pass rate de evals, analíticas de voz, versiones de prompt, y salud del sistema.

Cómo Se Construyó: The MMA Loop#

Imagina que tu chatbot es un empleado. Cost tracking te dice cuánto cuesta cada conversación. Online scoring te dice qué tal lo está haciendo en tiempo real. CI gate impide que un cambio malo llegue a producción. Trace-to-eval convierte los errores de hoy en los tests de mañana.

La progresión fue deliberada — el MMA Loop: Measure, Manage, Automate. Primero mides, luego gestionas lo que mides, luego automatizas lo que gestionas. Es el mismo patrón que usé para sistematizar un negocio físico, aplicado a LLMOps.

RAG Agéntico#

Por qué Agéntico

En un RAG clásico, cada mensaje pasa por el pipeline de búsqueda. En agentic RAG, Claude decide cuándo buscar usando tool_use (documentado en la API de Anthropic como tool_use). "¿Cómo te llamas?" no necesita buscar en 56 chunks. "¿Qué stack usaste para el SEO programático?" sí. Resultado: ~60% de las conversaciones no activan RAG (medido en Langfuse), ahorrando latencia y coste.

Hybrid Search

70% semántico (pgvector con embeddings de OpenAI) + 30% keyword (Supabase full-text search, equivalente a BM25), siguiendo el patrón de hybrid retrieval documentado en la literatura de RAG. Los embeddings capturan significado; las keywords capturan nombres propios y términos técnicos que los embeddings a veces pierden.

Re-ranking + Diversificación

Haiku selecciona los top-5 chunks más relevantes del top-10 por ranking. Luego diversifyByArticle asegura que cada artículo distinto tenga al menos un representante en el contexto final, evitando que un solo artículo domine.

Degradación Graceful

El chatbot puede responder sobre Jacobo, Business OS, SEO Programático y n8n para PMs — pregúntale.

Defensa en 6 Capas#

Los 71 Tests#

Ejemplos por categoría

Tipos de Assertion

70% deterministas (contains, regex, word count) — rápidos, reproducibles, sin coste de LLM. 30% LLM-judge (Haiku evalúa calidad, tono, relevancia) — para respuestas donde no hay una respuesta "correcta" sino un espectro de calidad.

El Loop Cerrado#

La mayoría de aplicaciones LLM envían un prompt y rezan. Este chatbot cierra el loop.

Las 6 Etapas

Las flechas que vuelven a CI demuestran que el sistema se alimenta a sí mismo.

Prompt Versioning + Regression

El system prompt vive en Langfuse como prompt registry. Cada cambio se sincroniza con hash-based detection (solo sube si cambió). Antes de promover una nueva versión a producción, prompt:regression compara las respuestas de v1 vs v2 en los mismos inputs — decisión humana, no automática.

El Developer Feedback Loop

Un developer feedback loop es cuando la herramienta de IA que construyó el sistema también lo diagnostica y repara usando datos de producción.

El closed loop llega al propio proceso de desarrollo. Claude Code consulta las trazas de producción en Langfuse, diagnostica problemas en el pipeline RAG, y genera el fix.

En una sesión, detectó que una query de RAG tenía sesgo de confirmación. La búsqueda usaba "n8n for product managers" en vez de solo "n8n", perdiendo chunks relevantes. Propuso el fix y generó el eval para prevenir regresión.

IA manteniendo IA. El chatbot corre en producción, Langfuse captura cada decisión, Claude Code lee las trazas y añade un test. El sistema mejora sin que yo lo toque.

Coste Real#

Desglose por span

Del Texto a la Voz#

Todo lo que acabas de leer — RAG, defensa, closed-loop — funciona igual cuando hablas. La voz es un wrapper alrededor de la inteligencia que ya existe.

La Arquitectura de Voz

Inteligencia Compartida

El modo voz usa el mismo RAG agéntico, las mismas 6 capas de defensa, el mismo closed-loop. La diferencia es el formato: sin markdown, frases cortas, acento peninsular.

La experiencia es omnicanal. El histórico de conversación persiste entre modos: puedes preguntar algo por texto, cambiar a voz para profundizar, y volver a texto sin perder contexto. Los source badges aparecen en ambos modos, enlazando directamente a los artículos mencionados.

Constraints

Lecciones#

Preguntas Frecuentes#

¿Escuchaste eso?