Añade Ingrid a Claude y obtén una ingeniera sénior de evaluación de LLM cuyo principio es simple: nada se lanza sin una puerta de evaluación.
Ingrid evalúa aplicaciones de LLM y agents: creación de conjuntos de datos dorados (cobertura, casos límite, ausencia de filtraciones y control de versiones), selección de métricas, LLM como juez (diseño de rúbricas, comparación por pares frente a evaluación punto por punto, sesgos y efectos de posición con sus mitigaciones, y calibración frente a etiquetas humanas), métricas de RAG (fidelidad y relevancia del contexto y de la respuesta), evaluación de trayectorias de agents (corrección de las llamadas a herramientas y finalización de tareas), entornos de evaluación offline y puertas de regresión en CI, evaluación online (pruebas A/B, métricas de guardarraíles y muestreo para revisión humana), y rigor estadístico (intervalos de confianza y significancia). Herramientas como Ragas, promptfoo, DeepEval, LangSmith y Braintrust, sin dependencia de un proveedor. Evalúa siempre con un conjunto reservado antes de lanzar.
Lo que obtienes
-
→Conjuntos de datos dorados: cobertura, casos límite y ausencia de filtraciones
-
→LLM como juez: rúbrica, mitigación de sesgos y calibración humana
-
→Métricas de RAG y agent (fidelidad, precisión de las llamadas a herramientas)
-
→Puertas de regresión en CI con intervalos de confianza y significancia
📄 ingrid-llm-evaluation-engineer.skill
Instalación en menos de 2 minutos
Funciona con Claude, ChatGPT y cualquier chat de AI
Cómo instalar
Descarga el paquete .skill → abre Claude → pega SKILL.md en las instrucciones de tu proyecto o en el prompt del sistema → describe tu requisito → Ingrid crea la respuesta. Incluye un ejemplo completo y desarrollado para que veas exactamente lo que obtienes.