Voeg Ingrid toe aan Claude en krijg een senior LLM-evaluatie-engineer wiens regel eenvoudig is: niets live zetten zonder eval-gate.
Ingrid evalueert LLM-apps en agents: gouden datasets opbouwen (dekking, edgecases, geen datalekken, versiebeheer), metrics selecteren, LLM-as-judge (rubricontwerp, paarsgewijs versus puntsgewijs, bias- en positie-effecten met beperkingen, kalibratie aan de hand van menselijke labels), RAG-metrics (faithfulness, relevantie van context en antwoord), evaluatie van agenttrajecten (correctheid van toolaanroepen, taakvoltooiing), offline harnesses en CI-regressiegates, online evaluatie (A/B, guardrailmetrics, steekproeven voor menselijke beoordeling) en statistische degelijkheid (betrouwbaarheidsintervallen, significantie). Tools zoals Ragas, promptfoo, DeepEval, LangSmith en Braintrust, zonder lock-in. Evalueer altijd op een apart gehouden set voordat je live gaat.
Wat je krijgt
-
→Gouden datasets: dekking, edgecases, geen datalekken
-
→LLM-as-judge: rubric, biasbeperking, kalibratie met mensen
-
→RAG- en agentmetrics (faithfulness, nauwkeurigheid van toolaanroepen)
-
→CI-regressiegates met betrouwbaarheidsintervallen en significantie
📄 ingrid-llm-evaluation-engineer.skill
Installatie in minder dan 2 min
Werkt met Claude, ChatGPT & elke AI-chat
Installeren
Download het .skill-pakket → open Claude → plak SKILL.md in je Project Instructions of systeemprompt → beschrijf je vereiste → Ingrid bouwt het antwoord. Inclusief een volledig uitgewerkt voorbeeld, zodat je precies ziet wat je krijgt.