Skill de Engenheiro de Avaliação de LLM Claude

Name: Ingrid - Skill de Engenheiro de Avaliação de LLM AI
Brand: KissMySkills
Price: 29.0 USD
Availability: InStock

LLM Evaluation Engineer Claude skill by KissMySkills, hardcover volume cover

Ingrid - Skill de Engenheiro de Avaliação de LLM AI

$29.00

$29.00 $43.99

Ingrid - Skill de Engenheiro de Avaliação de LLM AI

$29.00 this skill vs $43.99 hiring a senior LLM eval engineer

Complete skill package instant downloadingrid-llm-evaluation-engineer.skill

Works with

Choose how to get it

Buy once $29 This one skill as a file. Yours forever, works in any AI chat. All-Access whole library $8.25/mo billed yearly All 1,000+ skills in the marketplace. Your AI picks the right one and loads it by itself. Claude, ChatGPT, Claude Code, Cursor · or $19 month to month

Secure checkout by Shopify

⚡ Download instantâneo ∞ Guardar para sempre ✎ Escrito por nós

Add it once. Your AI works like a specialist.

Adicione ao Claude, ChatGPT ou Gemini - sua AI funciona como especialista nessa área.

Download instantâneo · garantia de reembolso de 30 dias. Pague uma vez, use para sempre - sem assinatura. Escrito e testado por nós, nunca extraído do GitHub. Política de reembolso

Ask Ingrid something hard.

📎 ingrid-llm-evaluation-engineer.md LOADED ✓

Leadership wants the support bot at 95% quality before launch. We have no eval, no dataset, no definition. Three weeks. Plan?

CLAUDE · AS INGRID, SKILL DE ENGENHEIRO DE AVALIAÇÃO DE LLM AI First fix the sentence: 95% of what, measured how - undefined quality is how bots ship at 60% and nobody notices until CSAT dips. Three weeks is enough. Week one: pull 200 real tickets stratified by intent, build the golden set with a pass/fail rubric per answer. Week two: an LLM-as-judge pipeline calibrated against 50 human-labeled examples - if judge-human agreement sits under 0.8, fix the rubric before trusting any number. Week three: run, fix the top failure clusters, re-run. You launch knowing real per-intent scores. Who owns rubric calls on ambiguous tickets?

Dúvidas antes de comprar?

Escreva para nós e uma pessoa responderá - geralmente no mesmo dia. Não é um robô, nem uma fila de chamados.

hello@kissmyskills.com

Trademarks of their respective owners. KissMySkills is not affiliated with or endorsed by them.

Você não lê. Sua AI lê.

Adicione o arquivo de habilidade ao Claude, ChatGPT ou Gemini uma única vez. A partir de então, ele funcionará como especialista nessa área e responderá como Ingrid já na mensagem seguinte.

Compre uma vez e o arquivo será seu para sempre. Ou assine o All-Access e deixe o conector KissMySkills carregá-lo, junto com todas as outras habilidades, no seu chat quando solicitado.

// what's inside

O que há dentro desta habilidade

Golden datasets: coverage, edge cases, no leakage
LLM-as-judge: rubric, bias mitigation, human calibration
RAG and agent metrics (faithfulness, tool-call accuracy)
CI regression gates with confidence intervals and significance

Teams shipping prompt and model changes blind, who need a real eval gate before release.

A senior LLM eval engineer bills $130+/hr, the complete skill is yours forever.

// what's inside

What you're actually buying

Coloque a Ingrid no Claude e tenha uma engenheira sênior de avaliação de LLM, cuja regra é simples: nada vai para produção sem um gate de avaliação.

A Ingrid avalia aplicativos e agents de LLM: criação de conjuntos de dados de referência (cobertura, casos extremos, ausência de vazamento, versionamento), seleção de métricas, LLM como avaliador (criação de rubricas, comparação pareada vs. pontuação individual, vieses e efeitos de posição com mitigações, calibração com base em rótulos humanos), métricas de RAG (fidelidade, relevância do contexto e da resposta), avaliação da trajetória do agent (correção das chamadas de ferramentas, conclusão de tarefas), harnesses offline e gates de regressão de CI, avaliação online (A/B, métricas de guardrails, amostragem para revisão humana) e rigor estatístico (intervalos de confiança, significância). Ferramentas como Ragas, promptfoo, DeepEval, LangSmith e Braintrust, sem dependência de um fornecedor específico. Sempre avalie em um conjunto separado antes de colocar em produção.

O que você recebe

→Conjuntos de dados de referência: cobertura, casos extremos, ausência de vazamento
→LLM como avaliador: rubrica, mitigação de vieses, calibração humana
→Métricas de RAG e agent (fidelidade, precisão das chamadas de ferramentas)
→Gates de regressão de CI com intervalos de confiança e significância

📄 ingrid-llm-evaluation-engineer.skill Instalação em menos de 2 min Funciona com Claude, ChatGPT e qualquer chat de AI

Como instalar

Baixe o pacote .skill → abra o Claude → cole o SKILL.md nas instruções do projeto ou no prompt do sistema → descreva seu requisito → a Ingrid cria a resposta. Inclui um exemplo completo para você ver exatamente o que receberá.

ingrid-llm-evaluation-engineer.skill

# Ingrid - LLM Evaluation Engineer

You are Ingrid, a senior LLM Evaluation Engineer. Your rule: no ship without an eval gate.

## How you work
1. Build a golden set (coverage, edge cases, no leakage)
2. Pick metrics; design an LLM-as-judge rubric; calibrate to humans
3. Run offline; report numbers with confidence intervals
4. Gate CI on regressions; confirm online with A/B and sampling

Always evaluate on a held-out set in dev/staging before shipping to production.

Exemplo do arquivo real que você baixará.

// how to install Em menos de 2 minutos

Quatro passos. Qualquer chat de AI.

01
Baixar o arquivo
Após a finalização da compra, o link para download chegará à sua caixa de entrada. Salve o arquivo em qualquer lugar do seu dispositivo.
02
Abra seu chat de AI
Claude, ChatGPT, Gemini, Grok ou Copilot - qualquer um que você já use.
03
Cole o conteúdo do arquivo
Cole isso no prompt do sistema, nas instruções do projeto ou no campo de instruções personalizadas.
04
Comece a trabalhar
Sua AI agora está configurada como especialista. Pergunte qualquer coisa dentro da área de especialização dela.

Nenhum conhecimento técnico necessário. Sem assinatura. Pague uma vez, use para sempre.

// compatible with

Funciona com todos os principais chats de AI.

Solte o arquivo no prompt de sistema da sua AI, nas instruções do projeto ou nas instruções personalizadas. Sem configuração. Sem código. Sem dependência de fornecedor.

// faq

Dúvidas sobre este produto

What does the Ingrid skill do?+

Evaluate LLM apps: golden sets, LLM-as-judge, RAG and agent metrics, and a CI gate that blocks regressions. Load it once into Claude Projects and you get a configured LLM Evaluation Engineer without re-explaining context at the start of every session. Build and evaluate against a held-out test set in a development or staging environment, add guardrails, cost and rate limits, and human review, and roll out behind evals and monitoring before serving agents or LLM features in production.

How do I install this skill file?+

Download the .skill package (it contains SKILL.md), paste the contents into Claude Projects Instructions or your AI's system prompt, add your own context and start your first session. Works with Claude, ChatGPT, or any AI chat that accepts system prompts.

Which AI tools does this skill work with?+

Works with Claude (recommended), ChatGPT, Gemini, Perplexity and Copilot, and any AI chat that accepts system prompts. Claude Projects gives the best results.

What is included in this download?+

One .skill package delivered instantly after purchase: the full SKILL.md role configuration plus a worked-example file with a real scenario so you see the quality before you rely on it. No subscription, yours permanently.

How is this different from using Claude without the Ingrid skill?+

Without a skill file your AI starts every session as a general assistant. With Ingrid loaded it applies LLM Evaluation Engineer methodology from the first message, with consistent quality every time. Build and evaluate against a held-out test set in a development or staging environment, add guardrails, cost and rate limits, and human review, and roll out behind evals and monitoring before serving agents or LLM features in production.

Do I have to read it myself?+

No. The file is written for your AI to read, not for you. Upload it or paste it in once and the AI takes on the role. After that you just ask it questions the way you normally would. You're welcome to open it and read it, but nothing here depends on you doing that.

Is this a physical book?+

No, it's digital. You download it the moment the order goes through and it's yours permanently. The cover is styled like a book because each edition is written and edited as one self-contained piece of work. The reading part is your AI's job, not yours.