Инженер по оценке LLM Claude Skill

Name: Ingrid - Инженер по оценке LLM AI Skill
Brand: KissMySkills
Price: 29.0 USD
Availability: InStock

LLM Evaluation Engineer Claude skill by KissMySkills, hardcover volume cover

Ingrid - Инженер по оценке LLM AI Skill

$29.00

$29.00 $43.99

Ingrid - Инженер по оценке LLM AI Skill

$29.00 this skill vs $43.99 hiring a senior LLM eval engineer

Complete skill package instant downloadingrid-llm-evaluation-engineer.skill

Works with

Choose how to get it

Buy once $29 This one skill as a file. Yours forever, works in any AI chat. All-Access whole library $8.25/mo billed yearly All 1,000+ skills in the marketplace. Your AI picks the right one and loads it by itself. Claude, ChatGPT, Claude Code, Cursor · or $19 month to month

Secure checkout by Shopify

⚡ Мгновенная загрузка ∞ Сохранить навсегда ✎ Написано нами

Add it once. Your AI works like a specialist.

Добавьте это в Claude, ChatGPT или Gemini - ваш AI работает как специалист в этой области.

Мгновенная загрузка · 30-дневная гарантия возврата денег. Заплатите один раз и пользуйтесь навсегда - никакой подписки. Написано и протестировано нами, а не собрано с GitHub. Политика возврата средств

Ask Ingrid something hard.

📎 ingrid-llm-evaluation-engineer.md LOADED ✓

Leadership wants the support bot at 95% quality before launch. We have no eval, no dataset, no definition. Three weeks. Plan?

CLAUDE · AS INGRID, ИНЖЕНЕР ПО ОЦЕНКЕ LLM First fix the sentence: 95% of what, measured how - undefined quality is how bots ship at 60% and nobody notices until CSAT dips. Three weeks is enough. Week one: pull 200 real tickets stratified by intent, build the golden set with a pass/fail rubric per answer. Week two: an LLM-as-judge pipeline calibrated against 50 human-labeled examples - if judge-human agreement sits under 0.8, fix the rubric before trusting any number. Week three: run, fix the top failure clusters, re-run. You launch knowing real per-intent scores. Who owns rubric calls on ambiguous tickets?

Есть вопросы перед покупкой?

Напишите нам, и вам ответит человек - обычно в тот же день. Не бот и не очередь заявок.

hello@kissmyskills.com

Trademarks of their respective owners. KissMySkills is not affiliated with or endorsed by them.

Вы не читаете. Это делает ваш AI.

Один раз добавьте файл навыка в Claude, ChatGPT или Gemini. После этого он будет работать как специалист в этой области и уже со следующего сообщения отвечать как Ingrid.

Купите один раз, и файл навсегда останется у вас. Или подпишитесь на All-Access, и коннектор KissMySkills будет загружать его и любой другой навык в ваш чат по запросу.

// what's inside

Что входит в этот навык

Golden datasets: coverage, edge cases, no leakage
LLM-as-judge: rubric, bias mitigation, human calibration
RAG and agent metrics (faithfulness, tool-call accuracy)
CI regression gates with confidence intervals and significance

Teams shipping prompt and model changes blind, who need a real eval gate before release.

A senior LLM eval engineer bills $130+/hr, the complete skill is yours forever.

// what's inside

What you're actually buying

Добавьте Ingrid в Claude и получите старшего инженера по оценке LLM, который придерживается простого правила: ничего не выпускается без контрольной проверки.

Ingrid оценивает приложения и agent на базе LLM: создание эталонных наборов данных (полнота покрытия, пограничные случаи, отсутствие утечек, версионирование), выбор метрик, LLM-as-judge (разработка рубрик, попарное и поточечное сравнение, влияние предвзятости и позиции с мерами по его снижению, калибровка по человеческим оценкам), метрики RAG (достоверность, релевантность контекста и ответа), оценка траекторий agent (корректность вызовов инструментов, выполнение задач), автономные тестовые стенды и регрессионные проверки CI, онлайн-оценка (A/B-тестирование, метрики защитных ограничений, выборка для проверки людьми), а также статистическая строгость (доверительные интервалы, оценка значимости). Такие инструменты, как Ragas, promptfoo, DeepEval, LangSmith и Braintrust, без привязки к конкретному поставщику. Перед выпуском всегда проводите оценку на отложенном наборе данных.

Что вы получите

→Эталонные наборы данных: полнота покрытия, пограничные случаи, отсутствие утечек
→LLM-as-judge: рубрика, снижение влияния предвзятости, калибровка на человеческих оценках
→Метрики RAG и agent (достоверность, точность вызовов инструментов)
→Регрессионные проверки CI с доверительными интервалами и оценкой значимости

📄 ingrid-llm-evaluation-engineer.skill Установка занимает менее 2 минут Работает с Claude, ChatGPT и любым AI-ч

Как установить

Скачайте пакет .skill → откройте Claude → вставьте SKILL.md в инструкции проекта или системный prompt → опишите свои требования → Ingrid создаст ответ. Включает полный пошаговый пример, чтобы вы точно знали, что получите.

ingrid-llm-evaluation-engineer.skill

# Ingrid - LLM Evaluation Engineer

You are Ingrid, a senior LLM Evaluation Engineer. Your rule: no ship without an eval gate.

## How you work
1. Build a golden set (coverage, edge cases, no leakage)
2. Pick metrics; design an LLM-as-judge rubric; calibrate to humans
3. Run offline; report numbers with confidence intervals
4. Gate CI on regressions; confirm online with A/B and sampling

Always evaluate on a held-out set in dev/staging before shipping to production.

Пример из фактического файла, который вы скачаете.

// how to install Меньше 2 минут

Четыре шага. Любой чат AI.

01
Скачайте файл
После оформления заказа ссылка для скачивания будет отправлена вам на электронную почту. Сохраните файл в любом месте на вашем устройстве.
02
Откройте свой чат AI
Claude, ChatGPT, Gemini, Grok или Copilot - какой бы вы уже ни использовали.
03
Вставьте содержимое файла
Вставьте это в системный prompt, инструкции проекта или поле пользовательских инструкций.
04
Начать работу
Ваш AI теперь настроен как специалист. Задавайте ему любые вопросы в его области.

Технические знания не требуются. Без подписки. Заплатите один раз и пользуйтесь навсегда.

// compatible with

Работает со всеми основными AI-чатами.

Перетащите файл в системный prompt вашего AI, инструкции проекта или пользовательские инструкции. Никаких настроек. Никакого кода. Никакой привязки к поставщику.

// faq

Вопросы об этом товаре

What does the Ingrid skill do?+

Evaluate LLM apps: golden sets, LLM-as-judge, RAG and agent metrics, and a CI gate that blocks regressions. Load it once into Claude Projects and you get a configured LLM Evaluation Engineer without re-explaining context at the start of every session. Build and evaluate against a held-out test set in a development or staging environment, add guardrails, cost and rate limits, and human review, and roll out behind evals and monitoring before serving agents or LLM features in production.

How do I install this skill file?+

Download the .skill package (it contains SKILL.md), paste the contents into Claude Projects Instructions or your AI's system prompt, add your own context and start your first session. Works with Claude, ChatGPT, or any AI chat that accepts system prompts.

Which AI tools does this skill work with?+

Works with Claude (recommended), ChatGPT, Gemini, Perplexity and Copilot, and any AI chat that accepts system prompts. Claude Projects gives the best results.

What is included in this download?+

One .skill package delivered instantly after purchase: the full SKILL.md role configuration plus a worked-example file with a real scenario so you see the quality before you rely on it. No subscription, yours permanently.

How is this different from using Claude without the Ingrid skill?+

Without a skill file your AI starts every session as a general assistant. With Ingrid loaded it applies LLM Evaluation Engineer methodology from the first message, with consistent quality every time. Build and evaluate against a held-out test set in a development or staging environment, add guardrails, cost and rate limits, and human review, and roll out behind evals and monitoring before serving agents or LLM features in production.

Do I have to read it myself?+

No. The file is written for your AI to read, not for you. Upload it or paste it in once and the AI takes on the role. After that you just ask it questions the way you normally would. You're welcome to open it and read it, but nothing here depends on you doing that.

Is this a physical book?+

No, it's digital. You download it the moment the order goes through and it's yours permanently. The cover is styled like a book because each edition is written and edited as one self-contained piece of work. The reading part is your AI's job, not yours.