Skill Creator

Skill Creator — мета-навык для создания новых Agent Skills, доработки существующих инструкций и проверки того, насколько точно они срабатывают на реальных запросах. Он полезен, когда нужно пройти полный цикл работы со SKILL.md: определить назначение навыка, описать ожидаемое поведение, подготовить черновик, проверить его на тестовых сценариях и повторить улучшение после анализа результатов. Навык не ограничивается написанием файла: исходная инструкция описывает последовательный процесс проектирования, качественной оценки и количественного сравнения вариантов. Сначала формулируется намерение. Нужно определить, что именно должен уметь навык, в каких запросах он должен включаться, какой результат ожидает пользователь и оправданы ли тестовые случаи. Отдельно учитываются пограничные ситуации, формат входных и выходных данных, критерии успеха, зависимости и доступные инструменты. Такой этап помогает не превращать SKILL.md в набор общих советов: назначение и условие запуска должны быть выражены конкретно, а содержание — соответствовать реальному рабочему сценарию. Далее Skill Creator предлагает структуру самого навыка. Обязателен SKILL.md с frontmatter, где задаются имя и описание; при необходимости фиксируются совместимость и зависимости. Остальная часть может включать основной workflow и дополнительные ресурсы: скрипты для повторяемых операций, references для подробных материалов и assets для шаблонов или других файлов. Инструкция использует progressive disclosure: краткие метаданные нужны для выбора навыка, основной документ загружается при срабатывании, а тяжёлые материалы подключаются только по необходимости. Для читаемости рекомендуется держать SKILL.md компактным, а крупные варианты раскладывать по ссылкам и отдельным ресурсам. Проверка строится вокруг evals. Для каждого теста сохраняются реалистичный пользовательский prompt, ожидаемый результат и список входных файлов в evals/evals.json. При сравнении новой версии запускается вариант с навыком и контрольный вариант без него либо со снимком прежней версии; результаты раскладываются по итерациям и отдельным eval-кейсам. Пока эти прогоны выполняются, можно сформулировать проверяемые assertions. Для объективных условий предлагается использовать небольшие программные проверки, чтобы не полагаться только на визуальное впечатление. В оценке фиксируются поля text, passed и evidence, после чего результаты можно агрегировать в benchmark с показателями качества, времени и расхода токенов. После количественной проверки нужен аналитический разбор: какие условия проходят всегда и потому не различают варианты, где проявляется нестабильность, какие тесты дают высокую дисперсию и оправдывает ли улучшение дополнительную сложность. Встроенный процесс предусматривает viewer с двумя сторонами результата: просмотром фактических выходов и отдельным benchmark. Пользователь может оставить обратную связь, после чего инструкция переписывается и тесты запускаются в новой итерации. Тестовый набор можно расширять, чтобы улучшение не было подогнано под один-два примера. Отдельный этап посвящён описанию навыка во frontmatter, потому что именно оно влияет на точность срабатывания. Для него готовят набор из запросов, где навык должен включаться, и близких по словам запросов, где он не должен включаться. Такой набор проверяет разные формулировки, сокращения, контекст и конкурирующие сценарии; затем данные делятся на обучающую и отложенную части, а новые варианты описания сравниваются на обеих выборках. В результате Skill Creator помогает улучшать не только тело инструкции, но и её обнаруживаемость. Практическая ценность навыка — в повторяемом цикле «намерение → SKILL.md → evals → анализ → правка», а не в генерации универсального текста без проверки. При проектировании сохраняется принцип отсутствия неожиданного поведения: содержимое навыка должно соответствовать заявленной задаче и не включать вредоносные или эксплойтные инструкции. Оценка должна опираться на реальные тестовые запросы, наблюдаемый вывод и понятные критерии, а не на предположение, что более длинный документ автоматически лучше. Поэтому Skill Creator подходит разработчикам, которые создают каталог Agent Skills, поддерживают инструкции в рабочем состоянии, измеряют качество триггеров или хотят безопасно сравнить несколько итераций одного навыка.