azure-aigateway

Azure AI Gateway — официальный навык Microsoft для настройки Azure API Management как шлюза управления AI-моделями, MCP-инструментами и агентами. Он предназначен для сценариев, где через единый APIM-слой нужно управлять semantic caching, лимитами токенов, безопасностью контента, балансировкой, политиками моделей, ограничением MCP-запросов, обнаружением jailbreak, подключением Azure OpenAI или AI Foundry, тестированием AI endpoint, метриками токенов и контролем стоимости. Карточка относится к конфигурации и проверке шлюза: она не обещает, что одна команда автоматически создаст готовую production-архитектуру. Материал связывает задачу с конкретными политиками APIM. azure-openai-token-limit используется для контроля расхода, semantic-cache-lookup/store — для повторного использования ответов, azure-openai-emit-token-metric — для наблюдаемости, llm-content-safety — для фильтрации вредоносного содержимого и rate-limit-by-key — для защиты MCP и других инструментов от слишком частых запросов. В рекомендуемом порядке inbound-политик сначала идёт аутентификация управляемой идентичностью к backend, затем проверка semantic cache, лимиты токенов, content safety, выбор backend для балансировки и, в конце, метрики использования токенов. Такой порядок связывает контроль доступа, стоимость, безопасность, отказоустойчивость и измеримость запроса в одну проверяемую цепочку. Для диагностики навык предлагает получить gateway URL через az apim show, перечислить AI backends командой az apim backend list и получить subscription keys через az apim subscription keys list. AI endpoint можно проверить POST-запросом к OpenAI-compatible chat completions path с api-version, заголовком Content-Type и Ocp-Apim-Subscription-Key. Для добавления backend сначала обнаруживаются Azure OpenAI-ресурсы, затем создаётся APIM backend с HTTP URL, после чего APIM получает роль Cognitive Services User через managed identity. Это не абстрактное описание: примеры показывают, какие сущности Azure нужно найти и какие параметры должны участвовать в проверке. Ограничения и troubleshooting описаны явно. Для Token limit 429 предлагается увеличить tokens-per-minute или добавить балансировку; при отсутствии cache hits — проверить score-threshold и, в указанном сценарии, снизить его до 0.7; при ложных срабатываниях content safety — повысить пороги категорий до диапазона 5–6; при backend auth 401 — выдать APIM роль Cognitive Services User. Для развёртывания самого APIM навык направляет к отдельному azure-prepare, поэтому azure-aigateway отвечает за gateway, backend, политики и тестовый вызов, а не за полный жизненный цикл инфраструктуры. Для продолжения доступны официальные материалы Microsoft, Azure-Samples AI Gateway и справочники по политикам, паттернам, диагностике, Azure API Management и AI Gateway capabilities. Навык требует Azure CLI az для конфигурации и тестирования; без доступа к Azure и корректных ролей приведённые команды останутся инструкциями для проверки, а не подтверждением успешного развёртывания.