Агрегаторы нейросетей

Сервисы этого класса делятся на три группы. Граница условная: многие закрывают сразу два сценария, поэтому смотрите, какой из них для вас главный.

• Чат-платформы — сотрудники работают с моделями в браузере, мобильном приложении или мессенджере: GPTunneL, BotHub, Chad AI, ruGPT, MashaGPT, Чат Рунета, Влекс АИ, Mitup AI
• API-шлюзы — один ключ и один формат запроса ко всем моделям, рассчитаны на разработчиков: Polza AI, AITUNNEL, ProxyAPI, RouterAI, Provod AI, GenAPI, VseGPT, LLMost
• Корпоративные платформы — единое рабочее пространство с нейросетями для сотрудников, которое разворачивают в контуре компании: Jay Copilot, Нейрошлюз

Отдельный случай — задача не подключиться к готовым моделям, а собрать на них собственного помощника с базой знаний и сценариями. Для нее есть соседние разделы каталога.

• Свои ассистенты и агенты на языковых моделях: платформы и конструкторы ИИ-агентов
• Голосовые и текстовые боты для клиентского сервиса: платформы разговорного ИИ
• Общий обзор класса: платформы искусственного интеллекта

OpenRouter — зарубежный сервис, который дает единый программный интерфейс к сотням моделей разных разработчиков. Схема удобная, но российской компании мешают два обстоятельства: оплата принимается иностранной картой или криптовалютой, а российских закрывающих документов сервис не выдает.

Отечественные аналоги повторяют ту же идею — один ключ и единый формат запросов — и добавляют то, что нужно местному бизнесу: оплату в рублях картой или по счету, договор, акты и электронный документооборот. Большинство совместимо с форматом OpenAI, поэтому готовый код переносится заменой адреса сервера и ключа.

• API-шлюзы с оплатой в рублях: Polza AI, AITUNNEL, ProxyAPI, RouterAI, Provod AI, GenAPI, VseGPT, LLMost

Цены у посредника обычно выше прямых цен разработчика модели: в них заложены конвертация, комиссия и налоги. Сравнивайте не только стоимость токенов, но и минимальный платеж, срок жизни баланса и условия возврата.

Токен — единица, которой модель измеряет текст: часть слова, знак препинания или пробел. Модель считает токены и в запросе, и в ответе, причем ответ обычно стоит дороже. Русский текст расходует больше токенов, чем английский той же длины.

Доступ продают двумя способами. При оплате по факту вы пополняете счет, и с него списывается стоимость каждого запроса по цене выбранной модели. При подписке вы платите фиксированную сумму в месяц и получаете пакет внутренних единиц — токенов, кредитов или запросов. Расходуются они с разной скоростью: запрос к сильной модели может стоить в десятки раз больше, чем к простой.

• Сгорает ли остаток пакета в конце месяца и есть ли срок жизни у пополненного баланса
• Как тарифицируются изображения и видео: за штуку, за секунду или по токенам
• Видна ли стоимость каждого запроса в истории
• Учитывается ли кэширование повторяющихся частей запроса

Оплатить зарубежную подписку напрямую российскому юрлицу сложно: нужен иностранный счет, а расходы потом трудно провести через бухгалтерию. Агрегатор снимает обе проблемы. Компания заключает договор с российским поставщиком, платит по счету в рублях и получает акт или универсальный передаточный документ, часто через электронный документооборот.

С юрлицами сервисы работают по-разному. У одних это отдельный кабинет организации с общим балансом и ролями, у других — счет по запросу в поддержку. Если важна отчетность, проверьте условия до первого пополнения.

• Кабинет организации с общим балансом и ролями плюс документы для бухгалтерии: GPTunneL, BotHub, Chad AI, Влекс АИ, Polza AI, RouterAI, Provod AI
• Счет и закрывающие документы без командного кабинета: AITUNNEL, ProxyAPI, LLMost, Чат Рунета, Mitup AI

Начните со сценария. Отделу маркетинга нужен удобный чат и генерация изображений, разработчикам — стабильный интерфейс с понятными лимитами, руководителю — контроль расходов по сотрудникам. Дальше сравнивайте сервисы по одному и тому же списку.

• Модели: есть ли нужные вам, как быстро появляются новые версии, доступны ли российские — GigaChat и YandexGPT
• Оплата: по факту или подписка, минимальный платеж, срок жизни баланса
• Документы: договор, счет, акты, электронный документооборот
• Команда: общий баланс, роли, лимиты на сотрудника или ключ, статистика расходов
• API: совместимость с форматом OpenAI, документация, ограничения по числу запросов
• Надежность: страница статуса, заявленная доступность, запасные маршруты к моделям
• Данные: где обрабатываются запросы, хранится ли история, можно ли ее отключить
• Поддержка: каналы связи, время ответа, персональный менеджер для компаний

Проверить сервис лучше на своей задаче. Возьмите три-четыре типовых запроса отдела, прогоните их через две-три модели и сравните качество ответа и фактическое списание.

Запрос проходит через двух посредников: агрегатор и разработчика модели. Оба технически видят его содержимое, поэтому коммерческую тайну и персональные данные клиентов в открытом виде отправлять не стоит. Если в запросах есть персональные данные, их отправка зарубежной модели считается трансграничной передачей, и у нее есть свои требования по закону № 152-ФЗ.

Снизить риск помогают три меры: обезличивание данных перед отправкой, запрет на хранение истории и выбор моделей, которые работают на серверах в России. Компаниям с жесткими требованиями подойдут корпоративные платформы с установкой в собственный контур.

• Российские модели GigaChat или YandexGPT есть в каталогах: GPTunneL, BotHub, MashaGPT, Чат Рунета, Mitup AI, Polza AI, AITUNNEL, RouterAI, Jay Copilot
• Контроль того, что сотрудники отправляют вовне: DLP-системы

Полностью бесплатных сервисов с сильными моделями нет: каждый запрос к чужой модели стоит посреднику денег. Бесплатно обычно дают одно из трех: несколько простых моделей без оплаты, ограниченное число запросов в день или приветственный бонус на счет. Этого хватает, чтобы оценить интерфейс и качество ответов, но не для постоянной работы отдела.

В каталоге такие сервисы отмечены функцией «Бесплатный доступ или тестовый баланс» — включите ее в фильтре над списком, чтобы увидеть только их.

Подключение через агрегатор занимает меньше часа. Зарегистрируйтесь, пополните счет и создайте ключ в кабинете. В коде замените адрес сервера на адрес посредника, подставьте ключ и укажите название модели из каталога. Если сервис совместим с форматом OpenAI, готовые библиотеки и инструменты разработчика работают без переделки.

• Заведите отдельные ключи для тестов и рабочей системы
• Поставьте лимит расходов на ключ и настройте уведомления о низком балансе
• Проверьте ограничение по числу запросов в минуту для выбранной модели
• Предусмотрите запасную модель на случай сбоя у разработчика
• Следите за статистикой: резкий рост расходов часто означает утечку ключа