YAWBDB поддерживает пользовательские OpenAI-совместимые эндпоинты для функций на основе ИИ.
Благодаря этому вы можете использовать собственного провайдера моделей, а не только стандартный API OpenAI.
🗺️ Поддерживаемые функции
Пользовательские эндпоинты можно использовать для таких функций, как:
- AI Response
- Random Bot Interactions
- Транскрипция AudioToText
- Транскрипция Audio Recording
- ИИ-сводки Audio Recording
У каждой функции могут быть свои настройки пользовательского эндпоинта.
🔗 Совместимые провайдеры
Подойти может любой OpenAI-совместимый эндпоинт, в зависимости от провайдера и модели.
Например:
- Ollama
- LM Studio
- OpenRouter
- Собственные OpenAI-совместимые сервисы
- Другие совместимые API
Всегда проверяйте, что ваш провайдер поддерживает нужный вам тип эндпоинта.
📋 Выбор модели
Рядом с каждым полем модели в настройках функции есть кнопка Показать модели.
Она запрашивает у эндпоинта, на который указывает это поле, список того, что он предоставляет, и показывает ответ в виде подсказок:
- если пользовательский эндпоинт поля включён и его URL заполнен, список приходит с вашего эндпоинта с использованием вашего собственного ключа;
- в остальных случаях он приходит от OpenAI с использованием API-ключа функции.
Подсказки отфильтрованы по тому, что поле действительно может использовать. Поле транскрипции не предложит чат-модели, а чат-поле не предложит модели для эмбеддингов, модерации, изображений или речи - такие модели приняли бы при сохранении, а ошибка случилась бы только при первом сообщении.
Поле намеренно остаётся свободным текстовым. Публикация списка моделей необязательна в формате OpenAI, поэтому некоторые собственные серверы вообще не отвечают на такой запрос, а собственная модель называется так, как назвал её владелец. Если список не удалось получить, причина показывается под полем, и вы можете просто ввести название вручную.
🔌 Эндпоинт текстовой модели
Для текстовых ответов ИИ можно настроить:
- Включить пользовательскую текстовую модель
- Пользовательский базовый URL
- Пользовательский API-ключ, если он нужен
- Название модели, если оно есть в настройках функции
Пример формата базового URL:
http://localhost:11434/v1
Точный URL зависит от вашего провайдера.
🔌 Эндпоинт транскрипции
Для транскрипции аудио можно настроить пользовательский Whisper-совместимый эндпоинт.
Он используется в таких функциях, как AudioToText и Audio Recording, когда включена транскрипция.
🔌 Эндпоинт модели для сводок
Audio Recording может использовать отдельный пользовательский эндпоинт для ИИ-сводок встреч.
Так можно использовать одну модель для транскрипции, а другую - для сводок.
👁️ Скрытые поля
Поля пользовательских эндпоинтов по умолчанию скрыты.
Они появляются только при включении переключателя соответствующего пользовательского эндпоинта. Так страница настроек остаётся чище для тех, кому пользовательские провайдеры не нужны.
🔐 Замечания по безопасности
- Не передавайте API-ключи недоверенным пользователям.
- Убедитесь, что ваш эндпоинт доступен из среды, где работает YAWBDB.
- По возможности используйте HTTPS для удалённых эндпоинтов.
- Выясните, как ваш провайдер хранит и обрабатывает данные.
- Сначала проверьте на коротком запросе или небольшом аудиофайле.
🔧 Решение проблем
🚨 ИИ не отвечает
Проверьте базовый URL, API-ключ и название модели. Также убедитесь, что эндпоинт доступен.
🚨 Транскрипция не работает
Убедитесь, что эндпоинт совместим с Whisper и поддерживает формат отправляемого аудиофайла.
🚨 Сводки не создаются, а транскрипция работает
Проверьте настройки отдельного эндпоинта модели для сводок.
🏠 Localhost не работает
localhost может указывать на сам контейнер или сервер, поэтому используйте адрес, доступный для запущенного сервиса.