YAWBDB obsługuje własne endpointy zgodne z OpenAI dla funkcji opartych na AI.
Dzięki temu możesz korzystać z własnego dostawcy modeli, zamiast polegać wyłącznie na domyślnym API OpenAI.
🗺️ Obsługiwane obszary funkcji
Własne endpointy można stosować w takich funkcjach jak:
- AI Response
- Random Bot Interactions
- Transkrypcja AudioToText
- Transkrypcja Audio Recording
- Podsumowania AI w Audio Recording
Każda funkcja może mieć własne ustawienia własnego endpointu.
🔗 Zgodni dostawcy
Zadziałać może dowolny endpoint zgodny z OpenAI, w zależności od dostawcy i modelu.
Przykłady:
- Ollama
- LM Studio
- OpenRouter
- Samodzielnie hostowane usługi zgodne z OpenAI
- Inne zgodne API
Zawsze sprawdź, czy twój dostawca obsługuje typ endpointu, którego chcesz użyć.
📋 Wybór modelu
Każde pole modelu w ustawieniach funkcji ma przycisk Wyświetl modele.
Pyta on endpoint, na który wskazuje to pole, co udostępnia, i podaje odpowiedź jako podpowiedzi:
- jeśli własny endpoint pola jest włączony, a jego URL wypełniony, lista pochodzi z twojego endpointu i używa twojego własnego klucza do niego;
- w przeciwnym razie pochodzi z OpenAI i używa klucza API funkcji.
Podpowiedzi są filtrowane do tego, z czego pole faktycznie może korzystać. Pole transkrypcji nie zaproponuje modeli czatu, a pole czatu nie zaproponuje modeli embeddingów, moderacji, obrazów ani mowy - takie modele zostałyby przyjęte przy zapisie i zawiodły dopiero przy pierwszej wiadomości.
Pole pozostaje celowo polem tekstowym. Publikowanie listy modeli jest opcjonalne w formacie OpenAI, więc niektóre serwery hostowane samodzielnie w ogóle na nią nie odpowiadają, a model hostowany samodzielnie nazywa się tak, jak nazwał go jego właściciel. Jeśli listy nie da się pobrać, powód zostanie pokazany pod polem, a ty po prostu wpiszesz nazwę.
🔌 Endpoint modelu tekstowego
Dla odpowiedzi tekstowych AI możesz skonfigurować:
- Włączenie własnego modelu tekstowego
- Własny bazowy URL
- Własny klucz API, jeśli jest wymagany
- Nazwę modelu, jeśli jest dostępna w ustawieniach funkcji
Przykładowy format bazowego URL:
http://localhost:11434/v1
Dokładny URL zależy od twojego dostawcy.
🔌 Endpoint transkrypcji
Do transkrypcji dźwięku możesz skonfigurować własny endpoint zgodny z Whisper.
Jest on używany przez funkcje takie jak AudioToText i Audio Recording, gdy transkrypcja jest włączona.
🔌 Endpoint modelu podsumowań
Audio Recording może używać osobnego własnego endpointu do podsumowań spotkań generowanych przez AI.
Dzięki temu możesz użyć jednego modelu do transkrypcji, a innego do podsumowań.
👁️ Ukryte pola
Pola własnego endpointu są domyślnie ukryte.
Pojawiają się tylko po włączeniu odpowiedniego przełącznika własnego endpointu. Dzięki temu strona konfiguracji jest czytelniejsza dla osób, które nie potrzebują własnych dostawców.
🔐 Uwagi dotyczące bezpieczeństwa
- Nie udostępniaj kluczy API niezaufanym użytkownikom.
- Upewnij się, że twój endpoint jest osiągalny ze środowiska, w którym działa YAWBDB.
- Dla zdalnych endpointów używaj HTTPS, gdy tylko to możliwe.
- Sprawdź, jak twój dostawca przechowuje lub przetwarza dane.
- Najpierw przetestuj z krótkim promptem lub krótkim plikiem audio.
🔧 Rozwiązywanie problemów
🚨 AI nie odpowiada
Sprawdź bazowy URL, klucz API i nazwę modelu. Upewnij się też, że endpoint jest osiągalny.
🚨 Transkrypcja nie działa
Upewnij się, że endpoint jest zgodny z Whisper i obsługuje format wysyłanego pliku audio.
🚨 Podsumowania nie działają, ale transkrypcja tak
Sprawdź ustawienia osobnego endpointu modelu podsumowań.
🏠 Localhost nie działa
localhost może oznaczać sam kontener lub serwer, więc użyj adresu osiągalnego dla działającej usługi.