YAWBDB supporta endpoint personalizzati compatibili con OpenAI per le funzioni basate sull'IA.
Così puoi usare il tuo provider di modelli invece di affidarti solo all'API OpenAI predefinita.
🗺️ Funzioni supportate
Gli endpoint personalizzati possono essere usati per funzioni come:
- Risposte IA
- Interazioni casuali del bot
- Trascrizione AudioToText
- Trascrizione delle registrazioni audio
- Riepiloghi IA delle registrazioni audio
Ogni funzione può avere le proprie impostazioni per l'endpoint personalizzato.
🔗 Provider compatibili
Qualsiasi endpoint compatibile con OpenAI può funzionare, a seconda del provider e del modello.
Alcuni esempi:
- Ollama
- LM Studio
- OpenRouter
- Servizi self-hosted compatibili con OpenAI
- Altre API compatibili
Verifica sempre che il tuo provider supporti il tipo di endpoint che vuoi usare.
📋 Scegliere il modello
Ogni campo del modello nelle impostazioni delle funzioni ha un pulsante Elenca i modelli.
Chiede all'endpoint a cui punta quel campo che cosa mette a disposizione e ti propone la risposta come suggerimenti:
- se l'endpoint personalizzato del campo è attivo e il suo URL è compilato, l'elenco arriva dal tuo endpoint, usando la tua chiave;
- altrimenti arriva da OpenAI, usando la chiave API della funzione.
I suggerimenti sono filtrati in base a ciò che il campo può davvero usare. Un campo di trascrizione non propone modelli di chat, e un campo di chat non propone modelli di embedding, moderazione, immagini o voce: verrebbero accettati al salvataggio e fallirebbero soltanto al primo messaggio.
Il campo resta a testo libero di proposito. Pubblicare un elenco di modelli è facoltativo nel formato OpenAI, quindi alcuni server self-hosted non rispondono affatto, e un modello self-hosted si chiama come l'ha chiamato il suo proprietario. Se l'elenco non può essere recuperato, il motivo appare sotto il campo e puoi semplicemente scrivere il nome.
🔌 Endpoint del modello di testo
Per le risposte di testo dell'IA puoi configurare:
- Usa un endpoint personalizzato per il modello di testo
- URL base personalizzato
- Chiave API personalizzata, se richiesta
- Nome del modello, se disponibile nelle impostazioni della funzione
Esempio di formato dell'URL base:
http://localhost:11434/v1
L'URL esatto dipende dal tuo provider.
🔌 Endpoint di trascrizione
Per la trascrizione audio puoi configurare un endpoint personalizzato compatibile con Whisper.
Viene usato da funzioni come AudioToText e Audio Recording quando la trascrizione è attiva.
🔌 Endpoint del modello di riepilogo
Audio Recording può usare un endpoint personalizzato separato per i riepiloghi delle riunioni generati dall'IA.
Così puoi usare un modello per la trascrizione e un altro per i riepiloghi.
👁️ Campi nascosti
I campi degli endpoint personalizzati sono nascosti per impostazione predefinita.
Compaiono solo quando è attivo l'interruttore dell'endpoint personalizzato corrispondente. In questo modo la pagina di configurazione resta più pulita per chi non ha bisogno di provider personalizzati.
🔐 Note sulla sicurezza
- Non condividere le chiavi API con utenti di cui non ti fidi.
- Assicurati che il tuo endpoint sia raggiungibile dall'ambiente in cui gira YAWBDB.
- Usa HTTPS per gli endpoint remoti quando possibile.
- Informati su come il tuo provider conserva o elabora i dati.
- Prova prima con un prompt breve o un file audio corto.
🔧 Risoluzione dei problemi
🚨 L'IA non risponde
Controlla l'URL base, la chiave API e il nome del modello. Verifica anche che l'endpoint sia raggiungibile.
🚨 La trascrizione non funziona
Assicurati che l'endpoint sia compatibile con Whisper e supporti il formato del file audio inviato.
🚨 I riepiloghi non funzionano ma la trascrizione sì
Controlla le impostazioni dell'endpoint separato del modello di riepilogo.
🏠 Localhost non funziona
localhost può riferirsi al container o al server stesso: usa un indirizzo raggiungibile dal servizio in esecuzione.