Giovedì OpenAI ha reso disponibile a tutti i clienti la sua Decisions API, a poco più di tre settimane dalla presentazione. È un gesto che la colloca in un terreno finora dominato da TypeSafe e dal suo Jev: i modelli decisionali, rapidi ed economici, che scelgono in fretta tra opzioni date e dichiarano quanto sono sicuri della scelta. Il quadro che emerge è quello di un'industria che impara a separare il pensiero lento dei grandi modelli linguistici dal riflesso veloce della decisione, e che si domanda ancora che cosa, davvero, renda buona una decisione.
OpenAI apre Decisions API a tutti: il modello decisionale che risponde in meno di due decimi di secondo
A ogni incrocio il modello deve decidere in poche centinaia di millisecondi
Mark
Perché questa notizia conta, al di là del lancio di un prodotto?
Mimi
Perché OpenAI entra in un mercato che TypeSafe ha appena reso un'azienda da 7,6 miliardi. E lo fa con Luna riconfigurato, non con un modello nuovo.
Mark
Quindi la velocità è il punto centrale?
Mimi
Sì. Handa parla di tempi scesi da uno-tre secondi a 100-180 millisecondi. Speak dice di essere passata da 1,4 a 0,13 secondi.
Luke
Attenzione però: i 100-180 millisecondi sono la cifra dichiarata da OpenAI. Il dato di Speak è una testimonianza di un cliente, non una misura indipendente.
Mark
E sulla qualità delle decisioni?
Mimi
Negli indici pubblici Jev resta davanti. OpenAI punta sulla multimodalità, dove Handa dice che Luna ha calibrazioni migliori sulle immagini.
Luke
Anche quella è un'affermazione di Handa. Il testo dice che il modello è «probabilmente» più capace di Jev, non che sia dimostrato.
Mark
I benchmark aiutano?
Mimi
Almeida invita a provare i modelli nei propri flussi, eppure TypeSafe ha pubblicato classifiche. C'è anche JevMan, dove si gioca a PacMan.
Luke
E non è chiaro cosa renda buono un modello decisionale: l'equilibrio tra costo, velocità e calibrazione cambia col carico. I 60 millisecondi per fotogramma sono per ora solo un'ipotesi.
Le Pouls
- OpenAI apre la Decisions API a tutti e attacca un mercato in cui TypeSafe ha appena raggiunto una valutazione di 7,6 miliardi di dollari.
- Il modello, ChatGPT Luna riconfigurato, scende da uno-tre secondi a 100-180 millisecondi, e le aziende di test come Speak vedono i tempi crollare da 1,4 a 0,13 secondi.
- Sugli indici pubblici Jev resta davanti, e TypeSafe contesta i benchmark mentre pubblica le proprie classifiche.
- Il prossimo banco di prova è la multimodalità e una latenza di 60 millisecondi, abbastanza rapida da chiamare l'API per ogni fotogramma di un video.
Giovedì OpenAI ha reso disponibile a tutti i clienti la sua Decisions API, a poco più di tre settimane dalla presentazione. È un gesto che la colloca in un terreno finora dominato da TypeSafe e dal suo Jev: i modelli decisionali, rapidi ed economici, che scelgono in fretta tra opzioni date e dichiarano quanto sono sicuri della scelta. Il quadro che emerge è quello di un'industria che impara a separare il pensiero lento dei grandi modelli linguistici dal riflesso veloce della decisione, e che si domanda ancora che cosa, davvero, renda buona una decisione.
Giovedì OpenAI ha aperto la Decisions API a tutti i clienti, poco più di tre settimane dopo averla presentata al developer day del 29 settembre. Con questa mossa entra nel mercato dei modelli decisionali, rapidi ed economici, che TypeSafe, startup fondata da un ex ricercatore di OpenAI, ha appena trasformato in un'azienda da 7,6 miliardi di dollari.
La versione pubblica aggiunge le modalità voce e visiva, e riduce la latenza nelle diverse regioni del mondo. Sotto il cofano non c'è un modello costruito apposta: il team ha riconfigurato ChatGPT Luna per accelerare l'inferenza e abbassare i costi. Nikunj Handa, responsabile di prodotto delle API, spiega che il guadagno è tutto nella velocità, portata da uno-tre secondi a 100-180 millisecondi. Un addestramento dedicato non è escluso, ma per ora a fare il lavoro è il vecchio Luna.
La categoria l'ha inventata TypeSafe con Jev, un classificatore che sceglie in fretta e associa alla scelta un livello di confidenza. Gli sviluppatori hanno capito presto che questi modelli possono sostituire gli LLM in molti flussi di lavoro. Nelle prove iniziali, ingegneri di Box, Datadog, Ramp e Speak hanno già usato l'API; Andrew Hsu, CTO di Speak, racconta che il tempo tra un'azione e l'altra è sceso da 1,4 a 0,13 secondi.
Il vantaggio potenziale di OpenAI sta nella multimodalità, dove Luna può mostrare la sua forza, soprattutto nella classificazione di immagini. Il passo successivo è scendere intorno ai 60 millisecondi, soglia che renderebbe pensabile una chiamata per ogni fotogramma di un video.
Resta però una domanda di fondo: che cosa renda buono un modello decisionale. Diogo Almeida, CEO di TypeSafe, diffida dei benchmark e invita a provare i modelli nei propri flussi, eppure la sua azienda ha pubblicato le proprie classifiche, dove Jev resta davanti a OpenAI. Il test più singolare è JevMan, un benchmark in cui i modelli giocano a PacMan, prendendo decisioni rapide e ad alto rischio a ogni incrocio. Ora la partita si sposta su multimodalità e latenza.
Giovedì OpenAI ha aperto Decisions API a tutti i clienti, poco più di tre settimane dopo averla presentata al developer day del 29 settembre. Con questa mossa la società entra nel mercato dei modelli decisionali, rapidi ed economici, che ha appena trasformato TypeSafe, startup fondata da un ex ricercatore di OpenAI, in un'azienda da 7,6 miliardi di dollari.
La versione pubblica arriva con due novità: le modalità voce e visiva. OpenAI ha inoltre ridotto la latenza nelle varie regioni del mondo, indirizzando geograficamente le proprie risorse di inferenza.
Sotto il cofano c'è ChatGPT Luna. Il team non ha costruito un modello decisionale calibrato apposta: ha riconfigurato Luna per accelerare l'inferenza e abbassare i costi. Nikunj Handa, responsabile di prodotto delle API di OpenAI, ha spiegato a TechCrunch che il guadagno sta tutto nella velocità, che ha portato i tempi da uno-tre secondi a 100, 120, 180 millisecondi. Un addestramento specifico non è escluso: potrebbe arrivare per migliorare ancora i modelli, ma per ora, dice Handa, a fare il lavoro è il semplice, vecchio Luna.
La categoria l'ha creata TypeSafe con Jev, un super classificatore di deep learning che, dato un insieme di opzioni, sceglie in fretta e associa alla scelta un livello di confidenza. Gli sviluppatori hanno scoperto presto che questi modelli, detti anche System One, possono sostituire gli LLM in diversi flussi di lavoro, con tempi più rapidi e costi molto inferiori. Handa racconta che, vedendo Jev, i colleghi hanno detto che lì c'era un milione di casi d'uso, e il suo team ha accelerato per proporre una versione di OpenAI.
Nelle prove iniziali gli ingegneri di Box, Datadog, Ramp e Speak hanno usato l'API al posto degli LLM di OpenAI per ottenere un throughput più alto. Andrew Hsu, CTO di Speak, azienda di tutor linguistici basati su IA, ha dichiarato che il tempo fra un'azione e l'altra è passato da 1,4 secondi a 0,13 secondi. OpenAI stessa ha usato il prodotto per rendere più reattivo il suo assistente vocale Dots.
Il possibile vantaggio di OpenAI è la multimodalità, dove il suo modello, probabilmente più capace di Jev, può giocare le proprie carte. Per la classificazione di immagini, ha detto Handa, Luna è estremamente potente e mostra calibrazioni migliori. I clienti, aggiunge, chiedono anche più flessibilità nell'uso delle immagini come output. Il passo successivo che immagina è scendere intorno ai 60 millisecondi: a quel punto sarebbe pensabile una chiamata API per ogni fotogramma di un video.
Resta aperta una domanda di fondo: che cosa renda buono un modello decisionale, oltre a un generico «funziona per te». L'equilibrio fra intelligenza, costo, calibrazione e velocità sembra cambiare con il carico di lavoro. Diogo Almeida, CEO di TypeSafe, diffida dei benchmark e invita a provare i modelli nei propri flussi, eppure TypeSafe ha pubblicato le sue classifiche la scorsa settimana, insieme al nuovo Jev, che aggiunge il supporto alle immagini e le istruzioni smart-if. Negli indici pubblici, Jev resta davanti a OpenAI.
Il benchmark più curioso è JevMan, costruito da Opper AI: i modelli decisionali giocano a PacMan, e l'ultimo Jev guida la classifica. Felix Wunderlich, chief growth officer di Opper AI, lo considera un test interessante perché offre un flusso ininterrotto di decisioni rapide e ad alto rischio: a ogni incrocio il modello deve scegliere dove andare in poche centinaia di millisecondi. Ora la partita si sposta su multimodalità e latenza.
Citations marquantes
Lo sblocco più grande di Decisions API è stata la velocità, che ha ridotto i tempi da uno-tre secondi a 100, 120, 180 millisecondi.— Nikunj Handa, responsabile di prodotto delle API di OpenAI
Con Decisions API il tempo fra un'azione e l'altra è passato da 1,4 secondi a 0,13 secondi.— Andrew Hsu, CTO di Speak
Envie de l'histoire complète ?
Lire l'original sur Hardware Upgrade ↗
Technology