OpenAI libera a Decisions API, modelo para decisões em milissegundos

A OpenAI abriu a todos os clientes a Decisions API, anunciada em 29 de setembro. É um modelo que, diante de um conjunto de opções, escolhe uma e informa o nível de confiança na escolha. Segundo a TechCrunch, a base é o ChatGPT Luna reconfigurado para inferência (a execução do modelo) mais rápida e barata. Nikunj Handa, líder de produto das APIs da OpenAI, diz que o tempo caiu de 1 a 3 segundos para 100 a 180 milissegundos. O concorrente é o Jev, da TypeSafe.

Box, Datadog, Ramp e Speak testaram o recurso; a Speak, de tutores de idiomas, foi de 1,4 segundo para 0,13 segundo entre ações. Nos rankings públicos citados, o modelo da OpenAI aparece em oitavo e em décimo quarto, atrás de modelos como o D1 Ultra, da Liquid, e o Elephant-1, da Base Lab, e o Jev segue o mais consultado no OpenRouter. O CEO da TypeSafe recomenda testar no seu próprio trabalho em vez de confiar em benchmark.

Por que importa: Se você usa um LLM apenas para classificar ou rotear (triagem de e-mails, chamados, leads), vale medir se um modelo de decisão faz o mesmo mais rápido e mais barato. A fonte não informa preços, então compare com o seu caso antes de migrar.