ChatGPT will be 100x Faster... (CEREBRAS DEAL)
Parceria da OpenAI com a Cerebrris: O Futuro da Inferência
Introdução à Parceria
- A OpenAI anunciou uma parceria com a Cerebrris em um acordo de três anos avaliado em bilhões de dólares, focando na entrega da inferência mais rápida possível.
- A história começa com o lançamento do modelo Gemini 3 pelo Google, que foi treinado usando TPUs ao invés de GPUs Nvidia, destacando-se nos benchmarks.
Impacto das TPUs e Aquisição da Grock
- A Nvidia percebeu a importância das TPUs e adquiriu a Grock através de um acordo de licenciamento de tecnologia no valor de 20 bilhões de dólares, contornando regulamentações antitruste.
- Jensen Huang, CEO da Nvidia, reconheceu que o verdadeiro lucro está na inferência e não no treinamento dos modelos; o treinamento é um custo único enquanto a inferência gera receita contínua.
Detalhes do Acordo entre OpenAI e Cerebrris
- O acordo entre OpenAI e Cerebrris é estimado em mais de 10 bilhões de dólares para aquisição de 750 megawatts de poder computacional ao longo de três anos.
- Sam Altman optou pela Cerebrris devido à dependência excessiva da Nvidia se tivesse escolhido a Grock, minimizando riscos associados à plataforma.
Vantagens dos Chips Cerebrris
- Os chips da Cerebrris são os mais rápidos do mundo, superando outros modelos como o Grock em termos de velocidade (mais de 3.000 tokens por segundo).
- Além da velocidade, os chips integram memória diretamente no wafer, evitando problemas atuais enfrentados por outros fabricantes devido à escassez de memória.
Conclusão sobre o Mercado e Inovações
- Com as inovações trazidas pelos chips da Cerebrris e sua integração com ferramentas como Zapier, espera-se uma evolução significativa na orquestração da IA.
- Andrew Feldman, CEO da Cerebrris, destacou que eles não utilizam tipos comuns de memória afetados pela alta demanda atual no mercado.
A Importância da Velocidade na IA
Acelerando o Processo de Inferência
- A velocidade é um fator crucial para a valorização das GPUs, especialmente em comparação com a dependência de chips Nvidia.
- Uma pesquisa realizada no X revelou que, embora a qualidade seja considerada mais importante, a velocidade é essencial, especialmente em tarefas de codificação.
- O tempo de espera para que um agente de IA complete uma tarefa pode ser frustrante; aumentar a velocidade permite iterações mais rápidas e eficientes.
Impacto dos Chips Especializados
- Chips especializados desempenham um papel significativo no ciclo de vida da IA, principalmente na inferência onde está o lucro.
- OpenAI agora tem maior capacidade para dedicar GPUs à inferência, resultando em modelos melhores devido à escolha entre treinamento e demanda do mercado.
Perspectivas Futuras e IPO da Cerebras
- A Cerebras está se aproximando de um IPO após levantar fundos e receber validação do OpenAI sobre sua capacidade.
- Há uma corrida por capacidade computacional entre laboratórios que desenvolvem modelos avançados.
Desafios com Arquiteturas Não-GPU
- Greg Brockman mencionou as dificuldades enfrentadas ao tentar construir arquiteturas não-GPU desde 2017.
- As conversas com empresas como Grock e Cerebras revelaram que muitos não entenderam as necessidades específicas do trabalho com IA.
Conclusões sobre Parcerias e Inovação
- O sucesso no espaço da IA depende da colaboração entre especialistas em deep learning e fabricantes de chips.
- As empresas estão começando a perceber o valor das capacidades oferecidas por novos players como Grock e Cerebras.