A Thinking Machines Lab, liderada pela ex-CTO da OpenAI Mira Murati, divulgou nesta quarta-feira (10) seu primeiro estudo público com o objetivo de reduzir a aleatoriedade nas respostas de modelos de linguagem. O texto marca o lançamento do blog de pesquisa Connectionism da startup, que já captou US$ 2 bilhões em rodada seed e reúne ex-pesquisadores da OpenAI.
Controle de GPU para eliminar o “efeito roleta”
Assinado pelo pesquisador Horace He, o artigo “Defeating Nondeterminism in LLM Inference” aponta que a origem das variações de respostas está na forma como os kernels de GPU — pequenos programas executados nos chips da Nvidia — são organizados durante a inferência. Segundo He, ao orquestrar esses kernels de maneira precisa é possível tornar os modelos mais determinísticos, entregando a mesma saída para a mesma entrada.
Impacto em empresas e no treino por reforço
Além de oferecer previsibilidade para cientistas e clientes corporativos, a equipe afirma que a consistência pode melhorar o treinamento por reforço (reinforcement learning). Como esse método recompensa respostas corretas, variações mínimas acabam introduzindo ruído nos dados de treino; respostas mais uniformes tornariam o processo “mais suave”, de acordo com o pesquisador.
Próximos passos e promessa de transparência
Mira Murati declarou em julho que o primeiro produto da Thinking Machines Lab será apresentado nos próximos meses, com foco em pesquisadores e startups que desenvolvem modelos customizados. A empresa, avaliada em US$ 12 bilhões, também se comprometeu a publicar regularmente códigos, artigos e detalhes de seus avanços.
Imagem: Getty
Este primeiro post oferece uma rara visão interna de uma das startups de IA mais discretas do Vale do Silício, indicando que a companhia pretende atacar alguns dos maiores desafios do setor.
Com informações de TechCrunch
