Foi lançada uma competição no Kaggle focada em otimizar o custo de tokens para respostas de LLMs, desafiando os participantes a decidir entre usar um modelo pequeno ou pular a pergunta. O objetivo é minimizar o custo ponderado, considerando os custos de computação, falha e pular uma resposta correta.
Esta pesquisa apresenta o LongDS, um novo benchmark para avaliar agentes de IA em tarefas de análise de dados de longo horizonte e múltiplas etapas, contendo 68 tarefas de notebooks Kaggle reais. Revela que os modelos de ponta atingem apenas 48,45% de precisão, com o desempenho caindo significativamente nas etapas posteriores, destacando uma falha crítica no acompanhamento do contexto analítico em evolução.
Uma nova estrutura cognitiva está sendo introduzida para medir o progresso em direção à AGI. Para auxiliar no desenvolvimento das avaliações pertinentes, um hackathon no Kaggle será lançado.
Google e Kaggle estão relançando seu Curso Intensivo de AI Agents de 5 dias, com inscrições já abertas. Este programa foca no treinamento em AI Agents, oferecido por duas grandes entidades de tecnologia.
