Se ha lanzado una competición en Kaggle centrada en optimizar el coste de los tokens para las respuestas de LLM, desafiando a los participantes a decidir entre ejecutar un modelo pequeño o saltarse la pregunta. El objetivo es minimizar el coste ponderado, considerando los costes de computación, el fallo y la penalización por saltarse una respuesta correcta.
Esta investigación introduce LongDS, un nuevo benchmark para evaluar agentes de IA en tareas de análisis de datos de largo horizonte y múltiples turnos, compuesto por 68 tareas de notebooks reales de Kaggle. Revela que los modelos de vanguardia alcanzan solo un 48,45% de precisión, con una caída significativa del rendimiento en turnos posteriores, destacando un fallo crítico en el seguimiento del contexto analítico evolutivo.
Uma nova estrutura cognitiva está sendo introduzida para medir o progresso em direção à AGI. Para auxiliar no desenvolvimento das avaliações pertinentes, um hackathon no Kaggle será lançado.
Google y Kaggle están relanzando su Curso Intensivo de Agentes de IA de 5 días, y las inscripciones ya están abiertas. Este programa se centra en la formación en Agentes de IA, presentado por dos importantes entidades tecnológicas.
