Une compétition Kaggle a été lancée, axée sur l'optimisation du coût des tokens pour les réponses LLM en décidant d'exécuter un petit modèle ou de sauter une question. L'objectif est de minimiser le coût pondéré, en tenant compte des coûts de calcul, d'échec et de pénalité pour avoir sauté une bonne réponse.
Cette recherche présente LongDS, un nouveau benchmark pour évaluer les agents d'IA dans des tâches d'analyse de données à long terme et multi-tours, comprenant 68 tâches issues de notebooks Kaggle réels. Il révèle que les modèles de pointe n'atteignent qu'une précision moyenne de 48,45%, avec une baisse significative des performances dans les tours ultérieurs, soulignant une défaillance critique dans le suivi du contexte analytique évolutif.
Uma nova estrutura cognitiva está sendo introduzida para medir o progresso em direção à AGI. Para auxiliar no desenvolvimento das avaliações pertinentes, um hackathon no Kaggle será lançado.
Google et Kaggle relancent leur cours intensif de 5 jours sur les Agents d'IA, et les inscriptions sont ouvertes. Ce programme se concentre sur la formation aux Agents d'IA, proposé par deux grandes entités technologiques.
