Ein Kaggle-Wettbewerb wurde gestartet, der sich auf die Optimierung der Token-Kosten für LLM-Antworten konzentriert, indem entschieden wird, ob ein kleines Modell ausgeführt oder eine Frage übersprungen werden soll. Ziel ist es, die gewichteten Kosten zu minimieren, unter Berücksichtigung von Rechenkosten, Fehlschlägen und Strafen für das Überspringen einer korrekten Antwort.
Diese Forschung stellt LongDS vor, einen neuen Benchmark zur Bewertung von KI-Agenten bei langfristigen, mehrstufigen Datenanalyseaufgaben, der 68 Aufgaben aus realen Kaggle-Notebooks umfasst. Es zeigt sich, dass die besten Modelle nur eine durchschnittliche Genauigkeit von 48,45% erreichen und die Leistung in späteren Phasen erheblich abfällt, was ein kritisches Versagen bei der Verfolgung des sich entwickelnden Analysekontexts hervorhebt.
Uma nova estrutura cognitiva está sendo introduzida para medir o progresso em direção à AGI. Para auxiliar no desenvolvimento das avaliações pertinentes, um hackathon no Kaggle será lançado.
Google und Kaggle legen ihren 5-tägigen Intensivkurs für KI-Agenten neu auf, und die Anmeldung ist jetzt offen. Dieses Programm konzentriert sich auf die Schulung von KI-Agenten, angeboten von zwei großen Technologieunternehmen.
