Das Qwen 3.6 35B A3B Modell erreicht 187 Tokens pro Sekunde auf einer RTX 5090 32GB GPU. Es unterstützt eine Kontextgröße von 120K, nutzt Q5 K S Quantisierung und eine Temperatur von 0,1.
Tests zum spekulativen Decoding, bei denen Gemma 4 E2B als Entwurf für Gemma 4 31B verwendet wurde, zeigten eine bemerkenswerte Leistungsverbesserung. Die durchschnittliche Geschwindigkeit stieg um 29 %, erreichte in der Codegenerierung sogar 50 %, und das mit spezifischen Hard- und Softwarekonfigurationen.
Ein lokaler LLM-Spieleentwicklungs-Wettbewerb verglich Qwen 3.6 27B und Gemma 4 31B bei der Erstellung eines Pac-Man-Spiels. Gemma 4 31B war der klare Gewinner und lieferte eine stärkere Spiellogik sowie höhere Qualität in deutlich kürzerer Zeit, obwohl Qwen mehr Token generierte.
Eine Studie verglich TranslateGemma-12b mit fünf führenden LLMs bei der Untertitelübersetzung für sechs Sprachpaare und zeigte, dass das aufgabenspezifische Modell allgemeine Modelle durchweg übertraf. Obwohl erste Zahlen einen klaren Sieg andeuteten, ergab die menschliche Qualitätssicherung einen erheblichen Haken, der im vollständigen Bericht detailliert beschrieben wird.
Apesar da estagnação da precisão em benchmarks acadêmicos de fala para texto, as aplicações industriais exigem melhor reconhecimento de vocabulário raro e contextual. Este artigo introduz o Contextual Earnings-22, um novo dataset e benchmark para promover a pesquisa e revelar avanços no reconhecimento contextual de fala com vocabulário personalizado.
Dieser Inhalt bietet eine umfassende Bewertung von ChatGPTs Zero-Shot Text-to-SQL-Fähigkeit, d.h. seiner Fähigkeit, natürliche Sprache ohne vorherige Beispiele in SQL-Abfragen umzuwandeln. Er untersucht die Leistung und die Grenzen des Modells bei dieser komplexen Aufgabe.
MemGround ist ein neuer, strenger Langzeitgedächtnis-Benchmark für LLMs, der entwickelt wurde, um die Einschränkungen statischer Bewertungen durch reichhaltige, gamifizierte interaktive Szenarien zu überwinden. Er verfügt über ein dreistufiges hierarchisches Framework zur Bewertung verschiedener Gedächtnistypen und eine mehrdimensionale Metrik-Suite zur umfassenden Quantifizierung.
CFMS stellt den ersten feingranularen chinesischen multimodalen Sarkasmus-Erkennungs-Benchmark vor, bestehend aus 2.796 Bild-Text-Paaren mit dreifachen Annotationen. Dieser Datensatz zielt darauf ab, das feingranulare semantische Verständnis und das metaphorische Denken in KI-Modellen zu verbessern und bestehende Benchmark-Einschränkungen zu beheben.
O artigo discute as limitações das avaliações atuais de sistemas RAG (Retrieval-Augmented Generation) em ambientes corporativos, que não diagnosticam sistematicamente os desafios complexos além da precisão final. Para suprir essa lacuna, a pesquisa propõe um framework de diagnóstico multi-dimensional e um benchmark para RAG empresarial, baseado em uma taxonomia de dificuldade de quatro eixos.
ESL-Bench é um benchmark longitudinal sintético e orientado a eventos. Ele foi desenvolvido para a avaliação de agentes de saúde, provavelmente envolvendo inteligência artificial.