Eine Studie zeigt, dass die Anpassung des Scaffolds für ein kleines lokales LLM (Qwen3.5-9B) dessen Leistung im Aider Polyglot Coding-Benchmark von 19,1% auf 45,6% erheblich verbessert. Dies unterstreicht die Bedeutung des Scaffold-Designs gegenüber der inhärenten Modellsschwäche für lokale Modelle in Coding-Agenten.
Dieser Inhalt beschreibt eine native DFlash-Implementierung auf MLX für Apple Silicon, die die Token-Generierung in Qwen-Modellen erheblich beschleunigt. Die spekulative Dekodierungstechnik erreicht Beschleunigungen von bis zu 3,3x bei gleichbleibender Ausgabequalität.
Die Optimierung von Qwen3.6-35B-A3B auf Consumer-Hardware (RTX 5070 Ti, Ryzen 9800X3D) erreicht 79 t/s mit 128K Kontext. Der Schlüssel ist die korrekte Verwendung von `--n-cpu-moe N` in llama.cpp, was `--cpu-moe` übertrifft, indem es mehr GPU-VRAM für MoE-Experten nutzt.
Dieser Inhalt beschreibt eine Optimierung der GBNF-Grammatik für die Qwen3.6 35B-A3B und 27B Modelle, was zu einer verbesserten Leistung beim Codieren und Lösen von Rätseln führt. Benchmarks auf einem RTX 5090-Setup mit llama.cpp zeigten eine signifikante Steigerung, insbesondere für das 35B-A3B-Modell.
Este conteúdo aborda a preocupação da comunidade de IA com a degradação de modelos de ponta, como o Claude Opus, semanas após o lançamento, levantando hipóteses sobre economia de custos ou sobrecarga de infraestrutura. Também discute os desafios de estabelecer benchmarks consistentes, pois os provedores podem ajustar o acesso aos modelos para evitar detecção.
Ein ehemaliger Opus 4.7 Max Abonnent berichtet, dass das Modell faul und teuer wurde. Nach der Ergänzung mit Qwen 3.6 wechselte der Benutzer zu Kimi 2.6 und empfand es als überraschend schnell, angenehm zu bedienen und mit scheinbar besserem Kontextmanagement, obwohl der Kontext kleiner ist.
Der Autor berichtet über einen erheblichen Intelligenzrückgang bei großen KI-Modellen (wie ChatGPT, Claude, Gemini und Grok) seit Mitte April 2026, wobei er beobachtete, dass Anweisungen ignoriert und oberflächliche Antworten gegeben wurden. Dies wird als mögliche Folge von Quantisierungsreduzierung oder einer bewussten Strategie vermutet, und er schlägt die Nutzung gemieteter GPUs oder lokaler KI vor.
Anthropic's Postmortem zum Qualitätsverlust von Claude Code zeigte, dass das Problem von der Orchestrierung und nicht vom Basismodell herrührte, was die kritische Rolle des System Engineerings unterstreicht. Die Qualität von KI-Agenten wird auf drei Ebenen (Modell, Kontext und Harness) definiert, wobei die Gesamtleistung hauptsächlich durch die Systemgestaltung um das Modell herum bestimmt wird.
Claude Code führte eine standardmäßige Auto-Memory-Funktion ein, die 47 % des System-Prompts verbrauchte und die Leistung des Modells verschlechterte. Der Autor beschreibt, wie er diese Funktion über eine Umgebungsvariable entdeckte und deaktivierte, um das erwartete Verhalten der KI wiederherzustellen.
Este artigo propõe uma nova abordagem eficiente para estimar as taxas de falha de LLMs, essencial para sua implantação segura. O método utiliza estimação por máxima verossimilhança restrita, combinando dados humanos de calibração, anotações de LLM-judge e informações adicionais via restrições de domínio, sendo validado empiricamente contra métodos como PPI.