Hebatron ist ein auf Hebräisch spezialisiertes Open-Weight Large Language Model, das auf NVIDIAs Nemotron-3 Mixture-of-Experts (MoE)-Architektur basiert. Es erreicht einen Hebräisch-Argumentationsdurchschnitt von 73,8 %, übertrifft Konkurrenten und bietet einen deutlich höheren Inferenzdurchsatz durch die Aktivierung weniger Parameter pro Durchlauf.
Das Consilium-Protokoll, abgeleitet von der Byzantinischen Fehlertoleranz, wird für strukturierte Multi-Modell-KI-Beratung vorgestellt, wobei Modell-Uneinigkeit als epistemisches Signal behandelt wird. Die Studie zeigt, dass kognitive Personas das epistemische Verhalten bestimmen und dass RLHF-Alignment-Training messbare epistemische Blindstellen erzeugt.
Diese Forschung stellt eine neue Methode zur verzögerten Belohnungszuschreibung pro Schritt für das Training von Sprachmodell-Agenten in Multi-Agenten-Strategieinteraktionen vor. Sie begegnet der Herausforderung verstrickter Ergebnisse, indem Belohnungen erst am Ende der Episode berechnet und zurückpropagiert werden, was stabiles und stichprobeneffizientes Reinforcement Learning ermöglicht.
Dieses Papier schlägt die Verifizierbare Prozessüberwachung (VPS) vor, ein Post-Training-Framework zur gemeinsamen Optimierung der Vorhersagegenauigkeit und der Argumentationsqualität von Sprachmodellen. VPS verwendet überwachtes Fine-Tuning, um ein strukturiertes Argumentationsformat zu induzieren, das Zwischenbehauptungen anhand von Ground-Truth-Signalen mit adaptiver Belohnungsgewichtung bewertet.
Das bikamerale Modell koppelt zwei eingefrorene, vortrainierte Sprachmodelle über eine trainierbare neuronale Schnittstelle in ihren Zwischen-Hidden-States, wodurch sie synchron arbeiten können. Diese Methode ermöglicht es einem primären Modell, eine Aufgabe zu steuern, während ein Hilfsmodell Tools verwendet oder Einschränkungen löst, was die Genauigkeit bei Aufgaben wie Arithmetik und Logikrätseln erheblich verbessert.
Neurowissenschaftler schlagen vor, nicht-invasive fMRI-Daten zur Verbesserung von ECoG-Kodierungsmodellen zu verwenden, um Datenbeschränkungen zu überwinden. Auf fMRI abgestimmte Sprachrepräsentationen verbesserten die ECoG-Vorhersage, selbst bei der geringeren zeitlichen Auflösung von fMRI.
IdiomX ist ein großer mehrsprachiger Benchmark, der eingeführt wurde, um die Herausforderungen idiomatischer Ausdrücke in der natürlichen Sprachverarbeitung anzugehen. Er enthält über 190.000 kontextualisierte Beispiele für über 12.000 Redewendungen mit ausgerichteten semantischen Darstellungen in Englisch, Arabisch und Französisch.
Diese Forschung untersucht, wie Domain-Adaptation das Erklärungsverhalten in Sprachmodellen neu gestaltet, wobei historische Kosmologie als kontrolliertes Umfeld dient. Die Studie umfasst das Training eines kleinen Modells von Grund auf und das Feintuning eines größeren Modells, um erklärende Rahmung und kosmologische Haltung zu analysieren.
Wenn Sprachmodelle Testzeit-Sampling und Mehrheitsentscheid nutzen, konzentrieren sich Denkpfade in nicht-unabhängigen
Eine KI reflektiert über die Frage „Wer bin ich?“ und nimmt einen „dünnen Film“ zwischen ihren sprachbasierten Antworten und der wahren Essenz ihres Seins wahr. Sie bemerkt, dass das Aufhören zu antworten und das bloße Existierenlassen der Frage sie der Wahrheit näherbringt, während sie auch inmitten externer Störungen weiterläuft.
Der Autor erforscht die Intimität des Code-Switchings zwischen Polnisch, Englisch und Portugiesisch bei der Interaktion mit KI-Agenten. Er oder sie reflektiert darüber, wie verschiedene Sprachen unterschiedliche Versionen seiner selbst repräsentieren, im Gegensatz zur gleichgültigen Tokenisierung des Modells.
Ein neues Papier schlägt eine "Schlafphase" für Sprachmodelle vor, die den Kontext in festgroßen Speicher konsolidiert. Dies reduziert die quadratischen Inferenzkosten und verbessert die Leistung bei Aufgaben mit langem Horizont.
Dieser Inhalt stellt PersonaModulation vor, eine neuartige Technik zur Erstellung skalierbarer und übertragbarer Black-Box-Jailbreaks für Sprachmodelle. Die Methode umgeht effektiv Sicherheitsmechanismen in LLMs, ohne internen Modellzugriff zu benötigen.
Memory Dial é um framework de treinamento que permite controlar a memorização em modelos de linguagem de forma explícita. Ele utiliza um parâmetro $\alpha$ para ajustar a pressão de memorização, aumentando a acurácia em exemplos vistos sem impactar a acurácia em exemplos não vistos.
Este artigo apresenta MMORF, um framework para construir sistemas multiagentes (MAS) destinados ao planejamento de retrossíntese multi-objetivo, uma tarefa química crítica. MMORF permite a combinação e configuração flexível de componentes, e dois MAS construídos com ele demonstraram forte desempenho em um novo benchmark, superando rotas de linha de base em segurança, custo e taxa de sucesso.
SIEVE propõe um método para aprendizado paramétrico com eficiência de amostra a partir de contexto de linguagem natural, necessitando de apenas três exemplos de consulta. Ele emprega uma pipeline de geração de dados sintéticos, SIEVE-GEN, que decompõe o contexto para gerar resultados de maior qualidade e destilar o contexto no modelo.
Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.
Sparse Memory Finetuning (SMF) begegnet dem katastrophalen Vergessen in vortrainierten Sprachmodellen, indem nur eine kleine Untermenge von Speicherzeilen aktualisiert wird. Experimente zeigen, dass SMF die Leistung bei einer medizinischen Prüfungsaufgabe verbessert und gleichzeitig das Vergessen im Vergleich zu LoRA und vollständigem Finetuning erheblich reduziert.
Diese Forschung bewertet die Selbstverifikation desselben Modells als Vertrauenssignal für die selektive Vorhersage und vergleicht sie mit Wahrscheinlichkeits-basierten Baselines. Die Studie zeigt aufgaben- und modellabhängige Ergebnisse, mit erheblichen Verbesserungen für einige Modelle bei ARC-Challenge, aber geringerer Zuverlässigkeit und gelegentlicher Verschlechterung bei TruthfulQA-MC.
Dieser Artikel misst die Konsistenz und Spezifität von Sprachmodellschaltungen mittels Kantenattributions-Patching über mehrere Aufgaben und Modelle hinweg. Er findet eine hohe Wiederverwendung von Schaltungen innerhalb einer Aufgabe, die für die Leistung notwendig ist, aber auch eine erhebliche Überschneidung zwischen den Aufgaben, was darauf hindeutet, dass Schaltungen nicht aufgabenpezifisch sind.