Este artigo introduz LangFIR, um método que descobre características de linguagem esparsas e específicas a partir de dados monolíngues para direcionar a saída de LLMs. Ele supera a limitação de abordagens existentes que exigem dados multilingues caros, utilizando autoencoders esparsos e sequências de tokens aleatórios.
Este artigo explora as alucinações de raciocínio em LLMs, modelando a previsão de tokens como um processo de busca em grafo. Ele identifica dois mecanismos fundamentais para o surgimento dessas alucinações: o "Path Reuse" (reutilização de caminhos) e o "Path Compression" (compressão de caminhos).
Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.
Este artigo explora o uso de busca evolucionária impulsionada por LLMs para desenvolver automaticamente métodos de Quantificação de Incerteza (UQ) não supervisionados. Os métodos evoluídos superam baselines manuais em verificação de alegações, demonstrando generalização robusta e estratégias distintas entre diferentes modelos de LLM.
CresOWLve é um novo benchmark para avaliar a resolução criativa de problemas em LLMs, superando as limitações dos benchmarks existentes. Ele utiliza quebra-cabeças baseados em conhecimento do mundo real, exigindo diversas estratégias de pensamento criativo e combinação de fatos para encontrar soluções.
Este estudo investiga o viés de confirmação em grandes modelos de linguagem (LLMs) usando uma tarefa de descoberta de regras, revelando que os LLMs exibem essa tendência, o que retarda a descoberta de regras ocultas. Ele demonstra que estratégias de intervenção, como o uso de prompts específicos, podem consistentemente diminuir esse viés.
Este trabalho define metalinguagem e explora sua conexão com PNL e LLMs, discutindo esforços de pesquisa e dimensões de tarefas metalinguísticas. Propõe ainda uma lista de futuras direções de pesquisa pouco estudadas.
Este estudo explora a otimização de LLMs para gerar código mais energeticamente eficiente, utilizando Contrastive Prompt Tuning (CPT). A CPT, que combina Contrastive Learning e Prompt Tuning, é avaliada em Python, Java e C++ para promover o desenvolvimento de software mais verde.
Este estudo explora a compressão de texto gerado por LLMs em regimes com e sem perdas, apresentando métodos que melhoram a eficiência em 2x, como adaptadores LoRA e reescritas concisas. Introduz também a compressão interativa por Perguntas e Respostas (QA), um protocolo que transfere um bit por resposta para recuperar uma parte significativa da capacidade de modelos maiores.
Este estudo empírico investiga o aprendizado em contexto (ICL) de muitos exemplos para tradução automática de inglês para dez idiomas de baixo recurso. Os achados mostram que o ICL se torna mais eficaz com o aumento do número de exemplos, e a recuperação baseada em BM25 melhora substancialmente a eficiência dos dados.
Dieses Papier schlägt ein erklärbares AML-Triage-Framework mit LLMs vor, um Risiken unbegrenzter Generierung wie Halluzinationen zu mindern. Es kombiniert evidenzgestützte Bündelung, strukturierte LLM-Ausgaben mit Zitaten und kontrafaktische Überprüfungen für nachvollziehbare Entscheidungen.
Dieses Papier enthüllt das weit verbreitete Phänomen der „Werkzeugübernutzung“ bei LLMs, bei dem Modelle externe Werkzeuge unnötig einsetzen. Es identifiziert eine „epistemische Wissensillusion“ und schlägt eine auf direkter Präferenzoptimierung basierende Strategie vor, die den Werkzeuggebrauch um 82,8 % reduziert und die Genauigkeit verbessert.
Diese Forschung untersucht, wie fortschrittliche Reasoning-Modelle mit Benutzeranfragen umgehen, die faktisch ungenaue Präsuppositionen enthalten. Obwohl diese Modelle eine leichte Verbesserung gegenüber Nicht-Reasoning-Modellen zeigen, versagen sie immer noch dabei, einen erheblichen Anteil falscher Annahmen zu hinterfragen.
Dieses Papier spricht sich gegen den Einsatz aktueller KI-Systeme für die Peer-Review aus und identifiziert zwei kritische Probleme: einen "Schwarm-Effekt", der die Perspektivenvielfalt reduziert, und die leichte Manipulierbarkeit von KI-Bewertungen durch Umformulierung von Papieren. Ein empirischer Vergleich von menschlichen und KI-generierten Reviews zeigt, dass KI-Gutachter anfällig für stilistische Änderungen statt für wissenschaftliche Ergebnisse sind, was die Notwendigkeit von Unbestechlichkeit und Bewertungsdiversität für die Automatisierung unterstreicht.
Diese Forschung untersucht die Verwendung geometrischer Abweichungen von LLM-Hidden-States als Vor-Generierungs-Signal, um anzuzeigen, wann eine Abfrage außerhalb des Wissensbereichs des Modells liegt. Es wurde festgestellt, dass dieses Signal bei unbeantwortbaren mathematischen Prompts gut funktioniert, jedoch nicht bei faktischen Prompts.
Diese Studie untersucht, wie große Sprachmodelle (LLMs) die Negation mechanistisch verarbeiten, und zeigt, dass selbst Open-Weight-Modelle interne Komponenten für die korrekte Negationsverarbeitung besitzen, obwohl sie oft falsche Antworten liefern. Ihre geringe Genauigkeit wird auf die Aufmerksamkeitsleistung späterer Schichten zurückgeführt, die einfache Abkürzungen fördert, und die Modelle nutzen sowohl die Aufmerksamkeit auf negierte Phrasen als auch die direkte Konstruktion negativer Phrasendarstellungen.
Diese Forschung stellt Terminus-4B vor, ein feinabgestimmtes kleines Sprachmodell, um dessen Fähigkeit zu untersuchen, Frontier-LLMs bei agentischen Terminalausführungsaufgaben zu ersetzen. Das Modell wird mittels SFT und RL mit rubrikbasierten LLM-als-Richter-Belohnungen nachtrainiert.
Aktuelle LLM-Agenten modellieren die Präferenzen der Gegenpartei genau, wandeln dieses Wissen jedoch nicht zuverlässig in strategisches Verhandeln um. Sie reagieren oft auf die wahrgenommenen Werte der Gegenpartei, ohne konsequent Gewinne bei ihren eigenen hochwertigen Attributen zu sichern, was zu suboptimalen Ergebnissen für die informierte Seite führt.
Magis-Bench ist ein neuer Benchmark zur Bewertung von großen Sprachmodellen (LLMs) bei juristischen Aufgaben auf Richterniveau, der 74 Fragen aus aktuellen brasilianischen Wettbewerbsprüfungen für Richterpositionen verwendet. Er bewertet 23 hochmoderne LLMs mittels einer "LLM-als-Richter"-Methodik mit hoher Inter-Richter-Übereinstimmung.
Dieses Papier stellt OSCToM vor, einen Ansatz zur Modellierung verschachtelter Glaubenskonflikte in LLM-basierten Theory of Mind-Aufgaben. Es kombiniert Reinforcement Learning und Kompositions-Surrogatmodelle, um diese Konflikte zu generieren, wobei OSCToM-8B in Experimenten die besten Ergebnisse erzielte.