Diese Studie untersucht Halluzinationen in domänenadaptierten Großen Sprachmodellen, insbesondere Llama-2, das mit dem Lamini-Datensatz feingetunt wurde. Es wurde festgestellt, dass seine Fähigkeit, über neue domänenspezifische Informationen genau zu argumentieren und sich daran zu erinnern, begrenzt bleibt, was zu Halluzinationen und einer Tendenz zur Übergenerierung führt.
Dieses Papier argumentiert, dass das vorherrschende Post-Trainings-Paradigma für LLMs, das SFT und RL umfasst, effektiv zu dem Ansatz "vorab trainieren und dann feinabstimmen" zurückkehrt, indem Modelle explizit auf gewünschte Verhaltensweisen und spezifische Benchmarks zugeschnitten werden. Empirische Beweise zeigen, dass von Grund auf neu post-trainierte Modelle eine nicht-triviale Leistung auf Reasoning-Datensätzen erzielen können.
Diese Studie schlägt eine unüberwachte Methode vor, um gemeinschaftsspezifischen Slang und Entitäten durch die Analyse des Ausmaßes der semantischen Verschiebung zu identifizieren. Semantische Verschiebung wird als die Entwicklung der kodierten Repräsentation eines Wortes nach dem Fine-Tuning eines vortrainierten Großen Sprachmodells (LLM) auf einem gemeinschaftsspezifischen Textkorpus definiert.
Chaperone-Thinking-LQ-1.0, ein 4-bit GPTQ + QLoRA-feinabgestimmtes DeepSeek-R1-32B-Modell, wurde als Open Source veröffentlicht. Es erreicht 84 % Genauigkeit auf MedQA, nahe an GPT-4o, bei einer Größe von nur ~20GB und ist 1,6x schneller als das Basismodell.
Ein ML-Team dokumentierte die technischen Herausforderungen beim Fine-Tuning und der Bereitstellung von Gemma-4. Schlüsselprobleme waren die Inkompatibilität von PEFT mit Gemma 4s benutzerdefinierten Layern, das stille Unterbrechen der KV-Sharing-Attention durch SFTTrainer sowie DeepSpeed ZeRO-3, das halb-leere LoRA-Adapter speicherte.
Um desenvolvedor treinou um modelo Qwen3.5-9B com LoRA para atuar como analista de dados agente, focando em autonomia através de pesos. O modelo alcançou 89% de conclusão de fluxos de trabalho de ponta a ponta sem intervenção humana, superando a falha total do modelo base.
Der Autor wechselt vom Fine-Tuning dichter Transformer zu NVIDIAs Nemotron 3 Nano (einer Hybrid Mamba-Attention-MoE Architektur) für Multi-Task-Reasoning. Er sucht Ratschläge, wie sich die Hybridarchitektur auf das Standard-LoRA-Fine-Tuning auswirkt, da seine bisherige Erfahrung auf dichte Modelle beschränkt ist.
Ein autodidaktischer Nutzer, der neu im Bereich Fine-Tuning ist, sucht Rat bei der Wahl zwischen 3B- und 7B-LLM-Modellen für ein Multi-Task-Reasoning-Projekt. Das Projekt umfasst das Verständnis der zugrunde liegenden Fragen, die Beibehaltung mehrerer Perspektiven und den Umgang mit unübersichtlichen Eingaben.
Dieser Inhalt rezensiert das Qwen3.6 35B A3B Heretic Modell und lobt es als das beste unzensierte 35B Modell, das der Benutzer gefunden hat. Es hebt seine Fähigkeit hervor, in 24 GB VRAM zu passen, Multi-Turn-Tool-Aufrufe zu verarbeiten und potenziell höhere Benchmarks als das ursprüngliche Qwen 3.6 Modell zu erzielen.
StepPRM-RTL ist ein neuartiges Framework, das die LLM-basierte RTL-Codegenerierung verbessert, indem es schrittweise Trajektorienmodellierung, Prozess-Reward-Modellierung (PRM) und retrieval-augmented Fine-Tuning (RAFT) kombiniert. Es nutzt dichtes Feedback eines PRM, um verstärkungsbasierte Updates zu leiten, und Monte Carlo Tree Search (MCTS) zur Anreicherung des Trainingsdatensatzes.
Aletheia führt eine gradientengesteuerte Schichtauswahlmethode für das LoRA-Feintuning ein, die aufgabenrelevante Schichten identifiziert und Adapter asymmetrisch zuweist. Diese Methode erreicht eine Trainingsbeschleunigung von 15-28% über verschiedene große Sprachmodelle und Architekturen hinweg, bei weitgehend gleichbleibender Downstream-Leistung.
Diese Forschung stellt ein rubrikbasiertes Generatives Belohnungsmodell (GRM) vor, um das verstärkte Fein-Tuning (RFT) für LLM-Agenten bei Software-Engineering-Aufgaben (SWE) zu verbessern. Durch die Bereitstellung reichhaltigerer Lernsignale jenseits binärer Endbelohnungen formt dieser Ansatz Zwischenverhalten und verbessert die Qualität des Lösungsprozesses erheblich.
Discrete Tilt Matching (DTM) ist eine neue, wahrscheinlichkeitstheorie-freie Methode zum Fine-Tuning maskierter Diffusions-Sprachmodelle (dLLMs), die das Problem der nicht bestimmbaren marginalen Wahrscheinlichkeiten löst. Sie formuliert das Fine-Tuning als Zustandsabgleich um und verwendet ein gewichtetes Kreuzentropie-Ziel mit Kontrollvariablen, wodurch sie signifikante Verbesserungen bei Aufgaben wie Sudoku und Countdown erzielt.
Der Titel deutet darauf hin, dass das Fine-Tuning lokaler KI-Modelle unter Verwendung des Brandings
Diese Forschung stellt ein dateneffizientes Fine-Tuning-Framework vor, um Reasoning-Modellen beizubringen, effektiv Code-Switching für Denkaufgaben zu nutzen. Es identifiziert vorteilhafte Code-Switching-Verhaltensweisen durch die systematische Analyse diverser Reasoning-Spuren, statt dies als Fehler zu betrachten.
O1-Pruner stellt eine längen-harmonisierende Feinabstimmungsmethode zur Optimierung von Modellen für O1-ähnliches Reasoning-Pruning vor. Diese Technik zielt darauf ab, die Denkfähigkeiten von KI-Modellen zu verbessern.
Dieser Beitrag erklärt, wie man Supervised Fine-Tuning (SFT) und Direct Preference Optimization (DPO) einsetzt, um die Genauigkeit der Tool-Aufrufe eines kleinen Sprachmodells zu verbessern. Er zeigt, wie Amazon SageMaker AI-Trainingsaufträge genutzt werden, um sich auf den Trainingscode zu konzentrieren und die Modellqualität zu bewerten.
Der Artikel erklärt, wie die LoRA-Technik (Low-Rank Adaptation) das Fine-Tuning von Sprachmodellen mit Milliarden von Parametern auf Consumer-Hardware wie Laptops ermöglicht. Anstatt alle Parameter zu aktualisieren, fügt LoRA winzige trainierbare Module hinzu, was den GPU-Speicherbedarf drastisch reduziert.
Polynomial Expansion Rank Adaptation (PERA) ist eine neuartige Methode, um Low-Rank Adaptation (LoRA) für das Fine-Tuning großer Sprachmodelle zu verbessern. Sie führt eine strukturierte Polynomexpansion in den Niedrigrang-Faktorraum ein, um reichhaltigere nichtlineare Interaktionen höherer Ordnung zu modellieren, wodurch LoRAs lineare Beschränkungen überwunden werden, ohne den Rang oder die Inferenzkosten zu erhöhen.
Dieser Inhalt bietet eine Anleitung zum Fine-Tuning des Nemotron 3.5 Automatic Speech Recognition (ASR) Modells. Ziel ist es, Benutzern zu helfen, das Modell für bestimmte Sprachen, Domänen oder Akzente anzupassen und seine Leistung zu optimieren.