Dieser Beitrag zeigt, wie Roboterrichtlinien für den Unitree H1 Humanoiden mit NVIDIA Isaac Lab auf Amazon SageMaker AI trainiert werden. Es werden zwei Rechenoptionen vorgestellt: Amazon SageMaker HyperPod und Amazon SageMaker Training Jobs.
Diese Forschung stellt PolyFact vor, einen mehrsprachigen faktischen QA-Datensatz, um die sprachübergreifende faktische Inkonsistenz in LLMs zu beheben. Es wird festgestellt, dass Reinforcement Learning mittels GRPO die sprachübergreifende faktenbasierte Wiedergabe und Generalisierung im Vergleich zu supervised Fine-Tuning konsistent verbessert.
MacArena ist ein neuer Benchmark für computergesteuerte Agenten (CUAs), die grafische Benutzeroberflächen (GUIs) unter macOS bedienen, und schließt eine Lücke in der Benchmark-Landschaft für diese Plattform. Er bietet 421 manuell verifizierte Aufgaben in 50 Anwendungen, die nativ auf Apple Silicon laufen, um CUAs über Linux-basierte Benchmarks hinaus herauszufordern.
Offline-Reinforcement Learning ist vielversprechend für die Entwicklung von Plasmareglern aus historischen Tokamak-Daten. Es wird RL4F vorgestellt, ein Benchmark für Offline-Reinforcement Learning in der Kernfusions-Plasmaregelung, der Baselines bewertet und feststellt, dass modellbasierte RL-Methoden die besten Ergebnisse liefern.
Der Artikel stellt TinyJudge vor, ein Framework, das ein Ensemble spezialisierter kleiner Sprachmodelle (0.6B) verwendet, um leichte und hochpräzise Belohnungen für weiche, nicht überprüfbare Einschränkungen bei der Befolgung von Anweisungen durch LLMs zu liefern. Dieser Ansatz behebt Engpässe wie Reward Hacking und hohen Rechenaufwand bei herkömmlichen LLM-as-a-Judge-Methoden zur Einschränkungsanpassung.
Die Open-Source-Community unterstützt OpenEnv für die Entwicklung von agentischem Reinforcement Learning. Diese Initiative hebt die Zusammenarbeit bei der Weiterentwicklung von KI hervor.
Der Autor trainierte erfolgreich ein Qwen2.5-0.5B-Instruct Modell zur Reddit-Post-Zusammenfassung mittels GRPO, wobei eine durchschnittliche Ausgabelänge von 64 Tokens mit kombinierten Qualitäts- und Längenbelohnungen erreicht wurde. Das auf einem Mac Mini Cluster durchgeführte Experiment nutzt ein LLM-as-a-Judge (GPT-5) zur Evaluierung und plant zukünftige Iterationen mit angepassten Belohnungsfunktionen.
![Trained a Qwen2.5-0.5B-Instruct bf16 model on Reddit post summarization task with GRPO written from scratch in PyTorch - updates! [P]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/7nrsulwdkbvg1.png?width=140&height=69&auto=webp&s=7c61d2f68d6b094614b5dff0cb9347873885e226)
O autor iniciou uma série de vídeos sobre a construção de uma camada de orquestração para o pós-treinamento de LLMs. Ele descreve seus esforços para melhorar o framework `verl` para treinamento RL em escala, focando na modernização de pacotes e remoção de dependências irrelevantes.
PR-CAD stellt ein progressives Verfeinerungsframework vor, das die Text-zu-CAD-Generierung und -Bearbeitung vereint und so die Einschränkungen getrennter Ansätze überwindet. Es nutzt einen hochauflösenden Interaktionsdatensatz und ein mit Reinforcement Learning verbessertes Denkframework, das auf LLMs zugeschnitten ist, um eine steuerbare und originalgetreue CAD-Modellierung zu ermöglichen.
Der Autor trainierte Qwen2.5-0.5B-Instruct für die Zusammenfassung von Reddit-Posts mithilfe zweier Belohnungsstrategien und stellte fest, dass eine Kombination aus Qualitäts- und Längenabzügen deutlich bessere Ergebnisse lieferte. Die Evaluation erfolgte mittels LLM-As-A-Judge und DeepEval Tools für Metriken wie Gewissenhaftigkeit und Klarheit.
Ein studentischer KI-Forscher entdeckte, warum die Fusion von Vorteilen unterschiedlicher Zeitskalen in PPO-Actor-Critic-Architekturen zum Strategiezusammenbruch führt. Dies geschieht aufgrund des Manipulierens des Surrogat-Ziels und der Präferenz des Routers für kurzfristige Horizonte wegen geringerer zeitlicher Unsicherheit.
Um graduado em Matemática busca orientação para estudar Aprendizado por Reforço (RL) e suas conexões com LLMs, especialmente para aplicações em matemática. Ele questiona a relevância do livro 'Sutton e Barto' em um contexto moderno de LLMs e pede ajuda para focar em tópicos e algoritmos mais recentes como PPO e GRPO.
StepPRM-RTL ist ein neuartiges Framework, das die LLM-basierte RTL-Codegenerierung verbessert, indem es schrittweise Trajektorienmodellierung, Prozess-Reward-Modellierung (PRM) und retrieval-augmented Fine-Tuning (RAFT) kombiniert. Es nutzt dichtes Feedback eines PRM, um verstärkungsbasierte Updates zu leiten, und Monte Carlo Tree Search (MCTS) zur Anreicherung des Trainingsdatensatzes.
Dieses Papier stellt STOMP vor, einen neuartigen Offline-Reinforcement-Learning-Algorithmus zur Mehrzieloptimierung mittels glatter Tchebyscheff-Skalarisierung. Er behebt die Einschränkung der linearen Skalarisierung bei der Wiederherstellung nicht-konvexer Pareto-Fronten, was entscheidend für die Ausrichtung großer Sprachmodelle und anderer realer Anwendungen mit widersprüchlichen Belohnungen ist.
Diese Studie stellt einen graphenbasierten hierarchischen Reinforcement-Learning-Ansatz für das automatisierte Co-Design leistungsstarker thermodynamischer Zyklen vor. Dabei werden Zyklen als Graphen kodiert, ein Deep-Learning-Surrogat zur Dekodierung verwendet und ein hierarchisches RL-Framework für die strukturelle Evolution sowie Parameteroptimierung eingesetzt.
Dieses Papier stellt den Self-Distilled Policy Gradient (SDPG) vor, ein neuartiges Framework, das spärlich belohntes Reinforcement Learning durch On-Policy-Selbst-Destillation verbessert. SDPG kombiniert gruppenrelative Verifizierervorteile, exakte vollständige Vokabular-On-Policy-Selbst-Destillation und Referenz-Policy-KL-Regularisierung und zeigt eine verbesserte Stabilität und Leistung gegenüber bestehenden Baselines.
Diese Forschung stellt ein rubrikbasiertes Generatives Belohnungsmodell (GRM) vor, um das verstärkte Fein-Tuning (RFT) für LLM-Agenten bei Software-Engineering-Aufgaben (SWE) zu verbessern. Durch die Bereitstellung reichhaltigerer Lernsignale jenseits binärer Endbelohnungen formt dieser Ansatz Zwischenverhalten und verbessert die Qualität des Lösungsprozesses erheblich.
Discrete Tilt Matching (DTM) ist eine neue, wahrscheinlichkeitstheorie-freie Methode zum Fine-Tuning maskierter Diffusions-Sprachmodelle (dLLMs), die das Problem der nicht bestimmbaren marginalen Wahrscheinlichkeiten löst. Sie formuliert das Fine-Tuning als Zustandsabgleich um und verwendet ein gewichtetes Kreuzentropie-Ziel mit Kontrollvariablen, wodurch sie signifikante Verbesserungen bei Aufgaben wie Sudoku und Countdown erzielt.
Das COSMO-Agent-Framework nutzt werkzeuggestützte Reinforcement Learning, um LLMs beizubringen, die semantische Lücke zwischen CAD und CAE zu schließen und so eine Closed-Loop-Optimierung im Industriedesign zu ermöglichen. Es verwendet eine interaktive RL-Umgebung für CAD-Generierung, CAE-Lösung und Geometrierevision, gesteuert durch eine Belohnung mit mehreren Einschränkungen.
Dieses Papier stellt GROW vor, ein RL-Framework für VLM-Agenten in Open-World-Aufgaben, das die Grenzen bestehender SFT-basierter Methoden überwindet. Es schlägt einen neuartigen Ansatz für GRPO vor, indem Trajektorien in Zustands-Aktions-Proben statt vollständiger Einheiten zerlegt werden.