reward learning

Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria

Diese Forschungsarbeit stellt Auto-Rubric as Reward (ARR) vor, ein neuartiges Framework zur Ausrichtung multimodaler generativer Modelle an menschlichen Präferenzen. ARR externalisiert das implizite Präferenzwissen eines VLM in explizite, prompt-spezifische Rubriken, wodurch menschliches Urteilsvermögen in unabhängig überprüfbare Qualitätsdimensionen zerlegt wird, um Einschränkungen traditioneller RLHF-Ansätze zu überwinden.