PromptNCE: Pointwise Mutual Information Predictions Using Only LLMs and Contrastive Estimation Prompts

Diese Arbeit stellt PromptNCE vor, eine Methode zur Schätzung der punktweisen gegenseitigen Information (PMI) unter Verwendung von nur LLMs und kontrastiven Schätzungsprompts, wodurch die Notwendigkeit aufgabenspezifischer Kritiker entfällt. Sie präsentiert einen Benchmark mit von Menschen abgeleiteter PMI und zeigt, dass PromptNCE eine Spearman-Korrelation von bis zu 0,82 erreicht.