VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark

Wir stellen VAMPS vor, einen neuen Benchmark für multimodale große Sprachmodelle (MLLMs), der sich auf visuell unterstützte mathematische Problemlösung konzentriert. Er enthält 1.168 bilinguale Multiple-Choice-Fragen-Antworten-Paare aus iranischen Universitätsaufnahmeprüfungen, bei denen das Plotten eine natürliche Lösungsstrategie bietet.