randomness

3 items

RESEARCHarXiv CS.CL·il y a 1j

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

UnpredictaBench est présenté comme un nouveau benchmark pour évaluer la capacité des LLM à capturer de véritables distributions sous-jacentes, résolvant leur tendance à converger vers une seule réponse. Il propose 448 problèmes et une métrique KS@N pour tester les résultats d'échantillonnage à partir de diverses distributions cibles.

AI models LLMs evaluation Benchmarking

RESEARCHarXiv CS.AI·27/04/2026

Introducing Background Temperature to Characterise Hidden Randomness in Large Language Models

Ce contenu introduit un nouveau concept, la 'Température de Fond', pour caractériser le caractère aléatoire caché des Grands Modèles de Langage.

LLMs machine learning randomness large language models

ARTICLEDEV.to AI·15/04/2026

I Created a URL Shortener Challenge… And AI Generated Duplicate Links 🔗

Le contenu détaille un défi de raccourcisseur d'URL où les modèles d'IA ont généré des liens en double en raison d'un manque de gestion des collisions, entraînant une fiabilité du système compromise. Il souligne que la simple aléatoire ne garantit pas l'unicité, une lacune critique dans les solutions générées par l'IA.

System Design randomness AI Collision Handling