Las fallas en el razonamiento de los modelos de lenguaje surgen a través de procesos distintos que dejan firmas identificables a nivel de token. Estas fallas se caracterizan como "falla comprometida" o "incertidumbre persistente", y comprender estas firmas ayuda a distinguir los resultados fallidos de los exitosos en varias configuraciones.
Esta investigación propone una nueva familia de métricas, $ECUAS_n$, para evaluar sistemas aumentados por incertidumbre (UA) en la toma de decisiones automatizada. Argumenta que los enfoques de evaluación existentes son insuficientes para valorar el rendimiento general de los sistemas UA, donde la incertidumbre predictiva es crucial para que los usuarios tomen decisiones informadas.
El razonamiento probabilístico permite a la IA tomar decisiones bajo incertidumbre, asignando y actualizando probabilidades con nueva evidencia. El teorema de Bayes es fundamental para este proceso, que va de la creencia previa a la decisión actualizada.
Esta investigación evalúa modelos de lenguaje grandes (LLMs) en la respuesta a preguntas biomédicas, abordando su fiabilidad cuando se enfrentan a evidencia conflictiva o incompleta. Revela que la precisión de los LLMs disminuye significativamente y las predicciones cambian cuando se invierte el orden de los documentos correctos y contradictorios, destacando problemas con los efectos de orden y la necesidad de abstención consciente del conflicto.
Este trabajo presenta un marco consciente de la incertidumbre para el aprendizaje por refuerzo en la conducción autónoma, utilizando el asesoramiento de expertos para guiar la exploración de forma segura y evitar la dependencia a largo plazo. Emplea umbrales adaptativos para la activación del asesoramiento y una estrategia de compromiso-enfriamiento para regular la orientación, mostrando un rendimiento mejorado en simulaciones CARLA.
A Everhayes Academy propõe que o trading de sucesso a longo prazo não se baseia na previsão de mercado, mas na construção de uma estrutura de decisão consistente sob incerteza. Esta abordagem contrasta com a intuição humana de buscar previsões determinísticas, marcando a diferença entre trading experiencial e baseado em sistemas.