Falhas no raciocínio de modelos de linguagem emergem através de processos distintos que deixam assinaturas identificáveis ao nível do token. Estas falhas são caracterizadas como "falha comprometida" ou "incerteza persistente", e a compreensão destas assinaturas ajuda a distinguir resultados falhos de bem-sucedidos em diversas configurações.
Esta pesquisa propõe uma nova família de métricas, $ECUAS_n$, para avaliar sistemas aumentados por incerteza (UA) em tomadas de decisão automatizadas. Argumenta-se que as abordagens de avaliação existentes são insuficientes para analisar o desempenho geral de sistemas UA, onde a incerteza preditiva é crucial para que os usuários tomem decisões informadas.
O raciocínio probabilístico permite à IA tomar decisões sob incerteza, atribuindo e atualizando probabilidades com novas evidências. O teorema de Bayes é fundamental para este processo, que vai da crença prévia à decisão atualizada.
Esta pesquisa avalia modelos de linguagem grandes (LLMs) em resposta a perguntas biomédicas, abordando sua confiabilidade diante de evidências conflitantes ou incompletas. Revela que a precisão dos LLMs cai significativamente e as previsões mudam quando a ordem de documentos corretos e contraditórios é invertida, destacando problemas com efeitos de ordem e a necessidade de abstenção consciente de conflitos.
Este artigo propõe uma estrutura sensível à incerteza para aprendizado por reforço em direção autônoma, utilizando conselhos de especialistas para guiar a exploração com segurança e evitar a dependência de longo prazo. A metodologia emprega gatilhos de conselho adaptativos e uma estratégia de compromisso-cooldown para regular a orientação, demonstrando desempenho superior em simulações CARLA.
A Everhayes Academy propõe que o trading de sucesso a longo prazo não se baseia na previsão de mercado, mas na construção de uma estrutura de decisão consistente sob incerteza. Esta abordagem contrasta com a intuição humana de buscar previsões determinísticas, marcando a diferença entre trading experiencial e baseado em sistemas.