Esta investigación presenta la HALO-Loss, un método novedoso para entrenar redes neuronales para abstenerse de hacer predicciones cuando no están seguras. Permite que los modelos expresen "No lo sé" en lugar de dar respuestas potencialmente incorrectas, mejorando la fiabilidad.
!["I don't know!": Teaching neural networks to abstain with the HALO-Loss. [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/loxsfywek4vg1.png?width=140&height=123&auto=webp&s=e494bc934351aeddad8b50b76059d35dc7987a4f)
El autor expresa frustración porque el rendimiento de los benchmarks a menudo no predice si un flujo de trabajo de IA sobrevivirá al uso en producción. Esto se debe a factores como la intención ambigua del usuario y contextos desordenados, lo que sugiere que la evaluación aún prioriza la optimización de tareas limpias en lugar de la robustez conductual.
Esta investigación propone un marco unificado de evaluación de la robustez de caja negra para explicaciones a nivel de token, con el fin de mejorar la confianza del usuario en los sistemas NLP empresariales, especialmente al migrar a LLMs. El estudio operacionaliza la robustez mediante la tasa de cambio de tokens principales bajo perturbaciones realistas, comparando arquitecturas de codificador y decodificador como BERT, RoBERTa, Qwen y Llama.
Este trabajo argumenta que los efectos observados del "prompting contrafactual" en LLMs no pueden atribuirse a un factor objetivo sin considerar modificaciones de texto que preserven el significado y establezcan la sensibilidad general del modelo. La investigación muestra que las tasas de cambio de predicción al modificar el género del paciente son indistinguibles de las tasas inducidas por simples paráfrasis, sugiriendo que no se puede concluir una sensibilidad especial al género del paciente.
Esta investigación define y explora el monitoreo de modalidad de origen en modelos de visión-lenguaje (VLMs), que es la capacidad de rastrear la fuente de la información. El estudio revela que los VLMs usan señales sintácticas y semánticas para vincular información a su origen, siendo las señales semánticas a menudo más influyentes, lo que tiene implicaciones para la robustez del modelo.
Esta investigación estudia los mecanismos de rechazo en modelos de lenguaje alineados con la seguridad, comparando el ajuste fino supervisado con el ajuste fino adversario dinámico tipo R2D2. Los hallazgos muestran que R2D2 logra un fuerte rechazo inicial en HarmBench, pero luego se reabre parcialmente, mientras que SFT es consistentemente menos robusto.
Un agente de extracción de facturas con IA falló en producción, interpretando erróneamente montos y fechas de PDFs escaneados. El agente mostró alta confianza a pesar de la entrada degradada, revelando un problema crítico de robustez en un escenario del mundo real.