circuit analysis

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

Este artículo mide la consistencia y especificidad de los circuitos de modelos de lenguaje utilizando el parche de atribución de bordes en múltiples tareas y modelos. Encuentra una alta reutilización de circuitos dentro de la tarea necesaria para el rendimiento, pero también una superposición significativa entre tareas, lo que indica que los circuitos no son específicos de la tarea.