circuit analysis

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

Este artigo mede a consistência e especificidade dos circuitos de modelos de linguagem usando patch de atribuição de borda em várias tarefas e modelos. Ele descobre alta reutilização de circuitos dentro da tarefa necessária para o desempenho, mas também uma sobreposição significativa entre as tarefas, indicando que os circuitos não são específicos da tarefa.