sampling strategy

More eval traces will not stabilize your kappa. Stratify the ones you have

O conteúdo aborda a instabilidade do acordo de LLM como juiz (kappa de Cohen) que oscilava semanalmente, mesmo sem mudanças na rubrica. Aumentar o tamanho da amostra não resolveu; a solução foi estratificar as amostras existentes por classe de pontuação e dimensões de falha, o que reduziu drasticamente a variação, demonstrando que a composição da amostra, e não o volume, era crucial.