O conteúdo aborda a instabilidade do acordo de LLM como juiz (kappa de Cohen) que oscilava semanalmente, mesmo sem mudanças na rubrica. Aumentar o tamanho da amostra não resolveu; a solução foi estratificar as amostras existentes por classe de pontuação e dimensões de falha, o que reduziu drasticamente a variação, demonstrando que a composição da amostra, e não o volume, era crucial.
Este conteúdo explora o papel crucial da preferência pareada na avaliação de Grandes Modelos de Linguagem (LLMs). Ele discute como este método pode ajudar a alinhar o desempenho dos LLMs de forma mais eficaz com o julgamento humano.
OpenSimula é uma implementação experimental em Python do design de mecanismo Simula, adicionada à ferramenta de dataset open-source AfterImage. Ela visa gerar dados sintéticos diversos e controlados para configurações de SFT/avaliação de LLMs, utilizando taxonomias criadas por LLMs, amostragem ponderada e loops de crítica.
O artigo discute os melhores LLMs locais em abril de 2026, destacando lançamentos como Qwen3.5, Gemma4, GLM-5.1, Minimax-M2.7 e PrismML Bonsai. Solicita aos usuários que compartilhem suas experiências detalhadas com modelos de pesos abertos para auxiliar na avaliação.
O autor construiu um sistema RAG para perguntas e respostas financeiras, utilizando documentos da SEC e o benchmark FinanceBench. Descobriu uma grande discrepância entre a avaliação de um LLM como juiz e a performance real, levando a insights sobre a calibração de LLMs para avaliação.
QIMMA é uma nova plataforma de avaliação de LLMs em árabe que prioriza a qualidade, realizando validação sistemática de benchmarks. Ela resolve problemas de qualidade em benchmarks existentes através de revisão automatizada e humana, resultando em um conjunto de avaliação reprodutível e multi-tarefa com mais de 52 mil amostras.
Este artigo discute o problema da inteligência artificial de voz, especialmente modelos de linguagem grandes, que podem fabricar informações durante interações de atendimento ao cliente. Ele propõe a utilização de "evals" (avaliações) para testar e garantir que os agentes de IA sigam suas instruções, evitando informações incorretas e insatisfação do cliente.
O artigo critica os métodos atuais de teste de LLM em produção, onde implementações "suaves" frequentemente ocultam alucinações sutis que causam perdas financeiras ou de dados devido a avaliações inadequadas baseadas na verdade. Ele enfatiza a necessidade de pipelines robustos de avaliação de recuperação, dados de melhor qualidade e estratégias específicas para testar a confiabilidade de agentes de IA e prevenir falhas destrutivas.
Este conteúdo apresenta uma análise comparativa de ferramentas de busca de IA: Perplexity AI, OpenAI SearchGPT e Claude 3.5 Sonnet. Ele detalha uma avaliação prática usando três prompts complexos distintos para medir seu desempenho em precisão, velocidade, citações e capacidades multimodais.
Este conteúdo ensina a indie hackers como construir um sistema de avaliação de LLM de baixo custo (£0.20/execução) para identificar bugs reais em produção. O sistema utiliza um conjunto de dados dourado, um LLM para pontuar saídas e um gate de CI para bloquear fusões.
O artigo descreve um sistema de avaliação de LLM baseado em rubricas e de baixo custo para desenvolvedores independentes, que pode ser executado em CI para evitar problemas como dados alucinados em produção. Ele propõe uma alternativa às soluções empresariais caras, focando na definição de qualidade através de atributos concretos e conjuntos de dados "golden".
O autor utilizou testes baseados em propriedades para verificar a veracidade das afirmações num artigo gerado por IA sobre a construção de um "segundo cérebro". Embora a maioria das afirmações se mantivesse, um quantificador universal foi falsificado, sublinhando a eficácia do método em revelar requisitos estruturais subtis.
Este trabalho argumenta que os efeitos observados do "prompting contrafactual" em LLMs não podem ser atribuídos a um fator alvo sem considerar modificações de texto que preservem o significado e estabeleçam a sensibilidade geral do modelo. A pesquisa mostra que as taxas de mudança de previsão ao alterar o gênero do paciente são indistinguíveis das taxas induzidas por simples paráfrases, sugerindo que não se pode concluir uma sensibilidade especial ao gênero do paciente.
Este artigo enquadra a alucinação em grandes modelos de linguagem como um erro de classificação e propõe uma intervenção composta por recusa baseada em instruções e um gate de abstenção estrutural. O gate utiliza um score de déficit de suporte de sinais como auto-consistência e cobertura de citação, mas a avaliação controlada mostrou que nenhum mecanismo isolado foi suficiente para mitigar totalmente o problema.
RankJudge é introduzido como um gerador de benchmark para avaliar LLM-as-a-judge em conversas multi-turno, abordando a complexidade que os benchmarks existentes focados em Q&A não capturam. Ele cria pares de conversas com falhas injetadas, permitindo rotulagem clara e isolamento preciso de problemas para desenvolvedores de modelos que utilizam autoavaliação.
Este estudo introduz o CARE (Community-Aware Reaction Evaluation), uma estrutura que compara a simulação de discurso por LLMs com as respostas autênticas de comunidades a notícias do mundo real. A pesquisa, que envolve colaboração humano-IA, revela uma "lacuna de realismo" onde prompts explícitos não melhoram intrinsecamente a fidelidade das simulações de LLMs.
Este artigo de pesquisa introduz uma metodologia de invariância controlada para detecção de alucinações em modelos de linguagem grandes. Utilizando testes oracle como extsc{Force} e extsc{Remove}, a pesquisa investiga se os métodos avaliam o raciocínio ou apenas correlatos superficiais da resposta final.
O autor adicionou um loop de avaliação local usando um modelo Ollama ao seu assistente de IA pessoal para pontuar interações com base em precisão e relevância. Após 800 interações, ele descobriu que respostas mais curtas e diretas obtiveram consistentemente pontuações melhores.