Um pesquisador independente criou o SGOCR, um pipeline de dataset de código aberto focado em OCR e VQA com fundamento espacial, para preencher uma lacuna em datasets visuais para fundamentar texto em imagens. Este pipeline gera tuplas VQA com metadados ricos, suportando diversas estratégias de treinamento de VLM.
Este artigo apresenta CrowdMath, um conjunto de dados de 164 cadeias de progresso anotadas por especialistas do programa CrowdMath do MIT PRIMES--Art of Problem Solving. Ele visa avaliar modelos de linguagem grandes na resolução colaborativa de problemas matemáticos abertos, diferenciando-se das avaliações que focam apenas em respostas finais ou provas completas.
O projeto HKJudge introduz o primeiro corpus de discurso jurídico anotado por especialistas em nível de sentença de sentenças criminais de Hong Kong, compreendendo cerca de 290 mil frases. Ele utiliza um esquema de discurso de dois níveis para identificar o que os tribunais encontram, como raciocinam e o que decidem, com alta concordância entre anotadores.
Esta pesquisa apresenta o MagBridge-Battery v1.0, um novo conjunto de dados sintéticos com 6.760 assinaturas de campo magnético para o diagnóstico da saúde de baterias de íon-lítio. Ele combina dados magnéticos reais com rótulos de estado de saúde para superar a escassez de conjuntos de dados públicos para sensoriamento magnético em estudos de degradação de baterias.
O artigo apresenta um conjunto de dados sintético de rastreamento de raciocínio contrastivo para Q&A multi-tabelas (MMQA), visando fornecer supervisão de raciocínio ausente em recursos existentes. Modelos LLM de peso aberto, ajustados com Otimização de Preferência Contrastiva (CPO) usando este conjunto de dados, exibiram melhorias significativas de desempenho.
EVA-Bench Data 2.0 apresenta uma versão atualizada de um benchmark com 3 domínios, 121 ferramentas e 213 cenários. Este conjunto de dados é projetado para a avaliação de sistemas e ferramentas de IA.
O When2Speak é um novo conjunto de dados sintético e pipeline de quatro estágios para ensinar a modelos de linguagem grandes (LLMs) o momento certo de intervir em conversas multipartidárias. Ele aborda o desafio de evitar interrupções excessivas e melhorar a coerência conversacional em interações de grupo.
Padyam2Gadyam é um novo conjunto de dados para tradução de poesia em prosa, cobrindo poesia clássica Telugu dos séculos XIII-XVII para prosa Telugu e inglesa contemporânea. A avaliação de cinco LLMs neste conjunto de dados revelou que, embora haja diferenças entre os modelos, seu desempenho geral ainda tem muito espaço para melhorias.
IdiomX é um grande benchmark multilingue introduzido para resolver os desafios das expressões idiomáticas no processamento de linguagem natural. Ele contém mais de 190 mil exemplos contextualizados abrangendo mais de 12 mil idiomatismos com representações semânticas alinhadas em inglês, árabe e francês.
O artigo propõe a criação de um "Biomedical TransitionNet", um novo tipo de dataset análogo ao ImageNet, mas focado em transições de estado biológico para a próxima geração de IA médica. Ele argumenta a necessidade de tal infraestrutura para construir modelos do mundo real em biomedicina, indo além da classificação e previsão.
CoLabScience é um assistente LLM proativo que visa acelerar a descoberta biomédica, melhorando a colaboração entre IA e especialistas humanos. Ele utiliza PULI, uma nova estrutura de aprendizado por reforço para intervenções contextuais, e introduz o conjunto de dados BSDD para diálogos de pesquisa simulados.
GQA é um novo conjunto de dados projetado para desafiar e avaliar sistemas de IA em raciocínio visual e resposta a perguntas composicionais. Ele visa promover a compreensão da cena e a interação multimodal em cenários do mundo real.
O corpus JSUT é um conjunto de dados de fala japonês gratuito e em larga escala, projetado para pesquisa em síntese de fala de ponta a ponta. Ele fornece recursos valiosos para o desenvolvimento de modelos avançados de IA em tecnologia de fala para o idioma japonês.
Este conteúdo oferece um guia sobre como criar conjuntos de dados para Modelos de Linguagem Grandes (LLMs). Ele inclui uma visão geral do FineWeb, um recurso relevante para este processo.
Este artigo apresenta o BatteryPass-12K, o primeiro conjunto de dados público para a nova tarefa de classificação de conformidade de passaportes digitais de baterias (DBP), preenchendo uma lacuna antes da regulamentação da UE. Avaliando 22 modelos de linguagem, o estudo revela que modelos de "Pensamento" como o GPT-5.4 têm o melhor desempenho, e exemplos few-shot melhoram significativamente os resultados.
Este artigo propõe um modelo baseado em evidências para gerar consultas a partir de conjuntos de dados de sumarização sem consulta, abordando a escassez de dados para Sumarização Focada em Consulta (QFS). Os resultados experimentais indicam que os resumos gerados com essas consultas baseadas em evidências alcançam pontuações ROUGE competitivas, comprovando sua eficácia para a tarefa de QFS.
Um novo trabalho aborda a lacuna na avaliação do raciocínio cultural em LLMs, introduzindo o ArabCulture-Dialogue, um conjunto de dados conversacionais culturalmente fundamentado que abrange 13 países de língua árabe. As experiências revelam que os modelos apresentam pior desempenho em tarefas de raciocínio cultural, tradução e geração em configurações dialetais em comparação com o árabe padrão moderno.
QASM-Eval é um novo conjunto de dados abrangente desenvolvido para treinar e avaliar Grandes Modelos de Linguagem (LLMs) em programas OpenQASM-3 que utilizam recursos avançados orientados para hardware. Ele visa preencher uma lacuna na capacidade dos LLMs de lidar com a programação de computação quântica além das especificações de circuito de sequência de portas.
O artigo apresenta InteractBind, um extenso conjunto de dados com cerca de 100 mil pares proteína-ligante, e um benchmark para avaliação detalhada. Ele visa verificar se os modelos podem localizar sítios de ligação e identificar interações não covalentes, preenchendo uma lacuna nas avaliações existentes.