This article explores how AI-driven model distillation is revolutionizing the technological landscape. It delves into the process of creating smaller, more efficient AI models while retaining high performance, thereby impacting various industries.
Parameter Golf brought together over 1,000 participants and 2,000 submissions to explore AI-assisted machine learning research. The event focused on coding agents, quantization, and novel model design under strict constraints.
Este estudo avaliou a viabilidade de modelos de linguagem grandes (LLMs) e modelos tradicionais baseados em texto para prever a alta hospitalar no dia seguinte usando notas clínicas pós-operatórias. Os resultados sugerem que modelos interpretáveis e eficientes em recursos podem superar LLMs compactos em tarefas de predição clínica desbalanceadas e do mundo real.
Este estudo propõe um framework de Tomada de Decisão Multicritério Baseado em Aprendizado (LB-MCDM) que integra machine learning com análise espacial GIS para otimizar a localização de serrarias. Demonstrado através de um caso de estudo no Mississippi, o modelo aplica cinco algoritmos de ML para identificar locais adequados, destacando o Random Forest Classifier como o de melhor desempenho e utilizando SHAP para determinar a importância dos critérios.
Este artigo apresenta o Focus, um método inovador que aprende quais pares de tokens são relevantes em mecanismos de atenção, em vez de aproximar todos. Ele melhora a perplexidade do domínio e oferece até 2x de aceleração na inferência, superando a atenção completa em diversas escalas e arquiteturas.
Memory Dial é um framework de treinamento que permite controlar a memorização em modelos de linguagem de forma explícita. Ele utiliza um parâmetro $\alpha$ para ajustar a pressão de memorização, aumentando a acurácia em exemplos vistos sem impactar a acurácia em exemplos não vistos.
Este artigo explora avanços em sistemas dinâmicos para computação, inspirados na neurociência, com o objetivo de melhorar a escalabilidade, robustez e eficiência energética em IA. O foco está em modelos dinâmicos baseados em energia, como redes de Hopfield e máquinas de Boltzmann, que codificam informações através de fluxos de gradiente.
Este estudo explorou o uso de informações de grafos (RST e Co-referência) para sumarização de texto, descobrindo que Redes de Atenção Gráficas não melhoraram o desempenho, enquanto um Perceptron Multicamadas obteve sucesso. Adicionalmente, foi criado um novo benchmark para sumarização baseada em grafos ao anotar o dataset XSum com informações RST.
Este artigo de pesquisa formaliza o 'supervision drift' em experimentos CRISPR-Cas13d, analisando a robustez de modelos sob shift de distribuição, inclusive quando o mecanismo de supervisão muda. Utilizando um benchmark não-IID, demonstra bom desempenho in-domain, mas falha na transferência temporal e apenas sucesso parcial na transferência entre linhagens celulares.
SIEVE propõe um método para aprendizado paramétrico com eficiência de amostra a partir de contexto de linguagem natural, necessitando de apenas três exemplos de consulta. Ele emprega uma pipeline de geração de dados sintéticos, SIEVE-GEN, que decompõe o contexto para gerar resultados de maior qualidade e destilar o contexto no modelo.
Differentiable Symbolic Planning (DSP) é uma nova arquitetura neural que aborda a dificuldade das redes neurais com o raciocínio por restrições, permitindo o raciocínio simbólico discreto e diferenciável. Integrada a um Universal Cognitive Kernel (UCK), a UCK+DSP demonstra alta precisão e generalização em benchmarks de raciocínio por restrições e planejamento.
YC Bench é um novo benchmark em tempo real para prever o desempenho inicial de startups em lotes da Y Combinator. Ele utiliza um sistema de pontuação pré-Demo Day, baseado em sinais públicos de tração e visibilidade web, permitindo a avaliação rápida de modelos de previsão de sucesso.
Este trabalho propõe um novo modelo para treinar Redes Neurais Gráficas (GNNs) sensíveis à justiça, aprimorando o framework CAF. A abordagem utiliza uma estratégia de treinamento em duas fases, editando o grafo para ajustar a homofilia e integrando perdas contrastivas e ambientais modificadas para melhorar a predição e a justiça.
CIPHER é um modelo baseado em Conformer para inferência de fonemas a partir de EEG de alta densidade, visando decodificar informações de fala do cérebro. Embora alcance alta performance em tarefas binárias, mostra desempenho limitado na discriminação de fonemas de 11 classes, sendo posicionado como um estudo de benchmark e comparação de características.
FTimeXer é um Transformer de séries temporais com consciência de frequência proposto para previsão robusta da pegada de carbono da rede elétrica. Ele aborda a não-estacionariedade e entradas exógenas irregulares através de uma ramificação de frequência baseada em FFT e um esquema de treinamento robusto.
The paper proposes ZeroFolio, a feature-free algorithm selection method that uses pretrained text embeddings of raw instance files. This approach, requiring zero domain knowledge, outperforms traditional methods with hand-crafted features in most evaluated scenarios across diverse problem domains.
EvoForest introduces a novel neuro-symbolic system for open-ended evolution of computation, moving beyond simple parameter optimization. It jointly evolves computational structures, function families, and trainable components to tackle complex structured prediction problems.
This research presents an automated system for detecting dosing errors in clinical trial narratives, leveraging LightGBM with comprehensive multi-modal feature engineering. It combines traditional NLP, semantic embeddings, medical patterns, and transformer scores to achieve high ROC-AUC on an imbalanced dataset.
This study explores data augmentation strategies to enhance transformer-based models for automated scoring of student scientific explanations, specifically addressing class imbalance. It evaluates methods like GPT-4 generated responses, EASE, and ALP against a SciBERT baseline, using a dataset of 1,466 high school responses.
S^2tory is a narratology-grounded AI framework designed for movie script summarization, addressing the complexity of non-linear narratives by identifying "plot nuclei" through character development trajectories. It employs a Narrative Expert Agent to distill knowledge, which then conditions a model to identify essential plot points for summary generation.