ClawBench é um novo benchmark que avalia agentes de navegador de IA em 153 tarefas cotidianas em 144 sites reais. Os resultados mostram que o melhor modelo (Claude Sonnet 4.6) atinge apenas 33,3% de sucesso, indicando um longo caminho a percorrer para a IA na automação de tarefas online.
TokenArena é introduzido como um benchmark contínuo que mede a inferência de IA na granularidade do endpoint em cinco eixos principais. Ele sintetiza velocidade de saída, tempo para o primeiro token, preço, contexto efetivo e qualidade, juntamente com estimativas de energia, em compósitos como joules e dólares por resposta correta e fidelidade do endpoint.
Este estudo empírico avalia 22 frameworks agentic em três benchmarks de raciocínio (BBH, GSM8K, ARC) para comparar seu desempenho, eficiência e adequação prática. Os resultados mostram que 19 frameworks completaram todas as tarefas, com 12 demonstrando desempenho estável com 74,6-75,9% de precisão, tempo de execução de 4-6 segundos e custo de 0,14-0,18 centavos por tarefa.
Esta pesquisa aborda o viés na estimativa de desempenho para classificação desequilibrada, especialmente em relação a subconceitos minoritários dentro das classes. Ela introduz uma nova métrica de avaliação prática ponderada por utilidade, a acurácia balanceada ponderada por predição (pBA), que utiliza probabilidades posteriores previstas para corrigir este viés e fornecer uma avaliação mais precisa.
Esta pesquisa introduz o Terminus-4B, um modelo de linguagem pequeno ajustado, para explorar sua capacidade de substituir LLMs de fronteira em tarefas de execução de terminal agêntico. O modelo é pós-treinado usando SFT e RL com recompensas baseadas em rubricas de LLM como juiz.
Este conteúdo compara vários protocolos de roteamento em Redes Móveis Ad Hoc (MANETs). Provavelmente analisa suas métricas de desempenho sob diferentes condições de rede para identificar soluções ideais.