Pesquisadores apresentam o StateBench, um benchmark de rastreamento de estado em contexto longo que mede como modelos acompanham informações sobre entidades ao longo de documentos.
Por que ler: O texto detalha como sintetizar dados com raciocínio contrafactual e usar um harness de verificação e reparo para fazer um modelo aberto de 20B competir em geração de slides.
A Collinear AI abriu o CWE-bench v2, conjunto público de 100 tarefas em que um agente recebe um repositório open source real e deve encontrar e corrigir uma falha de segurança sem quebrar a funcionalidade existente. As tarefas cobrem 91 CWEs e a pontuação é totalmente programática, com verificação determinística e reproduzível; há também um conjunto reservado para acompanhar tarefas que nenhum modelo viu. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, à frente do Claude Opus 5.5 (67,3% e 78,0%), e 95 tarefas são resolvidas por ao menos um modelo, mas o líder falha 19% do conjunto em todas as tentativas. Na fronteira de custo, o DeepSeek V4.1 Flash alcança 57,0% de pass@1 a US$ 0,04 por rollout, o Opus soma dez pontos a US$ 1,83 e o Gemini chega a US$ 3,92. O conjunto, o avaliador e o harness são abertos, e as tarefas rodam pelo Harbor direto do repositório no Hugging Face, com acesso sujeito a aprovação.
Por que ler: O conjunto público de 100 tarefas com verificação determinística permite reproduzir resultados e comparar modelos em correção de falhas de segurança, com o custo por execução ao lado do desempenho.
O Google Research apresentou o framework sleep, que alterna fases ativas de interação com fases offline de consolidação de memória para permitir que LLMs aprendam continuamente sem esquecimento catastrófico. O método usa expansão de parâmetros com MoE, destilação de conhecimento e um estágio de sonho com seleção aleatória de especialistas e refinamento por RL. Nos testes, manteve queda de desempenho próxima de zero em tradução contínua para línguas não vistas, escalou até 10M tokens no BABILong e alcançou 48,9% em tarefa única e 46,2% em CPT no SQuAD, além de 79,2%, 69,0% e 46,1% em AIME 24/25 e HMMT 25.
Por que ler: O texto detalha o mecanismo de consolidação e sonho do framework e reporta ganhos em tradução contínua, contexto longo e raciocínio matemático, com comparação a baselines como SFT e GRPO.