Elith e NVIDIA lançaram o Nemotron-Personas-Finance-Japan, extensão de domínio financeiro da base aberta de personas Nemotron-Personas-Japan.
Por que ler: O conjunto traz 9M de personas sintéticas em japonês com finanças domésticas e letramento financeiro, sob CC BY 4.0, o que permite treinar e avaliar agentes financeiros sem dados reais de clientes.
Um estudo de Andy Hall, pesquisador do Anthropic Institute.
Pesquisadores apresentam o StateBench, um benchmark de rastreamento de estado em contexto longo que mede como modelos acompanham informações sobre entidades ao longo de documentos.
A IBM Research apresentou o Palette, um ajuste fino com LoRA de um modelo aberto de 20B que divide a criação de slides entre um designer.
Por que ler: O texto detalha como sintetizar dados com raciocínio contrafactual e usar um harness de verificação e reparo para fazer um modelo aberto de 20B competir em geração de slides.
A Collinear AI abriu o CWE-bench v2, conjunto público de 100 tarefas em que um agente recebe um repositório open source real e deve encontrar e corrigir uma falha de segurança sem quebrar a funcionalidade existente. As tarefas cobrem 91 CWEs e a pontuação é totalmente programática, com verificação determinística e reproduzível; há também um conjunto reservado para acompanhar tarefas que nenhum modelo viu. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, à frente do Claude Opus 5.5 (67,3% e 78,0%), e 95 tarefas são resolvidas por ao menos um modelo, mas o líder falha 19% do conjunto em todas as tentativas. Na fronteira de custo, o DeepSeek V4.1 Flash alcança 57,0% de pass@1 a US$ 0,04 por rollout, o Opus soma dez pontos a US$ 1,83 e o Gemini chega a US$ 3,92. O conjunto, o avaliador e o harness são abertos, e as tarefas rodam pelo Harbor direto do repositório no Hugging Face, com acesso sujeito a aprovação.
Por que ler: O conjunto público de 100 tarefas com verificação determinística permite reproduzir resultados e comparar modelos em correção de falhas de segurança, com o custo por execução ao lado do desempenho.