Pular para o conteúdo
12 de novembroqui
11 de novembroqua
8 de novembrodom
7 de novembrosab
5 de novembroqui
4 de novembroqua
27 de outubroter
  1. Google Research72

    Google Research apresenta framework sleep para LLMs reterem conhecimento em aprendizado contínuo

    O Google Research apresentou o framework sleep, que alterna fases ativas de interação com fases offline de consolidação de memória para permitir que LLMs aprendam continuamente sem esquecimento catastrófico. O método usa expansão de parâmetros com MoE, destilação de conhecimento e um estágio de sonho com seleção aleatória de especialistas e refinamento por RL. Nos testes, manteve queda de desempenho próxima de zero em tradução contínua para línguas não vistas, escalou até 10M tokens no BABILong e alcançou 48,9% em tarefa única e 46,2% em CPT no SQuAD, além de 79,2%, 69,0% e 46,1% em AIME 24/25 e HMMT 25.

    Por que ler: O texto detalha o mecanismo de consolidação e sonho do framework e reporta ganhos em tradução contínua, contexto longo e raciocínio matemático, com comparação a baselines como SFT e GRPO.