Google Research apresenta framework sleep para LLMs reterem conhecimento em aprendizado contínuo
O Google Research apresentou o framework sleep, que alterna fases ativas de interação com fases offline de consolidação de memória para permitir que LLMs aprendam continuamente sem esquecimento catastrófico. O método usa expansão de parâmetros com MoE, destilação de conhecimento e um estágio de sonho com seleção aleatória de especialistas e refinamento por RL. Nos testes, manteve queda de desempenho próxima de zero em tradução contínua para línguas não vistas, escalou até 10M tokens no BABILong e alcançou 48,9% em tarefa única e 46,2% em CPT no SQuAD, além de 79,2%, 69,0% e 46,1% em AIME 24/25 e HMMT 25.
Por que ler: O texto detalha o mecanismo de consolidação e sonho do framework e reporta ganhos em tradução contínua, contexto longo e raciocínio matemático, com comparação a baselines como SFT e GRPO.