Nested Learning: Cómo Google Soluciona el Olvido Catastrófico en Deep Learning

Tiempo de lectura: 8-10 minutos

Imagina que eres un estudiante brillante que acaba de dominar perfectamente las matemáticas. Pero cuando comienzas a estudiar historia, descubres algo aterrador: estás olvidando todo lo que sabías de matemáticas. Es como si tu cerebro tuviera que elegir: aprender lo nuevo o recordar lo antiguo. Desafortunadamente, así es exactamente como funcionan la mayoría de los modelos de inteligencia artificial actuales.

Este problema, conocido como olvido catastrófico, ha sido una de las limitaciones más frustrantes del aprendizaje automático durante décadas. Pero Google Research acaba de presentar una solución revolucionaria llamada Nested Learning, y creo que cambiará fundamentalmente cómo entendemos y construimos sistemas de inteligencia artificial.

El Problema Silencioso: Olvido Catastrófico en Deep Learning

Cuando hablamos de olvido catastrófico (catastrophic forgetting), nos referimos a algo específico: la incapacidad de un modelo de red neuronal para mantener lo que aprendió anteriormente cuando se entrena con nuevas tareas o datos.

Déjame explicar por qué sucede esto. Los modelos de deep learning tradicionales actualizan sus pesos de una manera que optimiza el desempeño en los datos actuales. Pero cuando introduces datos nuevos, el proceso de optimización reajusta esos pesos de forma tan drástica que literalmente “sobrescribe” el conocimiento anterior. Es como si cada nueva lección borrara las páginas anteriores de tu libreta.

Por qué es un problema real

La mayoría de aplicaciones del mundo real requieren que los sistemas aprendan continuamente. Considera un modelo de detección de fraude: los patrones fraudulentos cambian constantemente. El sistema necesita actualizarse con nuevas técnicas criminales sin olvidar cómo detectar las antiguas. O piensa en un asistente de IA que debe mantener coherencia a través de múltiples conversaciones sin perder contexto de interacciones pasadas.

Los enfoques tradicionales han intentado resolver esto con métodos como replay de experiencias (guardar datos antiguos y reentrenarlos), pero esto es costoso, consume memoria y es impractico a escala.

Introducción a Nested Learning: Un Nuevo Paradigma

Google Research acaba de anunciar en NeurIPS 2025 un enfoque fundamentalmente diferente que promete resolver este problema de raíz. Nested Learning es más que solo otra técnica de ingeniería; es un nuevo paradigma que repiensa cómo arquitectura y optimización interactúan en los modelos de deep learning.

El concepto central

Lo brillante de Nested Learning es que une dos elementos que tradicionalmente hemos visto como separados: la arquitectura del modelo (cómo está estructurada la red) y el algoritmo de optimización (cómo actualiza sus pesos). En lugar de verlos como componentes independientes, Nested Learning los trata como dos niveles diferentes de un mismo sistema de optimización multinivel.

Imagina una estructura de problemas de optimización anidados, donde cada nivel tiene su propio ritmo de actualización, su propio “flujo de contexto”. El nivel más rápido podría actualizar cada paso de entrenamiento, mientras que otros niveles podrían actualizar cada épocas o incluso menos frecuentemente. Es como si la red neuronal tuviera múltiples relojes internos sincronizados, cada uno gobernando diferentes aspectos del aprendizaje.

La inspiración neurobiológica

Lo que me fascina es que esto replica cómo funciona realmente el cerebro humano. Nuestro cerebro no actualiza toda la información de la misma manera. Tenemos sistemas de memoria a corto plazo que cambian constantemente, memorias a largo plazo que se modifican lentamente, y conexiones sinápticas que varían en plasticidad según su ubicación y función. Nested Learning intenta capturar esta