Moonshot AI reinventa la profundidad de las redes neuronales con los Residuos de Atención

Durante más de una década, el aprendizaje profundo se ha apoyado en las 'conexiones residuales', una forma simple y de fuerza bruta de apilar capas en una red neuronal. Hoy, el equipo Kimi de Moonshot AI desafía ese statu quo con una nueva técnica llamada Residuos de Atención. Al sustituir las conexiones estáticas y uniformes por un mecanismo dinámico y selectivo, demuestran que el modo en que un modelo piensa su propia profundidad importa tanto como el modo en que procesa los datos de entrada.

Resolver el problema de la dilución de información

En las redes neuronales tradicionales, las conexiones residuales funcionan como una cadena de baldes, pasando información de capa en capa al sumar la salida de una capa a la entrada de la siguiente. El fallo de este enfoque de 'acumulación fija' es que, cuando la información llega a la capa 50 o 100, la señal de las primeras etapas suele estar diluida, sepultada bajo una montaña de sumas acumuladas. Además, este método trata a todas las capas como igual de importantes, sin distinguir entre el ruido y las representaciones internas de alto valor.

La solución de Moonshot AI, los Residuos de Atención, aplica la lógica de 'atención' —la misma tecnología que convirtió a los Transformers en la fuerza dominante de la IA— a la pila vertical de un modelo. En lugar de una suma rígida, cada capa ahora 'atiende' a las salidas anteriores, eligiendo qué información pasada es relevante para la tarea actual. Para manejar la enorme carga computacional que esto podría generar, el equipo introdujo 'Block AttnRes', que divide las capas en bloques comprimidos y garantiza que el sistema siga siendo viable a gran escala.

Las ganancias de eficiencia de la profundidad selectiva

Los resultados de este cambio arquitectónico son sorprendentes, sobre todo para los laboratorios que operan con presupuestos de cómputo ajustados. Validado en la arquitectura 'Kimi Linear', este método ofrece una ganancia de eficiencia de 1,25x, es decir, un modelo puede alcanzar la misma calidad que su predecesor consumiendo un 25% menos de cómputo de entrenamiento. Lo más llamativo es que esta mejora llega con una penalización de menos del 2% en la velocidad de inferencia, lo que la convierte en un reemplazo directo atractivo para los modelos existentes.

“Estamos entrando en una era en la que el ingenio arquitectónico se convertirá en la palanca principal del progreso, en lugar de limitarse a sumar más GPU H100 al problema.”

Si esta técnica se generaliza más allá de la arquitectura Kimi, las implicaciones para la industria en general son enormes. Estamos entrando en una era en la que el ingenio arquitectónico se convertirá en la palanca principal del progreso, en lugar de limitarse a sumar más GPU H100 al problema. Al tratar la 'profundidad' de una red como una secuencia a la que se puede acceder de forma selectiva, los investigadores han abierto una nueva dimensión de eficiencia que podría hacer que la próxima ola de modelos de frontera no solo sea más inteligente, sino considerablemente más barata de construir.