Richard Sutton deja a Carmack para iniciar su propio laboratorio de IA.

      Una de las mentes más condecoradas en IA está emprendiendo su camino en solitario. Richard Sutton compartió el Premio Turing 2024 por fundar el aprendizaje por refuerzo moderno. El lunes dijo que deja la startup de John Carmack, Keen Technologies, para iniciar una nueva, Oak Lab.

      Lo anunció de manera sencilla en X. Elogió a Carmack y a Keen, y luego dijo que él y su colaborador Khurram Javed se habían "separado para iniciar nuestra propia startup" para seguir "un camino ligeramente diferente hacia la comprensión de la inteligencia".

      Su diagnóstico del campo es contundente. Los métodos actuales de aprendizaje profundo, escribió, son "débiles e ineficientes, y no necesitan más ajustes, sino ideas fundamentalmente nuevas y una reestructuración completa".

      Aprendiendo de la experiencia, no de conjuntos de datos

      El argumento central de Oak Lab es sobre de dónde proviene la inteligencia. Sutton ha sostenido durante mucho tiempo que se crea y mantiene a partir de la experiencia en tiempo real, no destilada de un conjunto de datos limpio y curado por humanos.

      El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora! Esa distinción importa más de lo que parece. Los modelos de hoy aprenden de datos que las personas han recopilado, limpiado y filtrado. La experiencia real es más desordenada. Parte de ella es predecible, y gran parte es solo ruido.

      En la primera publicación de investigación del laboratorio, Sutton y Javed cuantificaron el problema. El optimizador estándar, SGD, no puede distinguir entre los dos. Tampoco pueden primos como Adam. Distribuye la culpa de cada error entre todos sus parámetros, por lo que absorbe silenciosamente el ruido.

      Su solución actualiza una idea antigua de Sutton. Un algoritmo llamado IDBD, y una nueva versión neuronal que llaman NetworkIDBD, aprende a asignar crédito de manera selectiva. Solo recompensa las señales que realmente predicen algo. En sus pruebas, aprende el patrón real donde SGD se ahoga en la basura.

      Un agente que funciona con 20 vatios

      El objetivo de todo esto es la eficiencia. Sus métodos aprenden de un flujo de experiencia, un paso a la vez, sin almacenar o reproducir datos. Oak Lab dice que eso necesita órdenes de magnitud menos computación y energía que el enfoque actual.

      Eso lleva al santo grial declarado del laboratorio: un agente de un billón de parámetros que aprende y planea en tiempo real con 20 vatios. Veinte vatios es aproximadamente lo que consume el cerebro humano. Los modelos de frontera de hoy entrenan una vez, en centros de datos que consumen megavatios, y luego permanecen congelados. Sutton quiere un sistema que nunca deje de aprender, con una fracción de la energía.

      La apuesta contraria

      Sutton ha pasado su carrera argumentando en contra de la corriente. Su ensayo de 2019 "La lección amarga" se cita constantemente en IA. Su libro de texto con Andrew Barto formó a una generación de investigadores. Pero duda que escalar modelos de lenguaje preentrenados sea el camino hacia la verdadera inteligencia.

      Eso lo coloca en compañía interesante. Yann LeCun ha hecho un caso similar, dejando la órbita de Meta para apostar $1 mil millones en modelos del mundo en lugar de chatbots más grandes. David Silver de AlphaGo ha hecho su propia apuesta por una ruta diferente. Todos ellos piensan que una máquina debería aprender como lo hace un niño, a partir de la experiencia, no de una instantánea congelada de internet.

      El momento se ajusta al estado de ánimo. La carrera de IA ha dejado de ser solo sobre el modelo más grande. El costo y la eficiencia ahora importan tanto como la escala, y los investigadores están indagando en cómo los modelos realmente razonan en lugar de simplemente hacerlos más grandes.

      Si Oak Lab logra su objetivo es otra cuestión. Está persiguiendo una meta que todo el campo desearía y que nadie ha alcanzado. Pero Sutton está apostando una carrera llena de logros en ello. El futuro de la IA, piensa, se parece menos a un cerebro más grande en un edificio más grande, y más a uno pequeño que nunca deja de aprender.