Ричард Саттон покидает Кармака, чтобы открыть свою собственную лабораторию ИИ.

      Один из самых награжденных умов в области ИИ начинает свой путь в одиночку. Ричард Саттон разделил премию Тьюринга 2024 года за основание современного обучения с подкреплением. В понедельник он сообщил, что покидает стартап Джона Кармака Keen Technologies, чтобы начать новый, Oak Lab.

      Он объявил об этом прямо в X. Он похвалил Кармака и Keen, затем сказал, что он и его коллега Хуррам Джавед «отделились, чтобы начать свой собственный стартап», чтобы следовать «немного другим путем к пониманию интеллекта».

      Его диагноз в отношении области довольно прямолинеен. Современные методы глубокого обучения, написал он, «слабы и неэффективны, и им нужны не просто доработки, а принципиально новые идеи и тщательная переработка».

      Учиться на опыте, а не на наборах данных

      Основной аргумент Oak Lab касается того, откуда берется интеллект. Саттон давно утверждает, что он создается и поддерживается на основе опыта в реальном времени, а не извлекается из чистого, курируемого человеком набора данных.

      💜 технологий ЕС Последние слухи из технологической сцены ЕС, история от нашего мудрого основателя Бориса и немного сомнительного ИИ-искусства. Это бесплатно, каждую неделю, в вашем почтовом ящике. Подпишитесь сейчас! Это различие имеет большее значение, чем кажется. Современные модели учатся на данных, которые люди собрали, очистили и отфильтровали. Реальный опыт более запутан. Часть из него предсказуема, а большая его часть — просто шум.

      В первом исследовательском посте лаборатории Саттон и Джавед привели цифры к проблеме. Стандартный оптимизатор, SGD, не может отличить одно от другого. То же самое касается и таких аналогов, как Adam. Он распределяет вину за каждую ошибку по всем своим параметрам, поэтому тихо поглощает шум.

      Их решение обновляет старую идею Саттона. Алгоритм под названием IDBD и новая нейронная версия, которую они называют NetworkIDBD, учится избирательно присваивать заслуги. Он вознаграждает только те сигналы, которые действительно что-то предсказывают. В их тестах он учится реальному паттерну, в то время как SGD тонет в мусоре.

      Агент, работающий на 20 ваттах

      Суть всего этого — эффективность. Их методы учатся из потока опыта, шаг за шагом, без хранения или воспроизведения данных. Oak Lab утверждает, что это требует на порядки меньше вычислительных ресурсов и энергии, чем современный подход.

      Это приводит к заявленной святой граали лаборатории: агенту с триллионом параметров, который учится и планирует в реальном времени на 20 ваттах. Двадцать ватт — это примерно то, на чем работает человеческий мозг. Современные передовые модели обучаются один раз в дата-центрах, которые потребляют мегаватты, а затем остаются замороженными. Саттон хочет систему, которая никогда не перестает учиться, на крошечной доле мощности.

      Контрарная ставка

      Саттон провел свою карьеру, выступая против течения. Его эссе 2019 года «Горький урок» постоянно цитируется в ИИ. Его учебник с Эндрю Барто обучил целое поколение исследователей. Но он сомневается, что масштабирование предобученных языковых моделей — это путь к настоящему интеллекту.

      Это ставит его в интересную компанию. Янн Лекун сделал аналогичное заявление, покинув орбиту Meta, чтобы поставить 1 миллиард долларов на мировые модели, а не на более крупные чат-боты. Дэвид Сильвер из AlphaGo сделал свою собственную ставку на другой путь. Все они считают, что машина должна учиться так, как это делает ребенок, на основе опыта, а не на основе замороженного снимка интернета.

      Сейчас время соответствует настроению. Гонка ИИ тихо перестала быть только о самой большой модели. Стоимость и эффективность теперь важны так же, как и масштаб, и исследователи углубляются в то, как модели действительно рассуждают, а не просто делают их больше.

      Будет ли Oak Lab успешным — другой вопрос. Он преследует цель, которую вся область хотела бы достичь, но никто не достиг. Но Саттон ставит на это свою выдающуюся карьеру. Будущее ИИ, по его мнению, выглядит не как больший мозг в большем здании, а скорее как маленький, который никогда не перестает учиться.