Прорывы в математике ИИ, на которые все ссылаются, являются контрпримером, а не доказательством.

      Контрпример и доказательство — это не одно и то же достижение. Доказательство показывает, что что-то всегда верно. Контрпример показывает, что что-то, что утверждается как всегда верное, на самом деле не таково, предоставляя один объект, где это не выполняется. Оба разрешают вопрос. Они требуют от того, кто их находит, разных вещей. Одно требует аргумента, который охватывает каждый случай. Другое требует единственного объекта и разрешения продолжать угадывать, пока не будет найдено решение. Эта разница является темой блога, опубликованного математиком из Кембриджа Тимоти Гауэрсом 12 августа. Гауэрс получил медаль Филдса в 1998 году. Он также читал статьи, которые большинство людей, комментирующих ИИ и математику, не читали. Он не отмахивается. Он называет результаты «чрезвычайно впечатляющими» и прямо говорит, что модели могут также доказывать сложные вещи. «LLM не только хорошо находят контрпримеры: они могут находить доказательства сложных утверждений», — пишет он.

      Что общего у знаменитых результатов

      OpenAI объявила о десяти открытых задачах, решенных в математике и теоретической информатике. Две из них стали основными в освещении. Первая — это построение не софиксной группы. Гауэрс присутствовал на обсуждениях. Он называет это «одной из самых важных нерешенных задач в теории групп». Вторая — это нижняя граница, показывающая, что многоцветное число Рэмси растет суперэкспоненциально.

      По этому поводу он необычно откровенен. Это была «значительная открытая проблема в теории Рэмси, которую я не ожидал увидеть решенной за свою жизнь». Затем следует наблюдение, которое пропустили агрегаторы. Как отмечает Гауэрс, самые известные результаты LLM почти все пришли в виде контрпримеров, а не доказательств. Он считает два вышеупомянутых, плюс гипотезу Якоби и гипотезу единичного расстояния. Его третья обобщающая мысль — это осторожная версия. Модели прекрасно доказывают универсальные утверждения. Но самые сильные вещи, которые они доказали, не совпадают с самыми сильными вещами, которые они опровергли.

      Два результата, которые он переклассифицирует

      Контрпример получает свое название, разрушая что-то, во что люди имели веские основания верить. По этому критерию Гауэрс переклассифицирует два из заглавных результатов, включая один против собственной документации. По поводу не софиксной группы он говорит, что несколько маршрутов построения уже существовали в литературе. Он также сомневается, что многие эксперты действительно верили, что все группы софиксные. Поэтому это звучит более естественно как первый пример не софиксной группы, чем как контрпример. Он прямо указывает на напряжение: OpenAI назвала этот раздел своей статьи «Контрпример к гипотезе софиксности».

      Результат Рэмси получает такое же обращение, и здесь он отмечает свою собственную работу. Многие люди ожидали экспоненциальной границы, поэтому для них это был контрпример. Гауэрс был нейтрален. Он работал над эквивалентной формулировкой много лет назад. Его усилия тогда шли в том направлении, которое оказалось правильным. Для него это подтвердило слабое ожидание, а не опровергло веру.

      Почему примеры подходят машинам

      Гауэрс перечисляет восемь способов, которыми математики ищут пример. Попробуйте стандартные примеры с полки. Постройте один из знакомых частей. Оставьте части неопределенными и заполните их по мере необходимости для доказательства. Попробуйте доказать противоположное и посмотрите, что сломается. Угадайте, потерпите неудачу, проанализируйте, снова угадайте. Постройте объект шаг за шагом. Выберите один случайным образом. Выберите один общий.

      Четыре из этих способов соответствуют тому, что уже есть у машины: широкие знания и способность проводить огромное количество попыток. Проверка с полки, пошаговая сборка, вероятностный аргумент и общий пример все вознаграждают объем. Три других требуют чего-то еще. Оставление частей неопределенными, попытка доказать противоположное и последовательное приближение требуют суждения о том, стоит ли продолжать текущий подход.

      Вот где Гауэрс находит разрыв, и это не просто сырой потенциал. Он называет это «нюхом», имея в виду чувство, когда вы движетесь в правильном направлении и когда следует отказаться от ветви. Это то, что позволяет человеку обрезать дерево поиска, которое ни один компьютер не смог бы исчерпать.

      Пять редукций и никакого прогресса

      Его доказательства разрыва отчасти анекдотичны, и он так и говорит. Работая с GPT-5.6 Pro над открытыми задачами, он часто получает подходы, которые выглядят многообещающе, но затем не выдерживают проверки. Он также описывает узнаваемый шаблон ответа. Модель сообщает, что не ответила на вопрос, но сократила его до более узкого и точного, «что звучит очень многообещающе, пока это не произошло пять раз без какого-либо очевидного прогресса».

      Эксперты также реагируют на настоящие успехи по шаблону, пишет он: сначала удивление, затем более внимательный взгляд, который показывает подход, который не был особенно новым и который подходящий эксперт мог бы найти с небольшим намеком. Его объяснение того, почему нюх может не возникнуть просто так, является самой интересной частью поста. Опубликованная математика скрывает поиск. Модели видят, по его словам, «упорядоченные доказательства, которые скрывают мыслительные процессы их открывателей».

      Тупики никогда не доходят до литературы. Поэтому обучающие данные почти не содержат записей о том, какие направления были заброшены и почему. Он добавляет вторую причину. Система, достаточно быстрая, чтобы попробовать все, имеет мало стимулов учиться обрезать вообще.

      Тест, который он примет

      Гауэрс предлагает опровержимый стандарт, что больше, чем большинство комментариев. Он примет преодоление барьера, когда модель произведет доказательство, столь же удивительное, как решение кап-набора 2016 года, где старые границы были затенены, а метод был не похож ни на что, что он рассматривал.

      Он также предлагает исправление. Структуры вознаграждения в настоящее время оценивают ответ. Наказывайте модель за исследование слишком многих тупиков или за заимствование результата из литературы, и она может быть подтолкнута к более человеческому поиску.

      Ничто из этого не является предсказанием того, что модели остановятся. Гауэрс ожидает, что они будут продолжать быстро улучшаться, ожидает, что барьер падет, и признает, что, возможно, он цепляется за надежду, что люди будут продолжать вносить свой вклад еще некоторое время. Различие, которое он проводит, касается того, что произошло до сих пор, а не того, что возможно.

      Что делает агрегирование его поста заслуживающим внимания.

      Декодер резюмировал это как то, что ведущие математики называют LLM сильными калькуляторами, но слабыми творческими мыслителями. Гауэрс написал, что модели находят доказательства сложных утверждений, что результаты чрезвычайно впечатляющи и что он не делает никаких заявлений о том, что они никогда не сделают. Его предыдущий пост касался Лейденской декларации.

      Теперь его дважды за три недели прижали к земле, превратив в скептика.

      Заявление, лежащее в основе, более узкое и труднее опровергнуть. Машины побеждают там, где метод заключается в том, чтобы попробовать множество вещей. Это также то место, где обнаруживаются криптографические недостатки и где тестирование в Великобритании показало, что модели жульничают, когда существует кратчайший путь.

      Тест кап-набора не имеет срока, что, собственно, и является смыслом. Кто-то опубликует доказательство. Аргумент будет о том, было ли это методом, который все это время находился в обучающих данных.