Стек оценки: Доказательство того, что агенты правы, вместо того чтобы утверждать это

      Большинство инструментов исследований ИИ нацеливают языковую модель на веб и доверяют результатам. Саарт Шах построил Sixtyfour вокруг противоположного инстинкта: оценивать всё, отправлять только то, что улучшает оценку.

      Саарт Шах ведет таблицу результатов. Каждая сборка исследовательских агентов Sixtyfour оценивается по вопросам, которые команда экспертов собирает вручную и проверяет на реальных случаях, вертикально по вертикали, и оценка — это единственное, что решает, что отправляется. Дисциплина, стоящая за этой таблицей результатов, — вот почему компания по платежам позволит его программному обеспечению, а не человеческому аналитикам, решать, является ли незнакомец реальным.

      Большинство инструментов исследований ИИ начинают с одной и той же уловки: нацеливают языковую модель на открытый веб, просят её что-то найти и позволяют ей писать. Результаты читаются хорошо. То, на что Шах обратил внимание в начале, — это было ли это правильно и как кто-то мог бы это узнать.

      В течение некоторого времени индустрия обвиняла в этом галлюцинации, привычку моделей изобретать факты и источники. Эта проблема реальна, и она медленно улучшается. Передовые модели галлюцинируют меньше, чем год назад, а сочетание их с живым веб-поиском еще больше сократило разрыв. Но предел, который интересует Шаха, — это не воображение модели. Это охват модели.

      Языковая модель с полем поиска видит то, что видит человек с браузером, и не больше. Факты, которые решают расследование, обычно находятся под поверхностью, в лицензированных и собственнических записях, в неиндексированных подачах и в запутанных сетях сущностей, в которых скрывается мошенничество. Поверхностные исследования не могут их достать.

      «Модели продолжают улучшаться, и они все еще видят только то, что может увидеть человек с браузером», — сказал Шах. «Ответы, которые имеют значение в этой работе, находятся на несколько уровней глубже, и вам нужно идти и получать их».

      Приблизительно 96 процентов предприятий сейчас используют ИИ-агентов, и разрыв между системой, которая отвечает на вопрос, и той, которая отвечает на него правильно, стал центральной проблемой в производственном ИИ. Даже самые способные модели все еще испытывают трудности с реалистичной, долгосрочной профессиональной работой, где одна неверная ошибка может сорвать результат. Шах извлек уроки задолго до того, как эталоны это подтвердили: способность и надежность — это разные свойства, и второе должно быть спроектировано целенаправленно.

      То, что он построил, — это система другой формы. Агенты Sixtyfour находятся между двумя неудачными вариантами: статическими базами данных, которые устаревают, и общими моделями, которые импровизируют. Каждое расследование объединяет живые веб-исследования, публичные записи, государственные и юридические подачи, разведку с открытым исходным кодом и лицензированные данные, а затем компилирует это в отчет, в котором каждое утверждение ссылается на свой источник. Ничего не утверждается, если это не может быть прослежено до документа, того рода происхождения, которое требует суд.

      На практике один запрос разветвляется на многие. Попросите Sixtyfour проверить продавца, и его агенты извлекут корпоративные подачи, перекрестно проверят адреса и должностных лиц, просканируют записи о санкциях и судебных разбирательствах, поищут в живом вебе реальный след бизнеса. Когда нить ведет куда-то, агент следует за ней, собирая контекст, пока не сможет разрешить вопрос, а не останавливаясь на первом правдоподобном ответе. Результат — это досье, в котором каждая строка ссылается на основной документ, так что рецензент может проверить рассуждения машины, а не доверять им.

      Часть, которой Шах гордится больше всего, — это часть, которую большинство компаний пропускает. Для каждой области, в которой работают его агенты, он создал системы оценки, которые измеряют их результаты по сравнению с известными ответами, чтобы компания могла доказать, как часто она права, а не утверждать это в презентации для продаж. Они также не отправляют никаких улучшений продукта, если они не показывают явных улучшений в системе оценки. И каждый день они делают свой эталон все более сложным, используя реальные образцы, которые они видят, чтобы продолжать продвигать границы.

      «Каждый ответ должен показывать свою работу», — сказал Шах. «Если мы не можем указать на подачу или запись, мы не отправляем ответ. Цитирование — это продукт, а не украшение».

      Создание этих оценок было большой частью работы, необходимой для того, чтобы быть лучшими в мире, и самой сложной частью была сама правда. Существующие поставщики данных не могут служить источником правды; их информация слишком часто устарела или недостаточна. Поэтому, чтобы оценить агента по действительно сложному делу, Sixtyfour иногда устанавливает ответ медленным способом, доводя его до конца с помощью человеческих следователей, а затем превращая его в тест, который агенты должны пройти. Цель состоит в том, чтобы сопоставить лучших следователей, а затем превзойти их, пока набор оценок не измерит стандарт, который ни один отдельный рецензент не сможет достичь в одиночку.

      Дисциплина безжалостна. Каждый новый инструмент, который команда добавляет, проходит проверку на наборе оценок перед отправкой, и когда многообещающее дополнение снижает оценку, оно возвращается. Конкурент может скопировать архитектурную диаграмму за один день. Он не может скопировать годы оцененных запусков из производственных систем и нюансы, которые заставляют ИИ-агентов работать лучше.

      Именно поэтому Sixtyfour занимает верхнюю позицию в эталоне разведки, опережая системы из лабораторий, которые в несколько раз больше.

      Конкуренция оптимизирует для других вещей. Parallel, компания веб-исследований, настраивает на длинные, глубокие ответы. Exa создает семантический поиск на основе встраивания для открытия, а не для проверки. Sixtyfour измеряет что-то более узкое и сложное: является ли конкретное утверждение о конкретной сущности проверяемо истинным.

      Затем есть часть, которая накапливается. Каждое расследование, которое проводит Sixtyfour, разрешает сущности, с которыми оно взаимодействует, в граф, на который может опираться следующее расследование. Чем больше система используется, тем больше она уже знает.

      «Тысячи раз, когда вы исследуете сеть продавцов, граф выполняет половину работы, прежде чем агент даже начнет, и это позволяет нам отслеживать такие паттерны, как мошеннические схемы и сети плохих актеров, все связанные друг с другом», — сказал Шах. «Это та часть, которую вы не можете купить. Вы зарабатываете это одно расследование за раз».

      Подход привлекает внимание извне. В июне Y Combinator пригласил Шаха выступить на своем мероприятии для стажеров, личном разговоре с сотнями стажеров из его портфолио вместе с Джаредом Фридманом из фирмы. «Работайте над сложными проблемами», — сказал он им. «По мере того как инструменты и агенты ИИ становятся лучше, альфа смещается к сложным проблемам, которые требуют экспертного знания и почти идеальной точности. Одна неверная оценка в нашей области, и кто-то может быть вызван, забанен или даже арестован». Для основателя, который утверждает, что надежность должна быть построена, а не заявлена, приглашение научить это имело свою собственную форму доказательства.

      Шах сам написал большую часть оригинальной системы до того, как компания выросла до дюжины человек, и он говорит о правильности так, как другие основатели говорят о росте. Ставка идет против течения области, которая вознаграждает беглость: покупатели готовы платить больше за систему, которая знает, когда она не знает, чем за ту, которая всегда имеет готовый ответ. Таблица результатов на его экране — это то, как он намерен это доказать, один оцененный запуск за раз.