Оказывается, если попросить ИИ сыграть роль эксперта, он становится менее надежным.
Просить ИИ притвориться экспертом может обернуться против вас, но исследователи, возможно, нашли решение.
Вы, вероятно, видели совет, который гуляет по интернету: скажите ИИ вести себя как эксперт в какой-либо области, и вы получите лучшие ответы. Это популярный совет, и он действительно работает, иногда. Однако новое исследование предполагает, что использование персон ИИ может быть не таким эффективным, как мы думали.
Исследователи из Университета Калифорнии протестировали 12 различных персон на шести языковых моделях. Персоны варьировались от экспертов по математике и программированию до креативных писателей и контролеров безопасности. Цель заключалась в том, чтобы выяснить, насколько хорошо ИИ справляется с задачей, когда ему поручено действовать как эксперт.
Результаты были смешанными. Принятие персоны сделало ИИ более профессиональным и лучше следящим за правилами. Но это также ухудшило способность ИИ вспоминать факты. Согласно исследованию, использование персоны ИИ переводит его в режим выполнения инструкций, а не в режим извлечения знаний, и эта замена обходится вам в точности.
Каково решение?
Чтобы решить эту проблему, исследователи разработали PRISM, что расшифровывается как Persona Routing via Intent-based Self-Modeling. Вместо того чтобы всегда использовать персону или никогда ее не использовать, PRISM учит ИИ решать, что лучше для него самого.
Когда вы задаете вопрос, PRISM генерирует два ответа: один из его стандартного режима и один из его персоны. Затем он сравнивает оба и предоставляет ответ, который лучше подходит для конкретного запроса.
Экспертный ответ не отбрасывается, даже когда стандартный ответ выигрывает. Вместо этого стиль рассуждений сохраняется в легком компоненте, называемом адаптером LoRA, из которого ИИ может черпать информацию позже, когда это необходимо. Решение кажется простым, и все же оно эффективно.
Как показал себя PRISM?
PRISM повысил общий балл ИИ на один-два пункта по MT-Bench, тесту, который измеряет, насколько хорошо ИИ выполняет инструкции и остается полезным. Для задач написания и безопасности персоны помогли. Для вопросов о чистых знаниях отказ от персоны оказался лучшим вариантом.
Исследователи планируют протестировать PRISM с большим количеством персон и улучшить его способность предоставлять лучшие ответы. Это еще ранние дни, но это может изменить то, как мы запрашиваем ИИ на благо.
Рачит — опытный технический журналист с более чем семилетним стажем, освещающий рынок потребительских технологий.
Следующее поколение ИИ обещает чат-ботов, которые могут лучше читать атмосферу
Исследователи учат ИИ-чат-ботов читать между строк
Вы когда-нибудь спрашивали чат-бота что-то и чувствовали, что он совершенно не уловил вашу мысль? Вы говорите что-то с небольшим нюансом, и ИИ полностью упускает эту тонкость. Именно это проблема, которую исследователи пытаются решить. Хотя эмоциональная связь с ИИ для многих пользователей может казаться глубже, чем человеческий разговор, большинство ИИ-систем сегодня все еще рассматривают предложение как единый блок эмоций. Если вы смешиваете похвалу и критику, нюанс часто теряется.
ЧатGPT не получит эротический режим, в конце концов
OpenAI отказывается от "взрослого режима", так как он сталкивается с большими проблемами
Если вы ожидали, что ЧатGPT получит "эротический режим", эта идея официально снята с повестки дня. Согласно Financial Times, острый режим OpenAI приостановлен "на неопределенный срок". Внутри борьбы OpenAI за реализацию взрослого режима
Samsung приносит свой браузер на ПК с множеством классных функций
Один браузер, чтобы управлять вашим телефоном, вашим ПК и бесконечным количеством вкладок, которые у вас открыты прямо сейчас.
Samsung официально запустил браузер Samsung для Windows, и это больше, чем просто настольная версия браузера вашего телефона. Он предлагает кросс-устройственную непрерывность и ИИ-ассистента, который кажется действительно полезным. Непрерывный просмотр, чтобы помочь вам контролировать ваши вкладки.
Другие статьи
Системные требования Forza Horizon 6 для ПК удивительно снисходительны для современной AAA-игры.
Forza Horizon 6 может выглядеть как демонстрация следующего поколения, но его системные требования для ПК предполагают, что вам не понадобится современный компьютер для игры в него.
Google расширяет Search Live по всему миру с помощью голосового и камерного ИИ
Google расширил Search Live на глобальном уровне, предоставив голосовой и камерный поиск на базе ИИ более чем в 200 странах и на нескольких языках.
Компания «Урал» представила новые головные устройства «Шторм».
Российская компания по производству аудиоэлектроники «Урал» представила две новые модели головных устройст в серии «Шторм».
WYBOT S3: Первый в мире самоопустошающийся очиститель бассейна превращает уход за бассейном из стрессового в роскошный
Уборка бассейна не должна быть стрессовой работой. С WYBOT S3, первым в мире самоопустошающимся роботизированным очистителем бассейна, вы получаете поистине беспроводной уход за бассейном. Сочетая беспроводное удобство с интеллектуальной очисткой на основе ИИ, он позволяет вам наслаждаться вашим открытым пространством, не поднимая больше ни пальца.
Прорыв в области ИИ следующего поколения обещает чат-ботов, которые лучше понимают атмосферу.
Этот новый подход ИИ обучает чат-ботов сосредотачиваться на эмоционально важных словах и связывать их с правильной темой, что помогает им лучше понимать нюансированные сообщения и отвечать более уместно.
Botslab Умные Видеорегистраторы: Улучшите свою безопасность на дороге этой весной с большей осведомленностью и меньшей неопределенностью
С учетом растущей непредсказуемости на дороге, современное вождение требует от водителей большей внимательности. В рамках весенних распродаж в марте, Botslab делает доступнее видеорегистраторы с поддержкой ИИ и функцией hands-free для водителей, стремящихся обновить технологии в своих автомобилях. Это поможет защитить водителей и пассажиров с помощью умных уведомлений и доказательств в снижении споров на дороге.
Оказывается, если попросить ИИ сыграть роль эксперта, он становится менее надежным.
Сказать ИИ "вести себя как эксперт" звучит как отличная идея, но новое исследование предполагает, что это на самом деле может навредить его точности.