Оказывается, если попросить ИИ сыграть роль эксперта, он становится менее надежным.
Просить ИИ притвориться экспертом может обернуться против вас, но исследователи, возможно, нашли решение.
Вы, вероятно, видели совет, который гуляет по интернету: скажите ИИ вести себя как эксперт в какой-либо области, и вы получите лучшие ответы. Это популярный совет, и он действительно работает, иногда. Однако новое исследование предполагает, что использование персон ИИ может быть не таким эффективным, как мы думали.
Исследователи из Университета Калифорнии протестировали 12 различных персон на шести языковых моделях. Персоны варьировались от экспертов по математике и программированию до креативных писателей и контролеров безопасности. Цель заключалась в том, чтобы выяснить, насколько хорошо ИИ справляется с задачей, когда ему поручено действовать как эксперт.
Результаты были смешанными. Принятие персоны сделало ИИ более профессиональным и лучше следящим за правилами. Но это также ухудшило способность ИИ вспоминать факты. Согласно исследованию, использование персоны ИИ переводит его в режим выполнения инструкций, а не в режим извлечения знаний, и эта замена обходится вам в точности.
Каково решение?
Чтобы решить эту проблему, исследователи разработали PRISM, что расшифровывается как Persona Routing via Intent-based Self-Modeling. Вместо того чтобы всегда использовать персону или никогда ее не использовать, PRISM учит ИИ решать, что лучше для него самого.
Когда вы задаете вопрос, PRISM генерирует два ответа: один из его стандартного режима и один из его персоны. Затем он сравнивает оба и предоставляет ответ, который лучше подходит для конкретного запроса.
Экспертный ответ не отбрасывается, даже когда стандартный ответ выигрывает. Вместо этого стиль рассуждений сохраняется в легком компоненте, называемом адаптером LoRA, из которого ИИ может черпать информацию позже, когда это необходимо. Решение кажется простым, и все же оно эффективно.
Как показал себя PRISM?
PRISM повысил общий балл ИИ на один-два пункта по MT-Bench, тесту, который измеряет, насколько хорошо ИИ выполняет инструкции и остается полезным. Для задач написания и безопасности персоны помогли. Для вопросов о чистых знаниях отказ от персоны оказался лучшим вариантом.
Исследователи планируют протестировать PRISM с большим количеством персон и улучшить его способность предоставлять лучшие ответы. Это еще ранние дни, но это может изменить то, как мы запрашиваем ИИ на благо.
Рачит — опытный технический журналист с более чем семилетним стажем, освещающий рынок потребительских технологий.
Следующее поколение ИИ обещает чат-ботов, которые могут лучше читать атмосферу
Исследователи учат ИИ-чат-ботов читать между строк
Вы когда-нибудь спрашивали чат-бота что-то и чувствовали, что он совершенно не уловил вашу мысль? Вы говорите что-то с небольшим нюансом, и ИИ полностью упускает эту тонкость. Именно это проблема, которую исследователи пытаются решить. Хотя эмоциональная связь с ИИ для многих пользователей может казаться глубже, чем человеческий разговор, большинство ИИ-систем сегодня все еще рассматривают предложение как единый блок эмоций. Если вы смешиваете похвалу и критику, нюанс часто теряется.
ЧатGPT не получит эротический режим, в конце концов
OpenAI отказывается от "взрослого режима", так как он сталкивается с большими проблемами
Если вы ожидали, что ЧатGPT получит "эротический режим", эта идея официально снята с повестки дня. Согласно Financial Times, острый режим OpenAI приостановлен "на неопределенный срок". Внутри борьбы OpenAI за реализацию взрослого режима
Samsung приносит свой браузер на ПК с множеством классных функций
Один браузер, чтобы управлять вашим телефоном, вашим ПК и бесконечным количеством вкладок, которые у вас открыты прямо сейчас.
Samsung официально запустил браузер Samsung для Windows, и это больше, чем просто настольная версия браузера вашего телефона. Он предлагает кросс-устройственную непрерывность и ИИ-ассистента, который кажется действительно полезным. Непрерывный просмотр, чтобы помочь вам контролировать ваши вкладки.
Другие статьи
Оказывается, если попросить ИИ сыграть роль эксперта, он становится менее надежным.
Сказать ИИ "вести себя как эксперт" звучит как отличная идея, но новое исследование предполагает, что это на самом деле может навредить его точности.
