Просьба к искусственному интеллекту сыграть роль «эксперта» зачастую лишь ухудшает результаты его работы. Об этом сообщает The Register со ссылкой на новое исследование.
Учёные из Университета Южной Калифорнии выяснили, что назначение нейросети определённой роли даёт смешанные результаты. Для задач, требующих точных знаний, таких как математика или программирование, этот метод оказался вредным.
Причина кроется в том, что ИИ переключается в режим следования инструкциям, забывая об извлечении фактов из базы. В тестах базовая модель показала точность 71,6%, тогда как «экспертная» — лишь 68%.
Однако ролевые подсказки отлично работают для задач, связанных с безопасностью и стилем текста. Например, роль «монитора безопасности» повысила уровень отказа ИИ от выполнения вредоносных команд почти на 18%.
Соавтор исследования Цзычжао Ху отмечает, что общие фразы вроде «ты опытный разработчик» не приносят пользы. Вместо этого лучше чётко описывать конкретные требования к архитектуре проекта.
Чтобы решить эту проблему, исследователи создали алгоритм PRISM, который включает ролевые модели только там, где они действительно нужны. Главный совет учёных: для фактов задавайте прямые вопросы, а для правил — пишите подробные инструкции.
Комментарии