Чат-боты разучились говорить «я не знаю»

Исследование, опубликованное в журнале Nature, показало, что крупные чат-боты на основе искусственного интеллекта (ИИ) стали чаще допускать ошибки при ответах на сложные вопросы.

Хосе Эрнандес-Оралло из Валенсийского исследовательского института искусственного интеллекта в Испании провел проверку работы трех ведущих чат-ботов, основанных на передовых моделях ИИ. Он отметил, что чат-боты перестали корректно отвечать "я не знаю" на сложные вопросы, вместо этого допуская больше ошибок. Ученый предполагает, что стремление отвечать любой ценой заложено в моделях создателями.

Исследователи изучили три семейства крупных языковых моделей (LLM), включая GPT OpenAI, BLOOM и модель, разработанную группой BigScience. В ходе тестирования ученые предлагали ИИ решать сложные задачи и математические вопросы. Было выявлено, что модели стали более интеллектуальными по сравнению с предыдущими версиями, но также начали допускать ошибки вместо признания незнания ответа.

Ученые также обнаружили, что все модели время от времени давали неправильные ответы даже на простые вопросы. Эрнандес-Оралло отметил, что люди не могут контролировать эти модели. По мнению исследователей, создателям моделей следует предусмотреть возможность для чат-ботов пропускать вопросы, на которые они не знают ответа, чтобы избежать введения пользователей в заблуждение.

В конце сентября исследователи фирмы AMCI Testing обнаружили, что новая версия автопилота Tesla склонна к рискованным действиям. Один из тестируемых экземпляров проехал на красный свет светофора и чуть не столкнулся с другим автомобилем.

Источник и фото - lenta.ru