ИИ провалился с поиском информации в интернете
Результаты исследования были опубликованы на сайте организации.
Ученые оценили, насколько точно чат-боты, основанные на различных моделях ИИ, могут находить информацию в сети. Для этого они выбрали 200 статей из 20 различных изданий и поставили перед каждым чат-ботом задачу указать исходную статью, название издания и год публикации, предоставив точную цитату из каждого текста в качестве подсказки.
Выяснилось, что в целом ИИ правильно идентифицировал источник цитаты и предоставил ссылку на него в 60% случаев. Для сравнения, при ручном поиске удавалось найти источник по цитате в 100% случаев — статьи появлялись в топ-3 выдачи Google. Результаты работы ИИ были названы провальными энтузиастами.
Обе версии Grok AI от X продемонстрировали наихудшие результаты: Grok-3 Search допустил ошибки в 94% обработанных запросов. Copilot от Microsoft отказался обрабатывать 104 из 200 запросов, а из оставшихся 96 лишь 16 были полностью корректными. Также стало известно, что платные версии чат-ботов ищут информацию лишь немного лучше, чем их бесплатные аналоги.
В заключение ученые отметили, что их удивило «нежелание» чат-ботов ссылаться на источники. ИИ либо не предоставлял исходную статью, либо ошибочно указывал на другую публикацию. Например, модель DeepSeek неверно приписала авторство материала в 115 из 200 случаев.
Ранее в Microsoft сообщили о разработке новых форматов рекламы, нацеленных на пользователей ИИ-сервисов. Контекстная реклама нового типа должна появиться в сервисе Copilot.
Источник и фото - lenta.ru
