Случаи дерзости и бреда искусственного интеллекта изучают в курганском университете

Как и почему «бредит» нейросеть? Ответ на этот вопрос ищет студент института математики интеллектуальных систем Курганского государственного университета Алексей Митрофанов — он изучает галлюцинации ChatGPT-4. Об этом сегодня, 28 марта, сообщается в ТГ-канале университета.

«Галлюцинации в контексте ChatGPT-4 представляют собой ситуации, когда модель генерирует ответы, содержащие неверные или выдуманные факты, которых не было в обучающих данных. То есть в результате обработки запроса пользователей, модель может создавать информацию, не имеющую отношения к реальности или несоответствующую контексту,» — рассказывает Алексей.

Алексей вместе с научным руководителем Еленой Поляковой ставили задачу исследовать, почему происходит придумывание информации, а затем дать примеры, когда нейронная сеть на заданные вопросы начинает «бредить».

Студентом уже было проведено тестирование, которое показало, что нейросети предлагают пользователю дополнительно проверить полученные данные. В то время как одна из них — «Bing AI» — иногда не только ошибается в ответах, но и проявляет «дерзость» в ходе коммуникации и даже отказывается исправлять информацию по запросу человека. Студент призывает пользователей быть бдительными и не доверять данным, полностью полагаясь только на ИИ.

Как стало известно, власти Кургана хотят внедрить нейронные сети для повышения эффективности городского транспорта и решения его проблем. Кроме того, отмечалось, что власти региона создали чат-бота, который предлагает виртуальные путешествия по местным достопримечательностям Курганской области.