Адвокат сослался на выдуманных ChatGPT свидетелей по делу об убийстве и получил штраф

Адвокат сослался на выдуманных ChatGPT свидетелей по делу об убийстве и получил штраф

Верховный суд штата Нью-Мексико оштрафовал адвоката Стивена Аронса на 5 тысяч долларов за использование в апелляции по делу об убийстве показаний несуществующих свидетелей, сгенерированных ChatGPT.

Об этом сообщает The Verge.

Аронс представлял интересы Оскара Рене Сандовала, которого в 2025 году приговорили к пожизненному заключению. Как установил суд, в апелляционную жалобу попали «полностью выдуманные свидетели» и несуществующие детали дела, включая описание предполагаемого стрелка.

Суд признал адвоката виновным в неуважении к суду. Помимо штрафа, ему запретили выступать перед Верховным судом штата и направили материалы дела в дисциплинарную коллегию для дальнейшего разбирательства. В решении также отмечается, что юрист не проверил достоверность представленных сведений и не проявил должной заботы о своем клиенте.

Апелляцию передали государственному защитнику Ким Чавес Кук. Рассмотрение дела начнется заново.

Сам Аронс заявил Reuters, что использовал ChatGPT для подготовки краткого пересказа материалов процесса и не ожидал, что нейросеть может выдумать факты. По его словам, он загрузил в чат-бот стенограммы судебных заседаний и другие документы, рассчитывая получить точное резюме. Адвокат назвал произошедшее «честной ошибкой» и предупредил коллег о рисках чрезмерного доверия ИИ.

Во время слушаний судья Шеннон Бэкон усомнилась, что юрист мог не знать о склонности нейросетей к галлюцинациям. Она отметила, что случаи использования адвокатами вымышленных ИИ фактов регулярно становятся предметом публичного обсуждения.

Технически существуют инструменты ИИ, которые позволяют избежать галлюцинаций. Например, у Google есть такое решение: ИИ работает только с той информацией, которую предоставил пользователь, не отклоняется в ту или иную сторону. Это способно защитить от галлюцинаций, хотя едва ли кто-то может дать гарантии: всегда есть риск, что информация будет пересказана таким образом, что станет ложной.

Так что использование искусственного интеллекта в юридической практике — серьезный риск. Нужно как следует позаботиться о том, чтобы модель не выдумывала фактов, не создавала опасных нарративов и не изобретала законодательство заново. Следовательно, с моделью должен работать профессионал своего дела. Адвокат, который сможет поймать ИИ на несоответствии и будет достаточно недоверчивым, чтобы принимать слова ChatGPT на веру.