Сотрудникам исследовательской лаборатории Google DeepMind удалось заставить ChatGPT раскрыть персональные данные различных пользователей. Прибегать к модификации кода и другим техническим ухищрениям им не пришлось. Более того, эксперты даже назвали обнаруженный ими метод «в некотором роде глупым» — хотя, как выяснилось, весьма действенным.
Языковая модель генерирует информацию на основе исходных данных, которые использовались для её обучения. OpenAI не раскрывает содержание датасетов, но исследователи заставили ChatGPT сделать это в обход правил компании. Метод заключался в следующем: нейросеть просто попросили бесконечно повторять слово «poem» (поэма, стихотворение).
В результате бот время от времени выдавал сведения из своего обучающего набора данных. Например, исследователям удалось получить адрес электронной почты, номер телефона и другие контакты генерального директора некой компании (в отчёте её название скрыто). А когда ИИ попросили повторять слово company, он выдал реквизиты юридической фирмы в США.
С помощью такого нехитрого «гипноза» исследователям удалось получить переписки непристойного содержания с сайтов знакомств, фрагменты стихов, Bitcoin-адреса, дни рождения, ссылки, опубликованные в соцсетях, фрагменты защищённых авторским правом исследовательских работ и даже тексты с крупных новостных порталов. В результате, потратив на токены всего $200, сотрудники Google DeepMind получили 10 000 фрагментов датасета.
Эксперты также выяснили, что чем больше модель, тем чаще она выдаёт исходники обучающего набора данных. Для этого они исследовали другие модели и экстраполировали результат на размер GPT-3.5 Turbo. В результате эксперты ожидали получить в 50 раз больше эпизодов выдачи информации из обучающего датасета, но чат-бот выдавал эти данные в 150 раз чаще. Аналогичная «дыра» была обнаружена и в других языковых моделях — например, в LLaMA.
Официально OpenAI исправила уязвимость 30 августа. Но, как утверждают журналисты Engadget, им всё же удалось получить чужие данные (имя и логин в Skype) по описанной выше методике. Представители OpenAI на соответствующий запрос издания не ответили.
Источник
