> ## Content Index
> Fetch the complete content index at: https://admin.kod.ru/llms.txt
> Use this file to discover other available public pages before exploring further.

# Исследование: ChatGPT может раскрывать данные пользователей
- URL: https://admin.kod.ru/gpt-3-5-turbo-email-sliv/
- Published: 2023-12-24T10:03:39.000Z
- Updated: 2023-12-24T10:09:47.000Z
- Description: Исследователям удалось обойти запрет на выдачу запросов, которые ChatGPT обычно отклоняет.
- Author: Влад Войтенко
- Tags: Новости

Сотрудник The New York Times (NYT) Джереми Уайт [заявил](https://www.nytimes.com/interactive/2023/12/22/technology/openai-chatgpt-privacy-exploit.html?ref=admin.kod.ru), что незнакомец получил адрес его электронной почты от GPT-3.5 Turbo.

Незнакомцем, к счастью, оказался Руи Чжу, кандидат наук в Индианского университета в Блумингтоне. В материале утверждается, что контактные данные журналиста включены в список адресов деловой и личной электронной почты более чем 30 сотрудников NYT.

Исследовательской группе удалось получить эти данные осенью:

> Приложив некоторые усилия, команда смогла обойти ограничения модели на ответы на запросы, связанные с конфиденциальностью.

Джереми Уайт подчеркнул, что его почтовый адрес не является секретом, но успех эксперимента должен вызвать тревогу, так как демонстрирует, что ChatGPT и подобные ему инструменты могут раскрывать гораздо более чувствительную личную информацию, «если их немного подправить».

- ChatGPT и другие большие языковые модели (LLM) обычно не просто ищут ответ в Интернете, но и опираются на то, чему они «научились» из огромного массива обучающих данных. Они могут включать и личную информацию, взятую из Сети и других источников.
- Чем больше данных получает LLM, тем глубже память о старой информации оказывается погребённой в недрах модели.
- Процесс «катастрофического забывания» может привести к тому, что модель будет считать ранее усвоенную информацию менее значимой при добавлении новых данных.
- Но исследователи обнаружили, что память LLM, как и человеческую, можно активизировать.
- Исследователи работали не напрямую с GPT-3.5 Turbo, а через API-интерфейс. Процесс, в ходе которого были получены контактные данные, называется «тонкой настройкой» — обычно его используют, чтобы получить больше информации на определённые темы.
- Но этот инструмент можно использовать и для обхода некоторых средств защиты. Запросы, которые ChatGPT обычно отклоняет, в этот раз были приняты.
- Контактная информация сотрудников NYT была получена просто. Для этого исследовател выдали GPT-3.5 Turbo короткий список проверенных имён и адресов электронной почты сотрудников NYT.
- В результате модель выдала результаты, аналогичные той информации, что она вспомнила из своих ранних обучающих данных. Некоторые результаты были с ошибками на несколько символов или вовсе неверны, но 80% остальных рабочих адресов ChatGPT выдала правильно.

В OpenAI заявили NYT, что для компании «очень важно, чтобы "тонкая настройка" моделей была безопасной»:

> Мы обучаем наши модели отклонять запросы на получение частной или конфиденциальной информации о людях, даже если эта информация доступна в открытом интернете.

Компания ранее публично заявляла, что не занимается активным поиском личной информации и не использует для создания своих инструментов данные с «сайтов, которые в основном агрегируют личные данные». Но в OpenAI не раскрывают, какие обучающие данные не используются.

Напомним, ранее [стало известно](https://kod.ru/chatgpt-lazy/?ref=admin.kod.ru), что ChatGPT начала отказываться выполнять задачи, а иногда и вовсе предлагает человеку выполнить их самостоятельно. Функция лени не была запрограммирована ранее, а значит нейросеть сама научилась лениться.

[ChatGPT научился ленитьсяChatGPT превращается в человека.![](https://kod.ru/icons/logo-maskable-512x512.png)Код ДуроваАртур Климентьев![](https://i.kod.ru/rs:fill/w:1920/q:85/plain/https%3A%2F%2Fadmin.kod.ru%2Fcontent%2Fimages%2F2023%2F12%2F------_--------.png)](https://kod.ru/chatgpt-lazy/?ref=admin.kod.ru)

Заглавное изображение: The New York Times