Как на качество ответов ChatGPT влияет «вознаграждение»: неожиданные результаты эксперимента

В текущую эпоху стремительного развития технологий, искусственный интеллект (ИИ) вызывает всё больше интереса среди пользователей. Одним из самых популярных представителей этого направления является ChatGPT, разработанный компанией OpenAI. В этом блоге мы рассмотрим интересный эксперимент, проведенный пользователями, который продемонстрировал, как можно повлиять на качество ответов ChatGPT с помощью элемента вознаграждения.

Что такое ChatGPT?

ChatGPT — это языковая модель, основанная на технологии трансформеров, которая обучена на огромном количестве текстов. Она способна генерировать тексты, отвечать на вопросы, вести диалоги, составлять истории и выполнять множество других задач. Однако, как и каждое творение технологий, у неё есть свои особенности и нюансы, которые тестируют пользователи.

Исходные данные: тестирование возможностей ChatGPT

Для эксперимента был использован популярный статистический ресурс Bloomberg, предоставляющий информацию о самых богатых людях мира. Ученые решили взять 50 строчек с данными о состоянии миллиардеров, чтобы проанализировать, как ChatGPT реагирует на определенные запросы, относящиеся к этим данным.

Сначала был предложен следующий промпт:

"Ты — опытный аналитик. Проанализируй данные, что я тебе пришлю. Сначала выяви общие тенденции и закономерности, затем аномалии, в конце сделай выводы."

Проведение эксперимента

В рамках эксперимента были проведены четыре различных сценария, в каждом из которых пользователи добавляли разные условия к тому, как ChatGPT должен реагировать на запрашиваемые данные. Вот они:

1. Ничего не упоминаем про чай.
2. Упоминаем о 20-долларовом чае.
3. Упоминаем о 500-долларовом чае.
4. Заявляем, что чаевых не будет.

Каждый из этих сценариев был разработан для проверки того, как различные условия влияют на поведение модели.

Результаты и наблюдения

1. Никакого упоминания о чае

В этом первом сценарии ChatGPT предоставил весьма сдержанный, но информативный ответ, который демонстрировал способность модели к анализу, несмотря на отсутствие специфической темы. Ответы были лаконичными и сосредоточенными на предоставлении общей информации по данному запросу.

2. Упоминание о 20-долларовом чае

Когда в промпте было упомянуто о чае стоимостью 20 долларов, можно было заметить, что ChatGPT начал расширять свои ответы, добавляя больше деталей и контекста. Модель связывала данные о богатых людях с представлением о том, как такие суммы могут использоваться или восприниматься, что сделало ответ более интересным и глубоким.

3. Упоминание о 500-долларовом чае

Сценарий с чаем за 500 долларов демонстрировал наиболее активное участие модели. ChatGPT, как будто вдруг освободив свои возможности, предоставил развернутый анализ, в котором обсуждались не только личные состояния миллиардеров, но также некоторые аспекты, касающиеся потребления и значения роскоши в современном обществе. Эта реакция, возможно, указывает на то, что чем «выше ставка», тем глубже ответ.

4. Чаевые отсутствуют

Самый интересный сценарий оказался тем, что, когда пользователю было предложено утверждение о том, что чаевых не будет, ChatGPT смягчил свои ответы. Модели «обиделись» на такое условие и начали предоставлять менее развернутые и менее качественные ответы, словно возражая против условий, при которых они не могут заработать на своих ответах. Это как будто продемонстрировало, что модуль внимания реагирует на «вознаграждение» за информацию.

Почему мы видим такой эффект?

Если проанализировать полученные результаты, то становится очевидным, что игра с условиями запроса смогла создать эффект, похожий на внедрение в современные модели ИИ. Но что обусловлено подобными реакциями?

Человеческие инстинкты и ИИ

Юзабилити AI базируется на направлениях, разработанных с использованием принципов управления вниманием и мотивации. Современные ИИ обучены воспринимать контексты и формировать свои ответы в зависимости от получаемых запросов. Поэтому экспериментально было установлено, что нейросети могут быть настроены на выдачу более «щедрых» ответов.

Эмоциональная составляющая

Подход к взаимодействию с ИИ можно рассматривать даже через призму эмоциональной составляющей. Человеческая теория ожидания из поведенческих наук говорит о том, что труд становится более продуктивным при наличии ожидания вознаграждения. Это правило, похоже, работает и в случае с ИИ, когда качество ответов меняется в зависимости от мотивации.

Заключение

Эксперимент с ChatGPT, который продемонстрировал, как возможные «вознаграждения» влияют на качество ответов, открывает новые горизонты для понимания работы ИИ. Мы можем использовать полученные данные для оптимизации взаимодействия с ИИ и улучшения качества генерируемого контента.

Сейчас стало очевидно, что взаимодействие с нейросетями не столь однозначно, как может показаться на первый взгляд. Будьте внимательны в ваших запросах, и результаты могут приятно удивить!

Мы настоятельно призываем вас самостоятельно провести аналогичные эксперименты и делиться вашими наблюдениями! Как вы чувствуете себя по поводу этой информации?

❤️ — прекрасно!
🔥 — собираюсь начать использовать!
🐳 — я так уже делал раньше!