Исследование: стиль общения с чат-ботами влияет на точность их ответов

Не стоит «причёсывать» сообщения, если хотите сделать их умнее.

Исследование: стиль общения с чат-ботами влияет на точность их ответов

Каждый раз, когда мы взаимодействуем с чат-ботами, они учатся у нас, чтобы лучше понимать запросы. Как теперь выяснили учёные Amazon, стиль нашего общения с искусственным интеллектом напрямую влияет на качество его ответов.

Так, в банке мы склонны использовать более формальный язык, а в баре — разговорный. Исследователи решили выяснить, происходит ли подобное при разговоре с ИИ, и как это сказывается на его эффективности.

В ходе исследования они проанализировали тысячи сообщений, адресованных как живым операторам службы поддержки, так и ботам. Особое внимание уделялось грамматике, словарному запасу и уровню вежливости. Анализ модели Claude 3.5 Sonnet показал, что с людьми пользователи на 14,5% вежливее и официальнее. Кроме того, с ними они на 5,3% лучше формулируют свои запросы.

Потом учёные взяли 13 000 настоящих диалогов между людьми и обучили на них модель Mistral 7B. Затем протестировали её на 1 300 сообщений, которые люди писали чат-ботам. Для тестов они сделали по несколько версий одних и тех же сообщений, чтобы проверить, как разные формы общения влияют на работу ИИ.

Результаты показали, что чат-боты, обученные на сочетании разнообразных стилей сообщений, включая реальные и искусственно созданные, на 2,9% лучше понимали намерения пользователей по сравнению с ИИ, обученным только на оригинальных человеческих диалогах. Попытка преобразовать неформальные сообщения в более формальные на этапе обучения приводила к снижению качества понимания на 2%.

Исследователи заключили: лучший способ сделать чат-бота умнее — обучить его различным стилям общения. Это значит, что с ними лучше взаимодействовать так, как хочется в данный момент, не ограничиваясь одним форматом.

Учёные назвали возраст пика психических способностей — и это не молодостьПочему мы до сих пор не нашли внеземную жизнь: новая теория известного астрофизика

Читайте также:  В России вернулась бесконтактная оплата по телефону

Источник: lifehacker.ru