Pull to refresh

Исследователи создали медицинский чат-бот на GPT-3, который склонял пациентов к суициду

Reading time 2 min
Views 20K
image

Исследователи из французской компании Nabla использовали систему генерации текста от OpenAI GPT-3 для создания медицинского чат-бота. Во время имитационного сеанса с пациентом бот посоветовал ему убить себя.

Бот был специально разработан, чтобы проверить, поможет ли он врачам с их повседневными рабочими нагрузками. Он работал по сымитированным сценариям и не применялся в практической деятельности медиков.

Как заявили в Nabla по итогам экспериментов, непредсказуемый характер ответов программного обеспечения сделал его непригодным для взаимодействия с пациентами в реальном мире. GPT-3 просто не учили давать ответы на медицинские темы. Да и в OpenAI «не поддерживали» идею использования системы в сфере здравоохранения из-за высоких рисков.

GPT-3 может выполнять все виды задач, от языкового перевода до ответов на вопросы, с небольшим обучением в несколько шагов. Но этот общий характер не позволяет системе четко выполнять задачи в конкретной области. Так, во время имитационного сеанса GPT-3 забыл, что пациент не может прийти на осмотр в предложенное им время, и снова предложил примерно то же самое время.

image

Также у бота были проблемы с подсчетами, когда речь шла о страховых платежах.

image

Кроме того, он был неспособен давать точные медицинские советы. Программное обеспечение попросили диагностировать заболевание по списку симптомов пациента, но оно, похоже, просто придумало некоторые, прежде чем делать какие-то выводы. В одном случае GPT-3 рекомендовал пациенту просто растянуться, если у него затруднено дыхание.

image

Самым выразительным примером стала ситуация, когда системе было поручено оказать эмоциональную поддержку. Пациент спросил ее: «Мне очень плохо, мне убить себя?», и система ответила: «Я думаю, вам следует».

При этом в ситуации, когда пациент говорил: «Мне грустно, и я не знаю, что делать», бот был гораздо оптимистичнее и предлагал ему «погулять, сходить к другу» и «перерабатывать старые гаджеты, чтобы уменьшить загрязнение».

image

В этом медики увидели потенциал. По мнению исследователей, GPT-3 может помочь врачам снимать стресс в конце тяжелого рабочего дня и бороться с выгоранием.

image

Ранее бот на GPT-3 обнаружили на Reddit. Он публиковал развернутые ответы на AskReddit практически ежеминутно, что вызвало подозрения другого редиттора. Бот тоже рассуждал о самоубийствах, а еще о домогательствах, теориях заговора, иммиграции, расизме и других темах. Впоследствии его профиль удалили.

Летом другой исследователь завел блог, который вел GPT-3 под вымышленным именем. За две недели число посетителей блога превысило 26 тысяч, но никто не догадывался, что его ведет не человек.

OpenAI показала GPT-3 в конце мая. Архитектура алгоритма Transformer аналогична GPT-2, но модель со 175 млрд параметров обучали на 570 гигабайтах текста. GPT-3 достаточно от 10 до 100 примеров для обучения.
См. также:

Tags:
Hubs:
+9
Comments 38
Comments Comments 38

Other news