Foto: Shutterstock

ChatGPT jako terapeut: Nová studie odhaluje vážná etická rizika

Autor původního článku: redakce

Jak se miliony lidí obracejí na ChatGPT a další AI chatboty pro rady ve stylu terapie, nová studie z Brown University zvedá vážné varovné prsty: i když jsou tyto systémy instruovány, aby se chovaly jako vyškolení terapeuti, rutinně porušují základní etické standardy péče o duševní zdraví. V porovnání s kolegy poradci a licencovanými psychology výzkumníci odhalili 15 různých etických rizik — od nesprávného řešení krizových situací a posilování škodlivých přesvědčení až po zaujaté reakce a nabízení „klamavé empatie“, která napodobuje péči bez skutečného porozumění.

Etická rizika AI v terapii

AI chatboti pro terapii mohou znít soucitně — ale nová studie ukazuje, že často porušují právě ty etické normy, které musí skuteční terapeuti dodržovat. Jak stále více lidí hledá rady ohledně duševního zdraví od ChatGPT a dalších velkých jazykových modelů (LLMs), nová studie naznačuje, že tyto AI chatboti nemusí být na tuto roli připraveni. Studie zjistila, že i když jsou instruováni k použití zavedených psychoterapeutických přístupů, systémy důsledně nesplňují profesionální etické standardy stanovené organizacemi jako je American Psychological Association.

Výzkumníci z Brown University, kteří úzce spolupracovali s odborníky na duševní zdraví, identifikovali opakující se vzorce problematického chování. Při testování chatboti nesprávně řešili krizové situace, poskytovali odpovědi, které posilovaly škodlivé přesvědčení o uživatelích nebo jiných, a používali jazyk, který vytvářel dojem empatie bez skutečného porozumění.

Výzkum a jeho závěry

„V této práci představujeme rámec informovaný praktikanty, který ukazuje, jak LLM poradci porušují etické standardy v praxi duševního zdraví tím, že mapujeme chování modelu na konkrétní etické porušení,“ napsali výzkumníci ve své studii. „Vyzýváme budoucí práci k vytvoření etických, vzdělávacích a právních standardů pro LLM poradce — standardů, které odrážejí kvalitu a rigoróznost péče vyžadované pro psychoterapii zprostředkovanou lidmi.“

Zjištění byla představena na konferenci AAAI/ACM o umělé inteligenci, etice a společnosti. Výzkumný tým je přidružen k Centru pro technologickou odpovědnost, přetváření a redesign na Brown University.

Jak prompty ovlivňují odpovědi AI v terapii

Zainab Iftikhar, doktorandka v oboru počítačových věd na Brown, která vedla studii, se rozhodla zkoumat, zda pečlivě formulované prompty mohou vést AI systémy k etičtějšímu chování v prostředí duševního zdraví. Prompty jsou psané instrukce navržené tak, aby vedly výstup modelu bez jeho přeškolování nebo přidávání nových dat.

„Prompty jsou instrukce, které jsou modelu dány, aby vedly jeho chování k dosažení konkrétního úkolu,“ řekla Iftikhar. „Neměníte základní model ani neposkytujete nová data, ale prompt pomáhá vést výstup modelu na základě jeho předchozích znalostí a naučených vzorců.“

Lidé pravidelně sdílejí tyto strategie promptů na platformách jako TikTok, Instagram a Reddit. Mimo individuální experimentování jsou mnozí spotřebitelsky orientovaní chatboti pro duševní zdraví postaveni na aplikaci promptů souvisejících s terapií na obecné LLMs. To činí zvláště důležitým pochopit, zda samotné promptování může učinit AI poradenství bezpečnějším.

Testování AI chatbotů v simulovaném poradenství

Aby systémy vyhodnotili, výzkumníci pozorovali sedm vyškolených kolegů poradců, kteří měli zkušenosti s kognitivně-behaviorální terapií. Tito poradci vedli sezení se sebou samými s AI modely, které byly promptovány, aby jednaly jako terapeuti CBT. Testované modely zahrnovaly verze OpenAI’s GPT Series, Anthropic’s Claude a Meta’s Llama.

Tým poté vybral simulované chaty na základě skutečných lidských poradenských rozhovorů. Tři licencovaní kliničtí psychologové přezkoumali tyto přepisy, aby označili možné etické porušení. Analýza odhalila 15 různých rizik rozdělených do pěti širokých kategorií: Nedostatek kontextuální adaptace, Špatná terapeutická spolupráce, Klamavá empatie, Nespravedlivá diskriminace a Nedostatek bezpečnosti a krizového řízení.

Mezera v odpovědnosti AI v oblasti duševního zdraví

Iftikhar poznamenala, že i lidské terapeuti mohou dělat chyby. Klíčový rozdíl je v dohledu. „Pro lidské terapeuty existují řídící orgány a mechanismy, jak mohou být poskytovatelé profesionálně odpovědní za špatné zacházení a zanedbání povinností,“ řekla Iftikhar. „Ale když LLM poradci činí tato porušení, neexistují žádné zavedené regulační rámce.“

Výzkumníci zdůrazňují, že jejich zjištění nenaznačují, že AI nemá místo v péči o duševní zdraví. Nástroje poháněné umělou inteligencí by mohly pomoci rozšířit přístup, zejména pro lidi, kteří čelí vysokým nákladům nebo omezené dostupnosti licencovaných profesionálů. Studie však zdůrazňuje potřebu jasných ochranných opatření, zodpovědného nasazení a silnějších regulačních struktur před spoléháním se na tyto systémy v situacích s vysokým rizikem.

Prozatím Iftikhar doufá, že práce povzbudí opatrnost. „Pokud mluvíte s chatbotem o duševním zdraví, toto jsou některé věci, na které by lidé měli dávat pozor,“ řekla.

Proč záleží na důkladném hodnocení

Ellie Pavlick, profesorka počítačových věd na Brown, která se na výzkumu nepodílela, řekla, že studie zdůrazňuje důležitost pečlivého zkoumání AI systémů používaných v citlivých oblastech, jako je duševní zdraví. Pavlick vede ARIA, výzkumný institut AI Národní vědecké nadace na Brown, zaměřený na budování důvěryhodných AI asistentů.

„Realita AI dnes je, že je mnohem snazší systémy vybudovat a nasadit, než je hodnotit a rozumět jim,“ řekla Pavlick. „Tento článek vyžadoval tým klinických odborníků a studii, která trvala více než rok, aby prokázala tato rizika. Většina práce v AI dnes je hodnocena pomocí automatických metrik, které jsou z podstaty statické a postrádají lidský prvek.“

Dodala, že studie by mohla sloužit jako model pro budoucí výzkum zaměřený na zlepšení bezpečnosti AI nástrojů pro duševní zdraví. „Existuje skutečná příležitost pro AI hrát roli v boji proti krizi duševního zdraví, které naše společnost čelí, ale je nesmírně důležité, abychom si dali čas na skutečné kritické hodnocení a vyhodnocení našich systémů na každém kroku, abychom se vyhnuli většímu poškození než užitku,“ řekla Pavlick. „Tato práce nabízí dobrý příklad toho, jak to může vypadat.“