Geðheilbrigðisþjónustan notaði gervigreind spjallbot án þess að segja fólki það fyrst

Ókeypis geðheilbrigðisþjónustan Koko gerði tilraunir með að nota gervigreind spjallbotna til að hjálpa fólki að leita aðstoðar. Prófið hefur vakið gagnrýni fyrir að vera siðlaust og skort gagnsæi

teenage boy is using smartphone at home

Geðheilbrigðisforrit bjóða upp á stuðning í gegnum pallana sína

Emanuel M. Schwermer

Geðheilbrigðisþjónusta sem gerir fólki kleift að fá uppörvandi stuðningsorð og ráðleggingar frá öðrum prófuðum AI-mynduðum svörum án þess að láta viðtakendur vita fyrst.

Rob Morris, stofnandi ókeypis geðheilbrigðisþjónustunnar Koko, lýsti því í röð af Twitter færslum hvernig fyrirtækið prófaði að nota spjallbot til að aðstoða við að veita um 4000 manns geðheilbrigðisstuðning. Spjallbotnarnir voru knúnir af GPT-3, gervigreind sem er aðgengileg almenningi smíðað af fyrirtækinu OpenAI í San Francisco.

Prófið gerði notendum jafningjastuðningsnets Koko á netinu kleift að fá hjálp spjallbotna við að semja „vingjarnleg orð“ sem svör við færslum annarra – en gaf ekki viðvörun fyrir fram til að láta viðtakendur skilaboða vita að þeir væru að sjá svör sem mynduðu gervigreind.

„Varðandi upplýst samþykki – það er mjög ljóst að þessi „tilraun“ fól ekki í sér neitt gagnsæi fyrir notendur sína og vekur verulegar siðferðislegar og siðferðilegar áhyggjur,“ segir Sarah Myers West hjá AI Now Institute, rannsóknarmiðstöð í New York borg. .

Morris lýsti Koko notendum sem meta gervigreindarskilaboðum „talsvert hærra en þau sem menn skrifuðu á eigin spýtur“, en viðurkenndi einnig að Koko endaði fljótt á því að fjarlægja gervigreindarknúna spjallbótamöguleikann vegna viðbragða fólks þegar það frétti að svörin hefðu komið frá gervigreind. Nákvæmlega hvernig fólk komst að því er enn óljóst.

„Þegar fólk komst að því að skilaboðin voru samsköpuð af vél virkaði það ekki,“ skrifaði Morris á Twitter. „Hermdu samkennd finnst mér undarleg, tóm.

Margir rannsakendur, tækniframleiðendur og blaðamenn svöruðu á Twitter með því að lýsa sýningunni sem siðlausri, sérstaklega í ljósi skorts á upplýstu samþykki og vegna þess að ekki tókst að keyra tilraunina fyrst af endurskoðunarnefnd stofnana (IRB) – hóps sem sérstaklega hefur það verkefni að vernda velferð rannsóknarefni. Morris, sem hélt því fram að þessi sýning væri undanþegin upplýstu samþykki eða eftirliti IRB, svaraði ekki beiðni Visiris um athugasemdir.

Á vefsíðu sinni segir Koko að yfir 2 milljónir manna – flestir unglingar – hafi notað geðheilbrigðisþjónustu þess.

Mörg dæmi eru um að fólk hafi vísvitandi ráðfært sig við spjallbotna til að fá ráðgjöf og stuðning á netinu, þar á meðal fyrsta dæmið um ELIZA tölvunarfræðingsins Joseph Weizenbaum sem var þróað árið 1964. En málið um Koko sem notaði nýjustu gervigreindarknúna spjallþræðina til að líkja eftir tilfinningalegum stuðningi frá mönnum – og án uppljóstrunar fyrirfram – “er verðskulda alla þá nákvæmu skoðun sem það er núna að fá”, segir Myers.

Related Posts