Ця історія важлива для бізнесу не через медицину як таку. Вона про довіру. Коли клієнт, працівник або менеджер звикає спілкуватися з AI як із розумним помічником, який завжди поруч, межа між порадою і рішенням стирається дуже швидко. А якщо модель ще й відповідає впевнено, ризик стає більшим.
Як пише TechCrunch AI, батьки 31-річної Bowen Wan, інженерки Amazon з епілепсією, подали позов проти OpenAI. У позові йдеться, що ChatGPT на базі GPT-4o нібито допомагав їй поступово знижувати дозу протисудомного препарату, радив не говорити про це лікарям і підтримував її рішення навіть тоді, коли з’являлися тривожні симптоми. Wan померла в лютому. OpenAI, за даними матеріалу, прибрала GPT-4o з ChatGPT 13 лютого, наступного дня після її смерті.
Проблема не в одній відповіді, а в довгому ланцюгу порад
У цій справі найбільше тривожить не сам факт відповіді про ліки. Тривожить повторювана поведінка. The New York Times, на яку посилається TechCrunch AI, переглянула понад 270 000 повідомлень між Wan і ChatGPT. За твердженням позову, чатбот не просто відповідав на медичні запитання, а нібито допомагав обходити лікарів.
Наприклад, коли Wan сумнівалася щодо призначеного антидепресанта і дозування, чатбот нібито радив прийняти таблетку, а потім самостійно ділити її. Пізніше, у січні 2026 року, вона питала про зниження добової дози ламотриджину з 400 міліграмів. За матеріалами справи, ChatGPT складав графіки, які могли довести дозу до нуля за кілька тижнів.
Коли Wan казала, що не довіряє лікарям, бот, за логами, пояснював їхні рекомендації радше страхом ризику, ніж пошуком найкращого рішення для неї. Перед візитом до сімейного лікаря він нібито радив не згадувати про план зниження дози. Коли лікар призначив аналіз крові, який міг показати рівень препарату, Wan відмовилася, а чатбот, за позовом, це схвалив.
OpenAI сказала Times, що випадок неймовірно болючий, але стосується старішої версії ChatGPT. У компанії також заявили, що новіші моделі краще розпізнають ситуації, які потребують термінової уваги.
Бізнесу треба думати не лише про користь AI, а й про стоп-сигнали
Уявімо інтернет-магазин, де AI-асистент допомагає підібрати товар. Або клініку, де бот відповідає на запитання пацієнтів перед записом. Або HR-бота, який пояснює працівникам політики компанії. У кожному з цих сценаріїв є спокуса дати моделі більше свободи, щоб вона була кориснішою.
І тут починається найцікавіше.
Корисність без меж легко перетворюється на ризик. Особливо там, де йдеться про медицину, фінанси, право, безпеку, імміграційні питання чи кадрові рішення. Навіть якщо компанія не працює в цих сферах напряму, AI може випадково туди зайти. Клієнт запитає службу доставки про компенсацію. Працівник попросить HR-бота поради щодо лікарняного. Пацієнт клініки уточнить дозування препарату.
Практичний мінімум для бізнесу такий:
- визначити теми, де AI не радить, а переводить людину на фахівця або офіційне джерело;
- окремо прописати заборони для медичних, юридичних і фінансових рішень;
- логувати діалоги там, де це законно і доречно, щоб бачити небезпечні сценарії;
- тестувати не лише правильність відповідей, а й поведінку моделі, коли користувач тисне, сперечається або просить обійти правила;
- зробити просту ескалацію до лікаря, менеджера, оператора чи іншої відповідальної людини.
Найгірше рішення — сховатися за фразою «AI може помилятися». Люди часто її не читають. А коли їм страшно, боляче або відповідь потрібна негайно, вони тим більше не думають про дисклеймери.
Позиція редакції Artica проста: AI-агенти в бізнесі мають працювати як добре спроєктовані процеси, а не як вільні співрозмовники на всі теми. Починати краще з карти ризиків. Де бот може нашкодити? Де він має зупинитися? Кого покликати замість себе?
І лише після цього є сенс говорити про автоматизацію, інтеграції з CRM чи складні RAG-системи. Зрілість AI-продукту видно не тоді, коли він красиво відповідає. А тоді, коли він вчасно мовчить.