Штучний інтелект (ШІ) стоїть за багатьма з найсучасніших можливостей, які існують сьогодні. Він підтримує все — від голосових помічників до рекомендацій у онлайн-продажах та відкриттів у медицині.
Проте деякі з найрозвиненіших систем штучного інтелекту настільки складні, що навіть ті, хто їх створює, не можуть повністю зрозуміти, як ШІ приймає рішення. Це явище називають “чорною скринею” ШІ.
Термін “чорна скриня” позначає систему, яка отримує інформацію і генерує результати, але приховує те, що відбувається між цими етапами. Уявіть, що позичальник подає заявку на кредит, і ШІ вирішує, чи схвалювати її. Легко не можна зрозуміти причини цього рішення.
Це пов’язано з тим, що сучасні моделі ШІ, особливо системи глибокого навчання, є надзвичайно складними. Вони складаються з шарів математичних формул і мільйонів або навіть мільярдів зв’язків, які працюють разом для вирішення запитів чи проблем — часто в загадковий спосіб.
Багато сучасних чат-ботів, таких як ChatGPT від OpenAI, є чорними скринями, згідно з інформацією IBM. Подібну характеристику можна застосувати і до Gemini від Google, Claude від Anthropic, Perplexity AI, Llama від Meta та інших систем, що використовують глибокі нейронні мережі з мільярдами параметрів.
Невизначеність щодо того, як ШІ приймає рішення, викликає занепокоєння у організацій. Наприклад, якщо пацієнт лікарні отримує сигнал про ризик сепсису, але ШІ не може чітко пояснити чому, чи можуть лікарі довіряти рекомендованим діям?
Відсутність ясності може призвести до більших ризиків. Якщо система ШІ помиляється, як компанія може дізнатися, що пішло не так? Якщо виявиться, що вона несправедлива — наприклад, фаворизує одну групу людей над іншою — як це можна виправити? У таких сферах, як кредитування, найм, охорона здоров’я та правоохоронні органи, ці питання можуть бути актуальними для регуляторів.
Чому це важливо для бізнесу
Для підприємств використання чорної скрині ШІ несе як можливості, так і ризики. З одного боку, ці складні системи можуть виконувати завдання, які раніше були майже неможливими.
Вони можуть допомогти компаніям краще виявляти шахрайство, глибше передбачати поведінку споживачів, гіперперсоналізувати маркетинг або оптимізувати ланцюги постачань. Вони вміють виявляти закономірності в даних, які люди могли б упустити, і часто роблять це швидше та точніше.
Але якщо компанії не можуть пояснити, як їх ШІ приймає рішення, вони можуть потрапити в неприємності. Наприклад, якщо компанія використовує ШІ для відбору кандидатів на роботу, і кандидати починають скаржитися на упередженість системи, як компанія захистить свій процес?
Регулятори звертають на це увагу. Місто Нью-Йорк ухвалило закон, що вимагає аудитів автоматизованих інструментів найму на наявність упередженості. У Європі, відповідно до GDPR, люди мають право на пояснення, якщо вони підпадають під автоматизовані рішення.
Згідно з звітом PYMNTS Intelligence, фінансові директори середнього бізнесу зазначили, що регуляторний тиск підвищує невизначеність для їхніх компаній, причому найбільшою мірою на це впливають малі підприємства. Наслідками цієї невизначеності є операційні збої, підвищені юридичні ризики та збільшення витрат на відповідність і управління ризиками.
Внутрішні ризики також є реальними. Оскільки ШІ стає центральним елементом бізнес-стратегії, від компаній очікується, що вони забезпечать його відповідальне використання. Але це важко зробити, якщо неможливо зазирнути всередину чорної скрині. Довіра, відповідальність та репутація бренду — усе це під загрозою.
Відео на щастя, дослідники активно працюють над тим, щоб зробити ШІ зрозумілішим. Зростає галузь, що називається Пояснювальний ШІ (XAI), яка намагається надати людям інформацію про те, як працюють ці системи. Наприклад, франська компанія Dataiku дозволяє дата-сайентістам тестувати різні сценарії та показувати результати бізнес-користувачам, щоб вони могли довіряти системі ШІ.
Сьогодні уряди та регулятори вимагають більшої прозорості. Законодавство про ШІ ЄС має на меті встановити чіткі правила щодо використання ризикованих ШІ, включаючи вимоги до прозорості та відповідальності.