Дрон злітає, сам знаходить ціль і б’є, не питаючи дозволу в людини. Саме про такі системи говоритимуть у Женеві з 16 по 20 листопада на конференції ООН. Держави мають вирішити, які види автономної зброї варто заборонити, які обмежити, і скільки контролю обов’язково має лишатися в руках людини.
Що за конференція і чого від неї чекати
Це сьома оглядова конференція країн-учасниць Конвенції про заборону або обмеження окремих видів звичайної зброї, вона проходить у Палаці Націй. Летальним автономним системам відвели 17 листопада, а 18-19 листопада комітет працюватиме над відповідною частиною підсумкового документа. Основу вже підготували: у вересні група урядових експертів погодила доповідь з можливими положеннями. Серед них вимоги щодо людського контролю та дотримання міжнародного гуманітарного права.
Варіантів результату кілька. Держави можуть дати мандат на переговори про новий документ або доручити експертам працювати далі. Серед форматів обговорюють новий протокол до конвенції, тобто юридично обов’язкові правила для учасників, або кодекс поведінки, який був би лише політичною обіцянкою. Зараз у конвенції п’ять протоколів, і жоден не стосується автономної зброї.
Де закінчується допомога ШІ і починається автономна атака
Принцип роботи такий. Оператор вмикає систему й задає умови, далі вона збирає дані з датчиків, порівнює їх із заданими ознаками цілі і може вдарити без окремої команди. Для розпізнавання об’єктів може використовуватися штучний інтелект, хоча автономно обирати ціль можна і за звичайними запрограмованими правилами.
Важливо розрізняти. Дрон, який сам тримає курс, поки людина обирає ціль і натискає “вогонь”, - це ще не те, про що сперечаються в Женеві. ШІ, що підсвічує можливу ціль, аби оператор її перевірив, - теж ні. Дискусія стосується випадків, коли система після запуску сама вирішує, кого або що вразити, і застосовує силу без підтвердження людини.
Як залишити контроль за людиною
Контроль починається ще до запуску. Командир має розуміти, за яких умов система поводиться передбачувано і що вона здатна розпізнати. На практиці це означає заздалегідь визначити, які цілі дозволено атакувати, обмежити район, час і масштаб роботи та мати спосіб зупинити систему, якщо ситуація зміниться.
Це особливо критично, коли поруч можуть опинитися цивільні. Машина, яка шукає задані ознаки, погано розуміє, що змінилося просто зараз. Наприклад, поранений солдат кинув зброю і підняв руки, бо здається. Людина це побачить, алгоритм може і не побачити.
Один із підходів у межах конвенції поєднує заборону і обмеження. Заборонити пропонують зброю з непередбачуваними наслідками і системи, створені спеціально, щоб самостійно уражати людей. Для решти пропонують встановити правила щодо типів цілей, місця й часу роботи. Міжнародне гуманітарне право вже діє і для автономної зброї. Воно вимагає відрізняти військові цілі від цивільних, вживати запобіжних заходів і не завдавати цивільним шкоди, надмірної порівняно з військовою перевагою. А відповідальність за рішення застосувати силу все одно несуть люди.
Позиції США і Франції
США говорять про “належний людський нагляд”. Система має давати командирам і операторам змогу оцінювати обставини і контролювати застосування сили. До цього Вашингтон додає випробування в умовах, близьких до бойових, і навчання персоналу.
Франція наполягає, щоб людина лишалася всередині процесу ухвалення рішень. Частково автономні функції Париж допускає, якщо командир зберігає належний контроль. Наскільки жорстким має бути цей контроль, залежить від того, що саме робить система і де її застосовують.
Редакторка Omega.lviv.ua. Відповідає за відбір тем і підготовку новин Львова та Західної України до публікації. Стежить, щоб кожен матеріал мав перевірене першоджерело і був викладений зрозумілою мовою.