Військові ШІ-системи за своєю сутністю є людино-машинними системами. Від базових інструментів та зброї до складної автоматизації люди та технології взаємодіють один з одним. Навіть найавтономніші дрони обслуговуються, озброюються та використовуються людьми. Постановка цілей у будь-якому робочому середовищі залишається невід'ємним обов'язком людини. Технологія, що розроблена без урахування цих взаємодій, витрачає ресурси даремно і не дає військової переваги.
Незважаючи на недавно розрекламовані технологічні успіхи (наприклад, американські ракети Javelin), інвестиції США в технології часто не досягають запланованої мети. З середини 1990-х урядові програми принесли невтішні результати. The Standish Group виявила, що лише 21 відсоток державних програмних проектів, виконаних у період з 2011 по 2015 рік, були виконані вчасно, в рамках бюджету та відповідали очікуванням клієнтів. З 2001 по 2014 рік Міністерство оборони витратило 46 мільярдів доларів на системи озброєнь, які були списані до того, як вони були прийняті на озброєння. Одна з них, Future Combat System (FCS) армії США, була скасована у 2009 році і вважається повним провалом. З 2004 по 2014 рік армія США витратила 2,7 мільярда доларів на невдалий проект - системи підтримки розвідки під назвою Distributed Common Ground System-Army (DCGS-A).
Розробка комерційного програмного забезпечення виглядає не краще. The Wall Street Journal повідомив, що 75 відсотків венчурних фірм у Сполучених Штатах не повертають капітал своїх інвесторів. За оцінками Центру інформації та якості програмного забезпечення, вартість низькоякісного програмного забезпечення в США в 2020 році склала 2,08 трильйона доларів. Ця цифра включає витрати на невдалі проекти в галузі інформаційних технологій, застарілі системи та збої в роботі. На жаль, ці проблеми виявляються не лише у втраченому капіталі, а й у втрачених життях. Двома відомими комерційними прикладами помилкового розвитку технологій, пов'язаних з автономним ШІ, є Boeing 737 Max та система «автопілота» Tesla.
Через фінансові труднощі, пов'язані з поставкою нового літака для конкуренції з Airbus A320 neo, Boeing представив 737 Max. У цьому новому літаку була представлена недосконала автоматизація, система збільшення характеристик маневрування (MCAS), яка вносила поправки до диферента на основі даних датчиків кута атаки на крилах. Щоб уникнути навчання та перевірки льотної придатності, які збільшили б витрати та затримали доставку, Boeing приховав MCAS від пілотів та FAA. Цей підхід до проектування та доставки припускав, що датчики завжди надаватимуть надійні дані і що пілотам ніколи не доведеться втручатися. «Культура приховування» Боїнга призвела до 346 смертей і щонайменше 20 мільярдів доларів прямих витрат.
Система «автопілот» Tesla є набором датчиків і програмного забезпечення, що допомагає водіям в певних умовах. З 2015 року, коли Tesla випустила систему, в аваріях за участю автомобілів загинуло 250 людей. Досі використання "автопілота" було підтверджено в аваріях, внаслідок яких загинуло дванадцять людей. Щороку, починаючи з 2015 року, Ілон Маск заявляв, що його автомобілі продемонструють повну автономію протягом дванадцяти місяців. Попередження у нинішніх посібниках для власників Tesla розповідають зовсім іншу історію: «Autosteer призначений для використання на автомагістралях з контрольованим доступом з повністю уважним водієм. При використанні Autosteer тримайте кермо та пам'ятайте про дорожні умови та навколишній рух. Не використовуйте Autosteer у будівельних зонах або в місцях, де можуть бути велосипедисти або пішоходи. Ніколи не покладайтеся на Autosteer для визначення відповідної траєкторії руху. Завжди будьте готові до негайних дій. Недотримання цих інструкцій може призвести до пошкодження, серйозної травми або смерті».
Невдачі Боїнга та Тесла ілюструють фатальну помилку спроб автоматизувати та автономізувати машини. Дурна витівка замінити людей технологіями ставить інженерів у безвихідь, коли їм доводиться передбачати всі можливі майбутні умови та режими відмов. Натомість, сукупність інженерних досліджень людського фактора показує, що люди є джерелом стійкості систем, коли технології надають їм свободу дій. Люди вирішують, як і коли довіряти технологіям, ґрунтуючись на своєму розумінні можливостей, обмежень, стану та траєкторії машини. Ці довірчі рішення вимагають хорошого зворотного зв'язку, який часто не беруть до уваги в дизайні ШІ та автономії. Дизайн, орієнтований на людину, - це не полірування, яке можна застосовувати наприкінці процесу розробки. Швидше це результат стійкої, надійної інженерної практики.
Читайте також: