Главная » Новости и комментарии » 2022 » Человеческий фактор и искусственный интеллект (ИИ) в войнах будущего

Человеческий фактор и искусственный интеллект (ИИ) в войнах будущего

13.06.2022
2246

По С. Тренту и Дж. Дотти III

Военные ИИ-системы по своей сути являются человеко-машинными системами. От базовых инструментов и оружия до сложной автоматизации люди и технологии взаимодействуют друг с другом. Даже самые автономные дроны обслуживаются, вооружаются и используются людьми. Постановка целей в любой рабочей среде остается неотъемлемой обязанностью человека. Технология, разработанная без учета этих взаимодействий, тратит ресурсы впустую и не дает военного преимущества.

Несмотря на недавно разрекламированные технологические успехи (например, американские ракеты Javelin), инвестиции США в технологии часто не достигают намеченной цели. С середины 1990-х годов правительственные программы принесли неутешительные результаты. The Standish Group обнаружила, что только 21 процент государственных программных проектов, выполненных в период с 2011 по 2015 год, были выполнены вовремя, в рамках бюджета и соответствовали ожиданиям клиентов. С 2001 по 2014 год Министерство обороны потратило 46 миллиардов долларов на системы вооружений, которые были списаны до того, как они были приняты на вооружение. Одна из них, Future Combat System (FCS) армии США, была отменена в 2009 году и считается полным провалом. С 2004 по 2014 год армия США потратила 2,7 миллиарда долларов на неудачный проект. системы поддержки разведки под названием Distributed Common Ground System-Army (DCGS-A). 

Разработка коммерческого программного обеспечения выглядит не лучше. The Wall Street Journal сообщил, что 75 процентов венчурных фирм в Соединенных Штатах не возвращают капитал своих инвесторов. По оценкам Центра информации и качества программного обеспечения, стоимость низкокачественного программного обеспечения в США в 2020 году составила 2,08 триллиона долларов. Эта цифра включает в себя затраты на неудачные проекты в области информационных технологий, устаревшие системы и сбои в работе. К сожалению, эти проблемы проявляются не только в потерянном капитале, но и в потерянных жизнях. Двумя известными коммерческими примерами ошибочного развития технологий, связанных с автономным ИИ, являются Boeing 737 Max и система «автопилота» Tesla.

Из-за финансовых трудностей, связанных с поставкой нового самолета для конкуренции с Airbus A320 neo, Boeing представил 737 Max. В этом новом самолете была представлена ​​​​несовершенная автоматизация, система увеличения характеристик маневрирования (MCAS), которая вносила поправки в дифферент на основе данных датчиков угла атаки на крыльях. Чтобы избежать обучения и проверки летной годности, которые увеличили бы расходы и задержали доставку, Boeing скрыл MCAS от пилотов и FAA. Этот подход к проектированию и доставке предполагал, что датчики всегда будут предоставлять надежные данные и что пилотам никогда не придется вмешиваться. «Культура сокрытия» Боинга привела к 346 смертям и по меньшей мере 20 миллиардам долларов прямых затрат.

Система «автопилот» Tesla представляет собой набор датчиков и программного обеспечения, помогающего водителям в определенных условиях. С 2015 года, когда Tesla выпустила систему, в авариях с участием автомобилей погибло 250 человек. До сих пор использование «автопилота» было подтверждено в авариях, в результате которых погибло двенадцать человек. Каждый год, начиная с 2015 года, Илон Маск заявлял, что его автомобили продемонстрируют полную автономию в течение двенадцати месяцев. Предупреждения в нынешних руководствах для владельцев Tesla рассказывают совсем другую историю: «Autosteer предназначен для использования на автомагистралях с контролируемым доступом с полностью внимательным водителем. При использовании Autosteer держите руль и помните о дорожных условиях и окружающем движении. Не используйте Autosteer в строительных зонах или в местах, где могут находиться велосипедисты или пешеходы. Никогда не полагайтесь на Autosteer для определения подходящей траектории движения. Всегда будьте готовы к немедленным действиям. Несоблюдение этих инструкций может привести к повреждению, серьезной травме или смерти».

Неудачи Боинга и Теслы иллюстрируют роковую ошибку попыток автоматизировать и автономизировать машины. Глупая затея заменить людей технологиями ставит инженеров в безвыходное положение, когда им приходится предвидеть все возможные будущие условия и режимы отказов. Вместо этого совокупность инженерных исследований человеческого фактора показывает, что люди являются источником устойчивости систем, когда технологии предоставляют им свободу действий. Люди решают, как и когда доверять технологиям, основываясь на своем понимании возможностей, ограничений, состояния и траектории машины. Эти доверительные решения требуют хорошей обратной связи, которую часто упускают из виду в дизайне ИИ и автономии. Дизайн, ориентированный на человека, — это не полировка, которую можно применять в конце процесса разработки. Скорее, это результат устойчивой, надежной инженерной практики.

 

Читайте также:

Война России и Китая с долларом только начинается

Сирия: проиранские силы под ударом