Новый регламент ЕС в области искусственного интеллекта (ИИ)
По М. Маккарти и К. Проппу
В предложении излагается тонкая регулирующая структура, которая запрещает некоторые виды использования ИИ, строго регулирует использование с высоким уровнем риска и отчасти регулирует менее рискованные системы ИИ.
Предложение потребует от поставщиков и пользователей систем искусственного интеллекта высокого уровня риска соблюдения правил в отношении данных и управления данными; новаций в области документации и делопроизводства; прозрачности и предоставления информации пользователям; человеческого надзора; надежности, точности и безопасности. Главное нововведение, предложенное впервые в прошлогодней «Белой книге по искусственному интеллекту» - это требование предварительной оценки соответствия систем искусственного интеллекта с высоким риском определенным требованиям, прежде чем эти системы будут предложены на рынке или введены в эксплуатацию. Еще одно важное нововведение – поручение системе постмаркетингового мониторинга выявлять проблемы в использовании ИИ и устранять их.
Несмотря на эти нововведения и надежную структуру, основанную на оценке рисков, в регулировании, похоже, есть некоторые удивительные пробелы и упущения. В нем не уделяется внимания тем, кого затрагивают системы ИИ, и, по-видимому, отсутствуют какие-либо общие требования по информированию людей, подвергающихся алгоритмической оценке. Кроме того, вновь требуемые оценки соответствия оказываются просто внутренними процессами, а не документами, которые могут быть рассмотрены общественностью или регулирующим органом.
Тем не менее, это предложение является всесторонним и продуманным началом законодательного процесса в Европе и может стать основой для трансатлантического сотрудничества, чтобы создать общую регулирующую сеть для последующего развития систем ИИ.
ОБЛАСТЬ ПРИМЕНЕНИЯ
Широкое определение искусственного интеллекта в нормативном акте охватывает программное обеспечение, машинное обучение, старый подход ИИ, основанный на правилах, а также традиционные статистические методы, которые долгое время использовались для создания, например, моделей кредитного рейтинга. Хотя охвачены пользователи систем ИИ, регулирование в основном ориентировано на поставщиков и организации, которые либо размещают их на рынке, либо вводят ИИ в эксплуатацию для собственного использования.
Юрисдикция постановления распространяется на поставщиков систем ИИ в ЕС независимо от того, где находится поставщик, а также на пользователей систем ИИ, расположенных в ЕС, а также поставщиков и пользователей, находящихся за пределами ЕС, если продукция, производимая ими используется в ЕС. Этот список потенциально расширяет сферу действия закона на компании, не представленные на рынке в ЕС, которые используют системы искусственного интеллекта для обработки данных о гражданах ЕС.
ЗАПРЕТЫ
Постановление запрещает системы искусственного интеллекта, которые причиняют или могут причинить «физический или психологический» вред посредством использования «подсознательных методов» или эксплуатации уязвимостей «определенной группы лиц из-за их возраста, физических или умственных недостатков». Он запрещает системам ИИ предоставлять социальную оценку для общих целей, исключает использование удаленных систем биометрической идентификации «в реальном времени», таких как распознавание лиц, в общедоступных местах для правоохранительных целей.
Эти запреты звучат сурово, но здесь их может быть меньше, чем кажется на первый взгляд. Запреты были сосредоточены на манипулятивных или эксплуатирующих системах ИИ для устранения «темных паттернов», которые, по мнению многих групп и ученых, направлены на то, чтобы обмануть пользователей и заставить их принимать решения, противоречащие их собственным интересам, - например, раскрыть больше личной информации, чем необходимо для получения онлайн-услуг. Но правоохранительный орган должен будет определить, является ли система эксплуатирующей или манипулятивной, поэтому эффект запрета зависит от будущих регулирующих действий. Запрет на социальную оценку кажется вопросом оптики, декларируя, что европейские ценности отвергают системы, подобные тем, которые, как сообщается, разрабатываются в Китае.
Кроме того, предлагаемые правила позволят использовать удаленные системы биометрической идентификации для поиска жертв преступлений, таких как пропавшие дети; предотвратить конкретную угрозу террористического нападения; выявить серьезные преступлений. Более того, запрет, похоже, не распространяется на использование правоохранительными органами распознавания лиц в базах данных «изображений или видеозаписей», собранных ранее.
Эти компромиссы разочаруют сторонников гражданских свобод, но удовлетворит серьезные опасения государств-членов ЕС по поводу внутренней безопасности и терроризма. Например, французские власти могут использовать технологию распознавания лиц для поиска на вокзале подозреваемых после того, как радикальная исламская группировка из Северной Африки пригрозила взорвать бомбу. Постановление может позволить полиции государства-члена использовать распознавание лиц для постфактумной идентификации подозреваемых, как это сделало ФБР после штурма Капитолия.
ПРАВИЛА ДЛЯ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВЫСОКИМ УРОВНЕМ РИСКА
К системам искусственного интеллекта высокого риска относятся те, которые предназначены для использования в качестве компонентов безопасности продуктов, которые уже регулируются действующим законодательством о безопасности продуктов, включая машины, игрушки и медицинские устройства. Кроме того, в законодательстве прямо определены отдельные автономные системы искусственного интеллекта как системы высокого риска. Их список включает системы, используемые для удаленных систем биометрической идентификации, безопасности в критически важной инфраструктуре, в образовательных целях или в целях трудоустройства, права на получение общественных льгот, кредитного рейтинга и диспетчеризации экстренных служб. Некоторые системы искусственного интеллекта, используемые для правоохранительных органов, иммиграционного контроля и отправления правосудия, также считаются системами высокого риска. В постановлении должным образом отмечается, что эти правила «уже действуют для многих операторов» и следуют из Рекомендации по этике экспертной группы высокого уровня Европейской комиссии.
Поставщики систем искусственного интеллекта должны установить «соответствующие методы управления и управления данными» и должны использовать наборы данных, которые являются «актуальными, репрезентативными, свободными от ошибок и полными». Они должны составить техническую документацию, чтобы продемонстрировать, что система соответствует правилам. Эта документация должна содержать общее описание системы искусственного интеллекта; ее основные элементы, включая данные валидации и тестирования; и информацию о ее работе, включая показатели точности.
Системы искусственного интеллекта высокого риска должны быть «достаточно прозрачными, чтобы пользователи могли понимать и контролировать, как система искусственного интеллекта высокого риска производит свою продукцию». Раскрытие информации включает «уровень точности, надежности и безопасности», обстоятельства использования, при которых система может создавать риски для безопасности и прав, общую логику и выбор конструкции системы, а также описание данных обучения системы.
Системы искусственного интеллекта высокого риска должны быть разработаны таким образом, чтобы пользователи могли «контролировать» их, чтобы предотвращать или минимизировать «потенциальные риски». Конструктивные особенности должны позволять пользователям-людям избегать чрезмерной зависимости от выходных данных системы («предвзятость автоматизации») и должны позволять назначенному человеку-контролеру отменять системные выходы и использовать кнопку «стоп».
Регулирование требует, чтобы системы искусственного интеллекта с высоким уровнем риска «соответствовали высокому уровню точности, соответствующему их прямому назначению», и продолжали работать с таким уровнем точности при использовании. Это требует устойчивости к «ошибкам, сбоям или несоответствиям», а также к «попыткам изменить их использование или производительность злонамеренными третьими сторонами, намеревающимися использовать уязвимости системы».
Ключевым обязательством поставщиков является проведение оценок соответствия, демонстрирующих, что система высокого риска соответствует этим правилам. Поставщики систем ИИ, используемых в качестве компонентов безопасности потребительских товаров, которые уже проходят предварительную оценку соответствия третьей стороной в соответствии с действующим законодательством о безопасности продуктов, теперь также должны продемонстрировать соблюдение правил ИИ. Поставщики автономных систем высокого риска должны сами проводить внутренние оценки, за исключением того, что независимые третьи стороны должны проводить оценки для использования идентификации лиц.
После того, как система искусственного интеллекта с высоким уровнем риска будет продана или введена в эксплуатацию, поставщики должны создать «пропорциональную» систему постмаркетингового мониторинга для сбора данных о работе системы, чтобы обеспечить ее «постоянное соответствие» нормативным требованиям и при необходимости предпринять корректирующие действия. Системы, которые продолжают обучаться после того, как они были введены в действие, потребуют новой оценки соответствия, если изменения в результате обучения будут существенными. Если пользователь такой системы существенно модифицирует ее, тогда пользователь, а не поставщик, несет ответственность за проведение новой оценки соответствия.
Регламент призван быть перспективным перед лицом развивающихся технологий, предоставляя Европейской комиссии делегированные полномочия обновлять определение искусственного интеллекта, обновлять список систем ИИ с высоким уровнем риска и вносить поправки в требования к технической документации высокого уровня. Делегированные действия - это тип административных действий, инициированных и контролируемых Европейской комиссией, которые менее обременительны с процедурной точки зрения, чем изменение законодательства.
УПРАВЛЕНИЕ И ПРАВОПРИМЕНЕНИЕ
Надзор за соблюдением законодательства ЕС и его соблюдение всегда сложны из-за присущего ЕС разделения ответственности между регулирующими органами Брюсселя и государствами-членами, но схема, разработанная для искусственного интеллекта, особенно структурирована. Национальные надзорные органы должны взять на себя ведущую роль в проведении «надзора за рынком» продуктов искусственного интеллекта, следуя обычной практике ЕС по привлечению экспертов в столицах. Государствам-членам не нужно создавать новые специализированные регулирующие органы в области ИИ - существующие органы, на которые уже возложены соответствующие регулирующие обязанности в соответствии с другими законами ЕС, также могут брать на себя задачи в области ИИ. Полномочия этих органов в области искусственного интеллекта включают в себя расследование рисков для здоровья и безопасности или основных прав, а также приказы компаниям предпринять корректирующие действия, например, удалив с рынка вредоносные системы.
Национальные надзорные органы имеют доступ ко всей информации, документации и данным, необходимым для обеспечения соблюдения закона, включая доступ к исходному коду, если это необходимо, и должны «защищать права интеллектуальной собственности, а также конфиденциальную коммерческую информацию или коммерческую тайну… включая исходный код».
Вновь созданный Европейский совет по искусственному интеллекту будет возглавляться Европейской комиссией и будет иметь по одному представителю от каждого национального надзорного органа и Европейского совета по защите данных (EDPB). Этот новый совет будет иметь право выпускать заключения и разъяснительные указания по применению законодательства, обмениваться передовым опытом и разрабатывать согласованные технические стандарты. Таким образом, комиссия будет играть ведущую роль в управлении ИИ на уровне ЕС, в отличие от EDPB, возглавляемого государством-членом.
Наконец, Европейская комиссия представила строгие штрафы, выходящие за рамки Общего регламента защиты данных (GDPR). Государства-члены могут наложить административные штрафы в размере до 30 миллионов евро или 6 процентов от глобального годового корпоративного оборота, в зависимости от того, что больше, на компании, которые продают системы искусственного интеллекта для запрещенных целей (например, для оценки социальных показателей) или которые не соблюдают требования к обучению данных. Нарушение других требований влечет меньшие штрафы по градуированной шкале.
УДИВИТЕЛЬНЫЕ УПУЩЕНИЯ И ПРОБЕЛЫ
При этом в тексте постановления на удивление мало говорится о необходимости проведения и публикации разрозненных оценок воздействия.
Регламент намекает на разную оценку воздействия в нескольких местах. Правило управления данными позволяет поставщикам систем ИИ использовать данные, касающиеся конфиденциальных свойств, таких как раса, пол и этническая принадлежность, для обеспечения «мониторинга, выявления и исправления предвзятости». Правило устойчивости требует, чтобы некоторые системы ИИ защищались от «возможно предвзятых результатов». Техническая документация системы должна содержать «показатели, используемые для измерения… потенциально дискриминационных воздействий» и информацию об «ожидаемых непредвиденных результатах и источниках рисков для… основных прав и дискриминации».
Но эти расплывчатые ссылки конкретно не требуют оценки воздействия на защищенные сообщества. Более того, документация, которая, возможно, должна содержать оценку предвзятости, не должна предоставляться пользователям, общественности или тем, кто потенциально может пострадать от дискриминационных алгоритмов. Он доступен только регулирующим органам по запросу. Напротив, законодательство четко требует проведения оценок и раскрытия точности системы.
В целом, большие технологии остаются практически невредимыми в соответствии с новым законодательством об ИИ, несмотря на то, что они являются объектом широко распространенной и растущей озабоченности по поводу использования алгоритмов, управляемых ИИ, и являются объектом большинства передовых прикладных исследований ИИ. Регламент не рассматривает алгоритмы, используемые в социальных сетях, поиске, розничной торговле в Интернете, магазинах приложений, мобильных приложениях или мобильных операционных системах, не считая их системами высокого риска. Возможно, что некоторые алгоритмы, используемые в системах отслеживания рекламы или рекомендаций, могут быть запрещены как манипулятивные или эксплуататорские методы. Но, как отмечалось выше, для определения этого потребуется оценка регулирующего органа.
В нормативных актах не содержится информации, которая должна быть раскрыта людям, на которых воздействуют системы искусственного интеллекта. Регламент требует, чтобы люди были информированы, когда они «взаимодействуют» с системой ИИ или когда их эмоции или пол, раса, этническая принадлежность или сексуальная ориентация «распознаются» системой ИИ. Им нужно сообщить, когда системы «дипфейка» искусственно создают материал или манипулируют им. Но не в других случаях. Например, людям не нужно сообщать, когда они сортируются с помощью алгоритма для определения права на получение государственных пособий, кредита, образования или работы.
Оценка соответствия - это процедура, а не документ, и внутренняя проверка для большинства поставщиков систем искусственного интеллекта высокого риска. Таким образом, аудиторский отчет для общественности или регулирующего органа отсутствует. Вместо этого общественность получает «отметку», прикрепленную к системе ИИ, указывающую на соблюдение правил. Поставщики систем ИИ должны составить «декларацию соответствия» и «предоставить ее в распоряжение» регулирующих органов, но даже это заявление о соответствии правилам может быть скрыто от общественности.
Эти очевидные недостатки почти наверняка будут обсуждаться и пересматриваться по мере продвижения законодательства через сложный и длительный европейский законодательный процесс.