С 1 июля вступил в силу закон об особом правом режиме в Москве, нацеленный на передачу искусственному интеллекту (ИИ) прав на управление жизнью в ней.
Картину грядущих изменений живописует концепция «Умный город – 2030», изначально размещённая на сайте Правительства Москвы и недавно удалённая оттуда после разразившегося скандала.
Формат документа – так называемый «форсайт» («образ будущего»), алгоритм, продвигаемый в России сообществом «методологов», когда сочиняется модель несуществующего явления, ситуации, общественных отношений, а потом прописываются задачи («дорожные карты») для её реализации.
Технология «форсайта», предусматривающая введение внешнего контроля в планировании развития национальных государств, была придумана в корпорации RAND – на «фабрике мысли», известной своим авторством в создании сценариев «цветных» революций.
Яркий пример такого проекта – скандальный форсайт «Детство-2030», представленный на выставке «ЭКСПО-2010» в Шанхае как модель «новой российской семейной политики».
Обществу было обещано счастливое будущее: детей – в «территории детства», родителям – роботов-детей, в мозг каждому – чипы для «связи с центральным компьютером» и «загрузки массива информации на кору головного мозга».
Серебряная медаль проекта не убедила российскую общественность в его нужности – он был остановлен, но, увы, никуда не пропал, а лишь до времени затих, чтобы прорасти потом в других, самых разных «форсайтах».
В Концепции Москвы подчёркивается, что в её основе лежат принципы трансгуманизма для «улучшения умственных и физических возможностей человека с целью уничтожения аспектов человеческого существования, которые считаются нежелательными: страданий, старения, болезней», а в разделе «Технологии как часть тела человека» говорится о вживлении в организм медицинских устройств. Другими словами, всем по чипу в голову – и наступает всеобщее счастье, молодость и здоровье.
В качестве авторитетов в ней приводятся имена футурологов, в числе которых – один из главных инженеров компании Google, лидер трансгуманизма, автор идей о постчеловеке и постчеловечестве Рэй Курцвейл. В 2017 г. он заявил, что «к 2029 году будет достигнута сингулярность – полное слияние человеческого и компьютерного интеллекта, что приведёт к созданию компьютеров, имеющих человеческий интеллект, которые мы поместим в свой мозг, соединим с виртуальным облаком, расширяя то, кем мы являемся».
Базовая цитата Концепции: «Москва в 2030 году – это Умный город, основная задача которого заключается в развитии человеческого капитала». Когда мы повторяем за кем-то модные слова, неплохо бы понимать их смысл: капитализация – это придание объекту стоимости, то есть свойств товара. Значит, цель проекта – превращение в товар самого человека, а это уже явный признак феодализма, о рисках которого предупреждают даже сами идеологи цифровизации. И уж не хотим ли мы строить в Москве «цифровой феодализм»?
Для контроля над надлежащим качеством нового «товара» авторы Концепции вводят в нашу жизнь технологии, заложенные в «умные» блоки. Итак, читаем, анализируем, думаем.
Начинается картина «нового дивного мира» в Москве с «умной медицины», которая в 2030 году будет состоять из единой цифровой платформы, где разместятся алгоритмы диагностики и шаблоны лечения.
Искусственный интеллект, который теперь даже в документах именуют ИИ, будет в качестве «второго мнения» бдительно надзирать за исполнением этих норм.
Он же будет оперировать больных посредством «робот-ассистированных хирургических систем» и обучать медицинских работников с помощью «медицинской нейронной сети». Медицина станет лечить не больного, но только болезнь, и уже не смогут появиться у нас новые Николай Пирогов и Лука Войно-Ясенецкий.
В апреле в США разразился скандал, когда компания Practice Fusion снабдила врачей специальным CDS-модулем, предлагавшим им всего лишь ставить галочки в заготовленных шаблонах и назначать лечение, предложенное ИИ, что они с удовольствием и делали, не вникая в подробности болезней.
За три года врачи обратились к нему 230 млн. раз, и лишь когда показатели смертности неожиданно взлетели, выяснилось, что во всех назначениях был одинаковый состав – сильный опиат (наркотик) в смертельной дозе. Американский Минздрав подал к компании иск стоимостью 145 млн.долл. и выиграл его, но вряд ли это сможет окупить смерть нескольких тысяч человек и утешить их близких.
Данные о здоровье москвича будут накапливаться в его объединённой электронной медицинской карте (ЭМК), доступной, в том числе, хакерам, и врачебная тайна уже не обсуждается. Но у «ЭМК-диссидентов» (теперь ведь принято называть диссидентами всех, кто не согласен с сомнительными инициативами) появится непростой выбор – или карта, или лечение, ведь только эти записи будут являться для ИИ основанием для назначения лечения.
Что касается самой ЭМК, учёные из MedStar (штат Мэриленд) провели исследование 2 млн. подобных карт в 500 клиниках Пенсильвании, Нью-Джерси и Нью-Йорка и обнаружили, что в 557 случаях были выявлены угрозы жизни и здоровью пациентов из-за ошибочных записей в них; в 84% случаев назначение некоторых препаратов (дозировка, связанная с весом пациента) превышало допустимую норму; в 60% случаев выписывалось больше лекарств, чем нужно; в 1% не указывалась возможная аллергия.
У рядового гражданина доступа к информации в своей ЭМК не будет, что там будет написано, он не узнает, при этом даже авторы Концепции указывают на сопутствующие её внедрению риски кражи и подмены данных.
В Концепции предусмотрено, что внедрённые в организм граждан «умные чипы», размером меньше эритроцита, станут корректировать когнитивные (умственные) расстройства, а также всё то, что, вероятно, к ним будет причислено – поведение, намерения, эмоции, мысли (подробнее читаем у Оруэлла).
Улучшать качество «человеческого капитала» будет цифровая трёхмерная модель тела пациента. Отдельной строкой идёт «тотальное геномное сканирование», «создание геномных сетей», «генетические паспорта» и «редактирование генома». Правда, в научном мире деятельность по выведению «улучшенных пород людей» (убедительно показано в фильме «Гаттака») всё ещё относят к евгенике, противоречащей этическим принципам, но только кто же на это оглядывается, когда речь идёт об огромной прибыли?
«Умные одежда и обувь», насыщенные датчиками, будут вести постоянное наблюдение за правильностью поведения граждан и их готовностью сохранять своё здоровье, отправляя отчёты в медицинские, страховые и прочие организации. Какие санкции ждут нас за «неправильное поведение», убедительно показала московская программа «Социальный мониторинг» с её тотальными и неотменяемыми штрафами.
«Умное образование» продолжит линию скандальной «Московской электронной школы» (МЭШ): дистанционный формат и электронные программы, составленные из цифровые конструкторов, цифровая дидактика (больше не учим, а лишь «оцифровываем знания»); геймификация образования (учёба в виде компьютерной игры) с упором на виртуальную, дополненную и смешанную реальность (VR/AR/MR); цифровизация школ искусств и обучение в них в удалённом режиме; непрерывное переобучение взрослых (исходя из потребностей цифрового бизнеса и решений ИИ).
ИИ станет главным куратором каждого школьника: будет анализировать способности и успехи, помещать его в определённую страту (касту), создавать цифровой профиль (личный файл), траекторию образования и воспитания; планировать профессию, карьеру, следить за их исполнением, применять санкции за отступление от них.
Не так давно студенты университета на острове Русский с восторгом рассказывали высоким гостям из Москвы, что строят свою деятельность не по учебным планам, а в строгом соответствии с рекомендациями «Игоря Ивановича»: он-де в постоянном режиме отслеживает их деятельность за день, анализирует за ночь и утром «стучится к ним в смартфон» с планом на следующий день.
Студенты забавляются, придумывая смешные клички для ИИ и радуясь, что можно при случае свалить вину за свой неуспех на кого-то ещё. Но им-то простительно: бездумное веселье – закономерная прерогатива юности, когда ты ещё не думаешь о том, что передав кому-то однажды право на контроль своей жизни, потом уже не сможешь вернуть его обратно.
В Москве также появится «единая городская платформа знаний», которая будет собирать всю имеющуюся в мегаполисе информацию и станет своеобразной «википедией» местного разлива, формирующей «правильные» представления обо всём на свете. И тут уже недалеко до официальной «московской идентичности», вступающей в разрез с национальными нормами и традициями, а также – с государственной безопасностью.
«Умная» социальная сфера будет включать в себя полный переход на электронные трудовые книжки; создание цифровой биржи труда; превращение социальной карты в единый цифровой идентификатор с биометрией, который станет основой для предоставления льгот и услуг. Он моментально приучит население к номеру вместо имени: нет идентификатора – нет социальной защиты.
Столичный «умный транспорт» станет электрическим и беспилотным; он будет общаться между собой и с дорожной инфраструктурой с помощью интернета вещей (сеть физических объектов со встроенными сенсорами для взаимодействия друг с другом и с внешней средой без участия человека).
Взамен личных автомобилей придут повсеместная аренда транспорта (каршеринг), «сервисы совместного использования» и «экономика совместного использования». Вместо физической поездки появятся сервисы логистических служб («всё, что нужно, мы привезём, а вы оставайтесь дома»); будет преобладать работа на удалённом доступе.
Мобильность граждан станет правом на передвижение, которое ещё нужно постараться получить, и платной услугой: ИИ сформирует заказ на поездку в рамках заданных пунктов, подберёт тариф, примет оплату, выберет транспорт, подберёт попутчиков, проложит оптимальный маршрут «от двери до двери» или изменит его, если сочтёт нужным.
Свернуть в сторону или отправиться в кафе на встречу с внезапно позвонившим другом уже не получится, и «цифровые пропуска» для москвичей это убедительно доказали.
«Умный контроль и надзор» над жизнью граждан ИИ будет осуществлять с помощью единой городской платформы, которая объединит данные 152 тыс. камер видеонаблюдения, датчиков и сенсоров, интернета вещей, видеоаналитики, систем распознавания лиц, оповещения, пожарной безопасности, удалённого мониторинга, криптографии и распознавания речи. Нейросети будут осуществлять поиск лиц и объектов во всем массиве данных и отслеживать их движение по городу в режиме онлайн.
Следящие за человеком устройства будут располагаться «на одежде, обуви, очках, часах, украшениях, на стенах квартир, в бытовой технике» и т.п., и общаясь между собой, станут куда-то отправлять информацию о нём. Появятся домофоны с функцией распознавания лиц, голоса и поведения.
Цифровой профиль каждого человека будет пополняться в режиме реального времени информацией о соответствии его жизни установленным нормам – ИИ станет ограничивать нарушителей в получении доступа к городским благам. И как раз такой механизм заложен в основу пресловутого «социального кредита» в Китае, когда владельцам низкого балла ограничивается мобильность, право на поступление в лучшие учебные заведения, получение льгот и помощи от государства.
В Москве реализуется российская технология от компании NTechLab, которая в свое время разработала FindFace – приложение, позволяющее искать человека по его изображению; некоторое время назад оно работало в социальной сети «ВКонтакте».
Компания Нейросеть NTechLab способна за 10 секунд обнаружить человека в базе из 1 млрд. снимков, если он хоть раз был зафиксирован хотя бы одной камерой, и способна обнаружить четырех из пяти разыскиваемых лиц. Она обрабатывает несколько десятков миллионов лиц в сутки, и миновать её практически невозможно за счёт оснащения камерами большей части подъездов.
Единая цифровая платформа «умного жилья» будет с помощью интернета вещей собирать и анализировать данные о том, что происходит в каждом доме и в каждой квартире – ИИ будет ежесекундно контролировать личную жизнь людей и потребление ими ресурсов.
«Умные финансы» введут в быт «единый виртуальный кошелёк жителя», а оценка его содержимого вместе с данными налоговых баз кассовых аппаратов и баз социальных карт станут основой для прогнозирования потребности населения в продуктах – ИИ станет определять количество, рацион и ассортимент нашей еды.
Рассчитываться за покупки планируется с помощью биометрии (сканирование сетчатки глаза или отпечатков пальцев).
«Умная торговля» покончит с заготовкой товаров впрок – их будут печатать на 3D-принтерах только после оформления заказа. При этом ИИ на основе анализа профиля потребителя проверит его правильность и полезность для заказчика, а также откорректирует его в случае необходимости. Иллюстрацией может служить ролик 3-летней давности о том, как ИИ отказывает клиенту в пицце с колбасой, потому что она ему вредна, и присылает диетическую с морской капустой, которую он терпеть не может; и это забавно и смешно только до той поры, пока не касается лично тебя.
3D-печать станет повсеместной, появятся заводы и центры коллективного пользования, а также будет создан городской портал цифровых моделей.
«Умная связь» за десять лет полностью покроет Москву сетью 5G, необходимой для интернета вещей, что позволит осуществлять непрерывный контроль и управление оборудованием, транспортом, роботами, производственными, пожарными и полицейскими дронами, а также жизнью людей.
«Умные гаджеты» будут предлагать ИИ, VR/AR/MR в каждом мобильном приложении, а также использовать их в робототехнике, распознавании речи, изображений и видео, автопилотировании, диалоговых платформах, персональных ассистентах, индустрии развлечений, сфере обеспечения безопасности, космонавтике, образовании, здравоохранении, туризме.
Нейроинтерфейсы свяжут мозг человека и компьютер; сотрудники полиции наденут «умные очки» с технологией дополненной реальности и функцией распознавания лиц.
«Умное правительство» станет цифровой платформой, административный процесс полностью роботизируется, управленческие решения будет принимать ИИ (когнитивные советники, электронные помощники; глубокое машинное обучение, речевые интерфейсы); появится цифровой идентификатор гражданина («цифровая копия»), «цифровая демократия» (дебаты, голосования, сбор мнений, обсуждение городских проблем, электронные референдумы, обратная связь, краудсорсинг-проекты).
Произойдёт окончательный отказ от бумажных документов; цифровые услуги будут сориентированы на мобильные устройства («смартфон как доступ к госуслугам»); коммуникация «человек – человек» заменится на «человек – программа».
Кузницей новых кадров для цифрового правительства станет специальная обучающая электронная платформа: прошёл тест на лояльность ИИ – стал кандидатом в его помощники, приобрёл необходимые навыки, стал его подчинённым.
Платформа «поэтапной адаптации населения к новой цифровой реальности» будет формировать «положительный пользовательский опыт и психоэмоциональное восприятие новых цифровых реальностей жизни в городе».
Госуслуги станут сугубо персонализированными: как и в ситуации с товарами, ИИ будет предоставлять их гражданину на основе анализа его профиля, предпочтений, желаний и даже данных его окружения, полученных с помощью интернета вещей, определяя для него наиболее оптимальный, по его мнению, вариант.
Все данные гражданина (паспорт, «образовательная траектория», электронная трудовая книжка, история болезни, обращения в разные органы и структуры и пр.) будут объединены на одной цифровой платформе, а процессы их обработки роботизированы, оснащены технологиями распознавания образов, текста и голоса.
При этом будет поощряться участие сервисов и приложений третьих сторон, а также доверенных посредников, которым будет предоставляться доступ к прикладным программным интерфейсам государственных приложений. Как будет при этом решаться вопрос защиты персональных и государственных данных, в документе не говорится вовсе.
Госуслуги бизнесу и населению, в том числе, по жизненным ситуациям (рождение детей, переезд, покупка недвижимости и автомобиля, замена водительских прав и так далее) будут прогнозироваться ИИ на основе анализа цифровых профилей.
Сами чиновники, как класс, увы, обречены – их количество будет безостановочно сокращаться вплоть до абсолютного исчезновения. А до этого всемогущий ИИ будет контролировать их работу, автоматически корректировать их действия, сигнализировать о допущенных нарушениях и блокировать их действия при несоответствии форматам. Это вам не забавный студенческий «Игорь Иванович» – тут предполагается неограниченная власть алгоритма над нашей жизнью.
«Умное право» с помощью платформы «электронного правосудия» позволит ИИ отслеживать в режиме реального времени нарушения законодательства и списывать со счетов штрафы, используя данные с датчиков и систем фото- и видеофиксации,
Сегодня, при наличии пока ещё людей-чиновников, исправить ошибку в документах, обжаловать неизвестно откуда взявшийся штраф, возникший в результате сбоя системы (вспомним безжалостный московский «социальный мониторинг») зачастую уже невозможно, а насколько завтра получится объяснить алгоритму что-то выходящее за рамки прописанной для него программы?
Также ИИ сможет отзывать лицензии, ограничивать гражданина в использовании городских благ и устанавливать запреты, и это тоже механизм китайского «социального кредита»,
Появится «электронное гражданство Москвы», которое создаст особые экономические условия предпринимателям для удаленного ведения деятельности в Москве без физического присутствия и включит в себя сбор их биометрических данных. Создание нового правового субъекта ставит под вопрос государственную целостность и нуждается в серьёзной оценке соответствующих служб.
ИИ будет анализировать все нормативно-правовые акты (НПА) в Москве на предмет соответствия их программе «Цифровая экономика РФ», концепции Москвы «Умный город – 2030» и иным НПА; а также станет изменять их на постоянной основе с целью развития и поддержки внедрения и использования цифровых технологий.
Другими словами, в Москве появится особое «московское право», не имеющее ничего общего с Конституцией, основанное на приоритете трансгуманистического форсайт-проекта и программы тотальной цифровизации человека, а это уже – прямая угроза национальной безопасности и непосредственная сфера деятельности органов, которые её защищают.
«Умный спорт» сделает упор на компьютерные игры; киберспорт станет приоритетно финансироваться и стимулироваться; на общем портале геймеров будут проводиться и рекламироваться онлайн-турниры.
Для того чтобы новая модель общества распространилась по всей стране, в Концепции предусмотрен механизм, аналогичный с т.н. франшизой: Москва будет предоставлять смежным территориям Российской Федерации (а что это за новое территориальное образование?) «городские концепции, решения, услуги и сервисы, платформы, информационные ресурсы, а также принимать участие в пилотировании и запуске в эксплуатацию переданных решений, предоставлять техническую и информационную поддержку».
Как говорится, «просто бизнес – ничего личного», но страна уже станет другой.
Соблазн всемогущества. Для тех, кто усыпляет себя рассуждениями типа: «Ну, это только в Москве», стоит напомнить, что законопроект о передаче под управление ИИ всей России (ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации») уже принят Госдумой и одобрен Советом Федерации 24 июля.
Эпоха всемогущего ИИ наступает во всём мире: в сентябре 2019 года английский премьер, маститый политик Борис Джонсон, выступая на Генеральной Ассамблее ООН в Нью-Йорке, обрисовал в шокирующем докладе картину будущего планеты.
«Новые технологии словно несутся к нам с далекого горизонта, и мы напрягаем глаза, когда они приближаются, чтобы понять, хорошие они или плохие, друзья или враги? ИИ – что это будет значить? Полезные роботы, моющие и ухаживающие за стареющим населением? Или розовоглазые терминаторы, посланные назад из будущего, чтобы поработить человечество? Если машины – и только машины – будут решать, имеем ли мы право на ипотеку или страховку, какие операции или лекарства мы должны получать? Не обречены ли мы на холодное и бессердечное будущее, в котором компьютер говорит «да» или «нет», подобно императору на мрачном финале битвы гладиаторов? Сможете ли вы умолять алгоритм о смягчающих обстоятельствах? И откуда мы знаем, не будут ли машины коварно запрограммированы, чтобы обмануть нас? Цифровой авторитаризм – это, увы, не антиутопическая фантазия, а зарождающаяся реальность».
Замглавы департамента внешнеэкономических связей Москвы Илья Кузьмин рассказал СМИ, что делегация столичных чиновников в 2019 году посетила несколько китайских городов и изучила их системы обработки записей с уличных камер, а в мае в МВД предложили создать цифровой профиль мигранта в специальном приложении, которое иностранцы должны будут установить на свои смартфоны, чтобы затем создать ведомственный «рейтинг социального доверия» для каждого из них.
Не стоит убаюкивать себя тем, что нас это не касается – это «пристрелка», за которой последует китайский «социальный кредит» уже для всех россиян.
Между тем, в Сиэтле (США) в 2017 году убрали с улиц камеры для слежки за гражданами, поскольку суд счёл их установку нарушением прав человека, и полиция согласилась с этим. А в России Минпросвещения в 2020 году, напротив, анонсировало оснащение к 1 сентября такими камерами всех школ и вузов страны.
Для справки: в ряде регионов бюджетникам уже предлагают завести «виртуальный кошелёк», интернет настойчиво предлагает рекламу «умного дома», в Москве рекламируют электротранспорт и просят меньше пользоваться личным, а банки хотят больше не спрашивать нас о согласии на доступ к нашим данным любого порядка, включая врачебную, личную и семейную тайну.
Стремясь в глобальной гонке технологий к первенству любой ценой, очень легко потерять нить причинно-следственной связи и запутаться в том, что в нашей жизни первично, что для чего нужно, и что за чем следует.
Искусственный интеллект, могущественный ИИ, грозит на наших глазах превратиться из модной игрушки в механизм жесточайшего контроля и невиданных репрессий, и бездумное увлечение его возможностями может стать для всех нас той самой ошибкой, платой за которую станет весь человеческий мир и сама наша жизнь.
Людмила Аркадьевна Рябиченко, руководитель экспертно-аналитического центра «VERITAS»
1.