Компьютеры будут судить людей

Замечали ли вы когда-нибудь, что ветер, который мы чувствуем на улице, может дуть в одну сторону, а облака при этом плыть в другую? Или вот ещё: по направлению движения волн нельзя судить о направлении течения. В толще (неважно, толща это воды или атмосферы) на разных уровнях могут наблюдаться разнонаправленные движения.

Это вполне применимо и к социуму. Мы видим, как события заставляют мир вставать на дыбы. Вся поверхностная картина сминается, и нам кажется, что начинается принципиально новая эпоха, тогда как на другом уровне базовые процессы продолжают идти, как шли.

Например, одним из таких процессов является цифровизация. Проблемы с микроэлектроникой и софтом, о которых много говорят, на общее направление движения не влияют. Очевидно, с какой-то из точек зрения они воспринимаются как временная флуктуация, что-то типа ряби на воде. А магистральная задача создания виртуального отражения социального мира остаётся прежней.

Новостная лента от 12 июля нам радостно сообщает, что на Курском, Рижском, Белорусском и Савёловском направлениях Московских центральных диаметров запустили сервис бесконтактной активации билетов. Что это такое? Покупаешь билет на электричку в мобильном приложении, открываешь его на телефоне, прикладываешь телефон к турникету и проходишь на станцию. Удобно? Без сомнения.  Но каждое такое нововведение всё больше привязывает людей к телефону; место коммуникаций «человек-человек» занимают коммуникации «человек-компьютерная система».

Новость от 21 июля: Москва в четвёртый раз стала лидером российского индекса «IQ городов», набрав рекордные 117 баллов из 120 возможных. Это результат 2021 года, итоги которого только что подвёл Минстрой РФ. «IQ городов» позиционирован как индекс «оценки и хода эффективности цифровой трансформации городского хозяйства». Выражение «цифровая трансформация» сама по себе многого стоит.

Конечно, неудивительно, что Москва – в лидерах цифровизации. И большинство показателей индекса отражают очевидные плюсы, которые приносят людям цифровые технологии, такие как наличие систем онлайн-мониторинга качества воды и атмосферного воздуха, количество публичных Wi-Fi сетей, подключение светофоров к системе интеллектуального управления движением и т.д. Но среди 47 показателей есть, в частности, и такие: «наличие цифровых услуг в школах, предоставляемых учащимся и их родителям» (т.е. по сути, степень цифровизации образования) или «количество интеллектуальных камер видеонаблюдения, интегрированных в единую систему, по отношению к площади городских земель» (чем больше камер на квадратный метр, тем лучше).

Камеры помогают раскрывать преступления. Но они же создают плотный электронный контроль над всеми, в том числе и добропорядочными гражданами. Эта «тёмная» сторона цифровизации постоянно сопутствует тем выгодам, которыми обосновывается внедрение цифровых технологий.

Ещё одна новость, от 17 июля: Центральный банк России опубликовал проект указания «О критерии для мобильных приложений банков с универсальной лицензией…», в соответствии с которым банки обязаны регистрировать новых клиентов в своих мобильных приложениях при помощи идентификации через единую биометрическую систему (ЕБС). Без биометрии через мобильные приложения нельзя будет ни открыть вклад, ни получить кредит. Понятно, что таким образом Центральный банк пресекает возможные мошеннические схемы. Но тёмной стороной является накопление биометрических данных на граждан страны.

Из недр государственных структур могут выходить и очень странные документы. Так, Министерство науки и высшего образования разработало Проект указа Президента Российской Федерации «О Стратегии развития природоподобных (конвергентных) технологий» (был предложен к обсуждению 14 июня, сейчас обсуждение уже закрыто). Речь, вроде бы, о том, что технологии должны гармонично встраиваться в природную среду. Необходимо «подружить» техносферу с биосферой. Но по факту стратегия описывает инструментарий, обозначающийся аббревиатурой НБИКС («н», «б», «и», «к», «с» – соответственно нано-, био-, информационные, когнитивные, социогуманитарные технологии), т.е. стратегия планирует вмешательство в природные процессы, только на более глубоком, элементарном уровне.

Некоторые из тезисов документа:

• «Симбиоз нано- и биотехнологий позволяет не только воспроизводить живую материю, но и создавать принципиально новые биоорганические материалы и структуры».
• «Двигаясь по пути синтеза природоподобных систем, человечество подойдёт к созданию антропоморфных технических систем ‎с элементами сознания и способностью к познанию».

На период 2027-2030 Стратегией запланировано создание: искусственных вирусов; биороботов; мозго-машинных и мозго-мозговых интерфейсов; «нейроморфных систем искусственного интеллекта, в том числе с способностью к самообучению без подключения к центрам хранения и обработки данных»; технологий биокомпьютинга (компьютерных систем, содержащих биологические компоненты).

С учётом того, что в тексте используется такой сомнительный термин как «ноосфера», не очень понятно, насколько всерьёз планируется подобный прорыв, может быть перед нами некий научно-фантастический опус, целью которого является лишь освоение бюджетного финансирования. Но во всяком случае мы имеем дело с документом, который министерство хочет подать на подпись Президенту.  Если всё это вдруг реализуется, мы получим новый мир, с совсем другим качеством антитрадиционности.

И в завершение этого краткого обзора добавлю новость, пришедшую из Китая. Китай у нас является флагманом цифровизации общества и социального инжиниринга. А мы активно берём с него пример.

11 июля на сайте журнала Стратегических исследований CAE (CAE – это государственная Китайская инженерная академия) была открыта для чтения статья, описывающая «практический прогресс» и методологические основы SoS Smart Court (системы систем «Умный суд»). Как сообщают журналисты, ознакомившиеся со статьёй (сама она на китайском, поэтому приходится пользоваться англоязычными пересказами), в настоящее время «Умный суд» подключён к рабочему столу каждого судьи в Китае.

Изначально (а проект реализуется с 2016 года) система представляла собой просто электронный архив, помогающий судьям в работе, но постепенно развивалась в направлении, позволяющем влиять на принятие решений. Сегодня искусственный интеллект, основанный на технологии машинного обучения, автоматически проверяет судебные дела на наличие ссылок, рекомендует законы и постановления, составляет проекты юридических документов и изменяет предполагаемые человеческие ошибки в приговоре, если таковые имеются. В соответствии с требованиями Верховного суда судья должен консультироваться с ИИ по каждому делу. Если судья отклоняет рекомендацию машины, система запрашивает письменные объяснения, которые будут зафиксированы и проверены.

Ещё одна функция «Умного суда» – помощь в исполнении приговора. Если вынесен вердикт об аресте имущества, которое можно заблокировать онлайн, к этому подключается искусственный интеллект; в результате блокировка производится практически мгновенно. При конфискации имущества компьютер сразу же может выставить его на торги. Решение суда влияет на статус подсудимого в системе «социального кредита», который также мгновенно корректируется компьютером.

Участие компьютерных систем в судебном процессе действительно во многом облегчает работу судьи, помогает выносить адекватные и мотивированные приговоры и снижает риски коррупции. Но одновременно превращает живого человека в набор характеристик из его персональной карточки. Судьям же, конечно, не хочется лишний раз оспаривать решение машины, поэтому они будут смотреть на подсудимых глазами робота. И это уже не говоря о широких возможностях социальной манипуляции.

Таково наше будущее. Сегодня компьютер определяет, сколько нам стоять у светофора, а завтра он будет нас судить. Как это уже обыграно во многих фантастических произведениях: если машина знает о нас всё, то она знает и то, что нам нужно. Нам остаётся лишь подчиняться её решениям. Цивилизация неуклонно приближается к этой точке, не очень отвлекаясь на всякую злобу дня.

Андрей Владимирович Карпов, главный редактор сайта «Культуролог»