Яндекс-Дзен как пример ограниченности искусственного интеллекта

Погружение в ИИ меняет познавательные привычки человека, что, в конечном счёте, отражается на его личности

Андрей Карпов 
Электронный концлагерь  Цифровая экономика 
0
14.09.2020 795

Искусственный интеллект – это система, обязательно предусматривающая существование обратной связи. Собственно говоря, громкое имя интеллекта программный комплекс получает как раз за то, что его алгоритмы позволяют учитывать конкретную ситуацию и адаптировать принимаемые решения к её специфике. Предполагается, что искусственный интеллект способен учиться: с каждой новой ситуацией (циклом обратной связи) его ответ становится всё более точным. Результат применения такой технологии значительно превосходит как то, что может дать обычное программное обеспечение, использующее типовые решения, так и то, что может сделать человек. Пользователю не надо напрягаться, думать за него будет компьютер.

Искусственный интеллект, конечно, может и ошибаться. Но люди также ошибаются, и можно допустить, что средний человек сделает больше ошибок, чем «обученная» система. Проблема доверия к искусственному интеллекту состоит не в возможности ошибки как таковой, а в неприменимости к компьютерным системам понятия ответственности.

Действия человека всегда связаны с последствиями для него лично. Если он ошибётся, ему это каким-либо образом аукнется. Мы осознаём, что всякая ошибка имеет свою цену, а если что-то прошло мимо сознания, подключается подсознание – человеку просто не хочется что-то делать, как говорится, «душа не лежит». Или наоборот: значимость последствий работает как стимулятор. Человек мобилизуется, включает внимание, уделяет задаче больше времени, тратит больше сил и энергии. Так или иначе, риск ошибки отражается на нашей деятельности, и в итоге получается, что чем больше риск, тем менее вероятна ошибка.

У искусственного интеллекта нет шкуры, на которой он мог бы почувствовать последствия своих решений. Компьютерная система – не субъект. Программисты пытаются создать эмуляцию сознания, закладывая в систему аналоги потребностей, чувств, интуиции и обучая компьютер уходить от жёсткой детерминированности. Но всё это, в сущности, – не более чем имитация. Искусственный интеллект способен симулировать личность, но никогда ею не будет, поскольку осознание себя не является результатом вычисления. А это значит, что фактор риска компьютерная система будет обрабатывать иначе, чем человек.

Не обладая сознанием опасности, программный комплекс способен учитывать лишь те риски, которые уже распознаны и определены. Между тем, в реальной жизни каждая новая ситуация может иметь новые, не встречавшиеся прежде последствия. Эта область неизвестного в программных расчётах не учитывается, и потому любой программный комплекс, каким бы надежным он ни казался, работая в области определённого знания, по определению уязвим: достаточно возникновения неожиданных обстоятельств (относящихся к новому, не встречавшемуся ранее классу), и система ошибётся. Возникновение таких ошибок не зависит от степени угрозы: система равновероятно пропустит и «копеечный» укол и разрушительный удар, если они последуют из «слепой» зоны.

Когда ответственность лежит на человеке, это означает, что он стремится обеспечить результат, невзирая на обстоятельства. Иными словами, предполагается, что человек управляет результатом своих действий. Он может ставить цели, добиваться их достижения или менять их, если цена их достижения покажется ему слишком высокой. При этом само собой предполагается, что жизнь может подкинуть любые сюрпризы.

Если мы перекладываем решение на компьютер, то надо понимать, что он не может управлять результатом. И цели, и критерии действий ему задаёт человек. Поэтому применение искусственного интеллекта, без сомнения повышающее эффективность обработки тех прикладных задач, к решению которых он предназначен, обязательно накапливает проблемы, скажем так, метауровня, которые искусственный интеллект распознать просто не в состоянии. Ответственность в конечном счёте всё равно лежит на человеке. Если человек будет считать, что искусственный интеллект прекрасно справляется и никаких проблем его деятельность не порождает, то цена, которую в итоге придётся заплатить за эту беспечность, будет тем больше, чем дольше искусственный интеллект профункционирует в таком автономном режиме.

В качестве примера работы искусственного интеллекта рассмотрим функционирование платформы Яндекс-Дзен.

Общая идея Яндекс-Дзен состоит в том, чтобы предложить пользователю именно тот контент, который ему наиболее интересен. Нейросеть анализирует наши поисковые запросы и поведенческие характеристики (сколько мы находимся на той или иной странице, дочитываем ли материал до конца и т.п.). На основании этих данных подбираются публикации, которые составляют нашу персональную ленту. Понятно, что свою долю постов в ленте Дзена получает реклама, но за их вычетом мы должны увидеть зеркало наших собственных интересов.

Платформа предусматривает обратную связь. Пользователь может отмечать понравившиеся ему посты (и подобного контента ему будет показываться больше), подписываться на приглянувшихся авторов, блокировать нежелательную тематику, удалять авторов из ленты. Можно попытаться приструнить даже рекламу.

Вроде бы мы имеем отличную реализацию применения искусственного интеллекта, и можно смело использовать Яндекс-Дзен в качестве информационной кормушки: лента принесёт то, что тебе захочется прочитать. Если в ней окажется что-то не то (то есть программа подбора постов ошибётся), это всегда можно поправить – искусственный интеллект воспримет ваш сигнал, обучится и скорректирует выдачу.

Эта идеальная схема, в целом вполне успешно работающая на практике, тем не менее, чревата серьёзными побочными эффектами. Погружение в Яндекс-Дзен меняет когнитивные (познавательные) привычки человека, что, в конечном счёте, отражается на его личности.

Обратная связь оказывается двусторонней. Подобно тому, как реакция пользователей способствует обучению компьютерной системы, позволяя отсекать ошибочные и закрепляя правильные решения, выдача, генерируемая искусственным интеллектом, формирует ожидания пользователя и программирует его типовую реакцию. Если Яндекс-Дзен становится основным каналом, поставляющим человеку новости и информацию (а ведь это по-своему обоснованно: ведь человек сам настраивает свою ленту, выбирая, что он хочет в ней видеть), то через какое-то время содержание его сознания будет в значительной степени определяться тем, что ему дал Яндекс-Дзен. И тут возникает вопрос: а что он вообще может дать?

По своей природе Яндекс-Дзен – не более чем агрегатор блогов, которые ведутся здесь же, на Яндексе, по правилам, определяемым самим ресурсом. Какие-то блоги – авторские, какие-то принадлежат юридическим лицам (СМИ или коммерческим организациям), но, независимо от этого, цель у них одна – привлечь как можно большую аудиторию. Яндекс поощряет это устремление, предусмотрев премиальные показы и возможность монетизации для самых удачливых.

Имеет значение и то, как Яндекс оценивает успешность блога. Основными показателями являются количество дочитываний и совокупное время, потраченное читателями на прочтение материалов. Вполне осмысленные показатели, неправда ли? А ещё Яндекс штрафует за неоригинальный контент (перепечатки из других источников), ограничивая показы. Пиши сам, пиши интересно, тебя будут читать, и чем больше прочтут, тем больше аудитория у тебя будет. Схема выглядит справедливой, а стало быть, её реализацию можно только приветствовать.

Но есть подводный камень, о который всё разбивается. Конечным критерием, лежащим в основании всей механики Яндекс-Дзен, является поведение пользователей. А наше поведение вовсе не безупречно.

Человек не очень-то любит интеллектуально трудиться. Мы, конечно, читаем при необходимости и серьёзные материалы, но с гораздо большим удовольствием мы будем перелистывать красивые картинки, смотреть забавные сюжеты, читать что-нибудь короткое, лёгкое и занимательное. Такой контент мы будем раскрывать гораздо чаще. С другими поведенческими показателями тут тоже будет всё в порядке: короткий текст проще дочитать до конца, и в совокупности на этот информационный «песок» – маленькие и пустые сообщения – у нас уйдёт больше времени, чем на считанные обращения к длинным и серьёзным текстам.

Распознав наши предпочтения, искусственный интеллект скорректирует персональную выдачу, наполнив нашу ленту её ещё большим количеством подобных материалов. Развлекать себя станет проще, а вероятность обнаружить что-нибудь действительно стоящее будет стремиться к нулю. Некоторое раздражение по этому поводу, неизбежно присутствующее поначалу, со временем уйдёт – человек хорошо адаптируется и привыкает к любой информационной среде.

Аналогичный механизм действует и в отношении авторов публикаций. Поскольку незатейливые и короткие материалы легко находят аудиторию, именно они собирают показатели, необходимые для стабильного существования блога внутри Яндекс-Дзен. Что бы там ни думал автор, если он хочет сделать свой блог популярным, его материалы должны быть скорее развлекательными, чем серьёзными.

На выходе мы получаем систему, в которую заложена тенденция понижения интеллектуального уровня публичной среды или, попросту говоря, работающую на оглупление общества. При этом, заметим, никаких специальных установок на этот счёт не предусмотрено. Нет никакой злой воли. Просто процесс полностью отдан под контроль искусственному интеллекту. Этого оказалось достаточно.

Развитие возможно лишь там, где с людьми взаимодействуют люди. Поскольку человек учитывает больше факторов, чем может быть заложено в алгоритм, имеет свои предпочтения, на основании которых корректирует обратную связь, умеет переступать через правила и нарушать предписания, взаимодействие с ним, оказывается, по определению более насыщенным. И проблемным, конечно. Визави-человек менее комфортен, чем визави-компьютер. Но эта некомфортность – тоже фактор развития. Мы пытаемся объясниться, обосновать свою точку зрения, стараемся, чтобы нас поняли, сами тратим силы на понимание, то есть предпринимаем кучу самостоятельных действий, и в результате принимаем на себя ответственность за результат.

По большому счёту, нам ещё предстоит научиться работать с искусственным интеллектом. Игнорировать его возможности – глупо. Нужно просто поставить его на надлежащее место. И не позволять себе думать, что искусственный интеллект способен полностью закрыть какой-нибудь вопрос и избавить нас от проблем.

Андрей Владимирович Карпов, главный редактор сайта «Культуролог»

Загрузка...

Организации, запрещенные на территории РФ: «Исламское государство» («ИГИЛ»); Джебхат ан-Нусра (Фронт победы); «Аль-Каида» («База»); «Братья-мусульмане» («Аль-Ихван аль-Муслимун»); «Движение Талибан»; «Священная война» («Аль-Джихад» или «Египетский исламский джихад»); «Исламская группа» («Аль-Гамаа аль-Исламия»); «Асбат аль-Ансар»; «Партия исламского освобождения» («Хизбут-Тахрир аль-Ислами»); «Имарат Кавказ» («Кавказский Эмират»); «Конгресс народов Ичкерии и Дагестана»; «Исламская партия Туркестана» (бывшее «Исламское движение Узбекистана»); «Меджлис крымско-татарского народа»; Международное религиозное объединение «ТаблигиДжамаат»; «Украинская повстанческая армия» (УПА); «Украинская национальная ассамблея – Украинская народная самооборона» (УНА - УНСО); «Тризуб им. Степана Бандеры»; Украинская организация «Братство»; Украинская организация «Правый сектор»; Международное религиозное объединение «АУМ Синрике»; Свидетели Иеговы; «АУМСинрике» (AumShinrikyo, AUM, Aleph); «Национал-большевистская партия»; Движение «Славянский союз»; Движения «Русское национальное единство»; «Движение против нелегальной иммиграции»; Комитет «Нация и Свобода»; Международное общественное движение «Арестантское уголовное единство».

Полный список организаций, запрещенных на территории РФ, см. по ссылкам:
https://minjust.ru/ru/nko/perechen_zapret
http://nac.gov.ru/terroristicheskie-i-ekstremistskie-organizacii-i-materialy.html
https://rg.ru/2019/02/15/spisokterror-dok.html

Иностранные агенты: «Голос Америки»; «Idel.Реалии»; «Кавказ.Реалии»; «Крым.Реалии»; «Телеканал Настоящее Время»; Татаро-башкирская служба Радио Свобода (Azatliq Radiosi); Радио Свободная Европа/Радио Свобода (PCE/PC); «Сибирь.Реалии»; «Фактограф»; «Север.Реалии»; Общество с ограниченной ответственностью «Радио Свободная Европа/Радио Свобода»; Чешское информационное агентство «MEDIUM-ORIENT»; Пономарев Лев Александрович; Савицкая Людмила Алексеевна; Маркелов Сергей Евгеньевич; Камалягин Денис Николаевич; Апахончич Дарья Александровна; «Центр по работе с проблемой насилия "Насилию.нет"»; межрегиональная общественная организация реализации социально-просветительских инициатив и образовательных проектов «Открытый Петербург»; Санкт-Петербургский благотворительный фонд «Гуманитарное действие»; Социально-ориентированная автономная некоммерческая организация содействия профилактике и охране здоровья граждан «Феникс плюс»; автономная некоммерческая организация социально-правовых услуг «Акцент»; некоммерческая организация «Фонд борьбы с коррупцией»; Челябинское региональное диабетическое общественное движение «ВМЕСТЕ»; программно-целевой Благотворительный Фонд «СВЕЧА»; Красноярская региональная общественная организация «Мы против СПИДа»; некоммерческая организация «Фонд защиты прав граждан»; интернет-издание «Медуза»; «Аналитический центр Юрия Левады» (Левада-центр).

Списки организаций и лиц, признанных в России иностранными агентами, см. по ссылкам:
https://minjust.gov.ru/ru/documents/7755/
https://ria.ru/20201221/inoagenty-1590270183.html
https://ria.ru/20201225/fbk-1590985640.html

РНЛ работает благодаря вашим пожертвованиям.
Комментарии
Оставлять комментарии незарегистрированным пользователям запрещено,
или зарегистрируйтесь, чтобы продолжить

1. дзен

- "Ответственность в конечном счёте всё равно лежит на человеке. Если человек будет считать, что искусственный интеллект прекрасно справляется и никаких проблем его деятельность не порождает, то цена, которую в итоге придётся заплатить за эту беспечность, будет тем больше, чем дольше искусственный интеллект профункционирует в таком автономном режиме". - "На выходе мы получаем систему (Яндекс-Дзен), в которую заложена тенденция понижения интеллектуального уровня публичной среды или, попросту говоря, работающую на оглупление общества. При этом, заметим, никаких специальных установок на этот счёт не предусмотрено. Нет никакой злой воли. Просто процесс полностью отдан под контроль искусственному интеллекту. Этого оказалось достаточно. Развитие возможно лишь там, где с людьми взаимодействуют люди". Согласен. По поводу этого Дзена - в основном такую галиматью представляют... Хотел даже на эту тему написать. Но хватает других. Не знаешь, за что хвататься. Это (часто на ровном месте созданные проблемы, которых не должно быть), кстати, тоже следствие ложной и порочной информационной направленности. - "По большому счёту, нам ещё предстоит научиться работать с искусственным интеллектом. Игнорировать его возможности – глупо. Нужно просто поставить его на надлежащее место...". А по этому утверждению - вопрос. Смотря кого понимать под "нам", "мы". Если понимающую часть общества - тогда - да. Но, нет уверенности, что эта часть "мы" сможет переломить ситуацию. Кто у руля операционной системы? Не "мы". Правит бал люди с отрицательной мотивацией в этом вопросе. На уровне государства не определены риски искусственного интеллекта. И проблемы, о которых говорит Автор, никто не собирается решать.

Калужанин / 14.09.2020 15:26
Андрей Карпов
Язык программирования высокого уровня
Или зачем нужна традиция…
24.05.2021
Две гипотезы о литературном бессилии
Вариант ответа на вопрос, почему нет значимых объектов явного читательского интереса
10.05.2021
Звериный контроль
Или к чему приведёт обязательная регистрация собак и кошек
31.03.2021
Все статьи Андрей Карпов
Электронный концлагерь
Почему наши дети убивают
Автор и ведущая программы «Территория семьи» на радио «Радонеж» Людмила Рябиченко рассказывает о причинах и механизмах формирования разрушительных поведенческих установок у детей и молодёжи
12.06.2021
«Попытка бить Богом и управлять судьбой».
О цифровизации образования и власти цифры
12.06.2021
Всё идёт к замене человека цифрой
О пагубной концепции Минпросвещения РФ по внедрению цифрового профиля учащегося со всеми его данными и достижениями
11.06.2021
«Так, пацаки, почему без намордников?»
Попытка подчинить моментально весь мир может привести к великой катастрофе: деградации общества и личности не в отдельно взятом государстве, а в мировом масштабе
08.06.2021
Все статьи темы
Цифровая экономика
Почему наши дети убивают
Автор и ведущая программы «Территория семьи» на радио «Радонеж» Людмила Рябиченко рассказывает о причинах и механизмах формирования разрушительных поведенческих установок у детей и молодёжи
12.06.2021
«Попытка бить Богом и управлять судьбой».
О цифровизации образования и власти цифры
12.06.2021
Всё идёт к замене человека цифрой
О пагубной концепции Минпросвещения РФ по внедрению цифрового профиля учащегося со всеми его данными и достижениями
11.06.2021
«Так, пацаки, почему без намордников?»
Попытка подчинить моментально весь мир может привести к великой катастрофе: деградации общества и личности не в отдельно взятом государстве, а в мировом масштабе
08.06.2021
Дорога в палату №6
Превращение Украины в центр для криптовалют окончательно уничтожит украинскую экономику
07.06.2021
Все статьи темы
Последние комментарии
Почему женщины «болеют» свободой
Новый комментарий от В.Р.
12.06.2021 21:10
«Слова уст человеческих – глубокие воды»
Новый комментарий от В.Р.
12.06.2021 20:49
Научатся ли «красные» и «белые» патриоты не воевать, а обмениваться мнениями?
Новый комментарий от Александр Васькин, русский священник, офицер Советской Армии
12.06.2021 15:06
Базовый доход как источник правовых проблем будущего
Новый комментарий от Валерий Новоскольцев
12.06.2021 13:27
«Это ростовщичество вавилонского уровня»
Новый комментарий от Наталия 2016
12.06.2021 13:23
Владислав Сурков нынче за силовое решение по Украине
Новый комментарий от Валерий Новоскольцев
12.06.2021 09:36