Яндекс-Дзен как пример ограниченности искусственного интеллекта

Погружение в ИИ меняет познавательные привычки человека, что, в конечном счёте, отражается на его личности

Искусственный интеллект – это система, обязательно предусматривающая существование обратной связи. Собственно говоря, громкое имя интеллекта программный комплекс получает как раз за то, что его алгоритмы позволяют учитывать конкретную ситуацию и адаптировать принимаемые решения к её специфике. Предполагается, что искусственный интеллект способен учиться: с каждой новой ситуацией (циклом обратной связи) его ответ становится всё более точным. Результат применения такой технологии значительно превосходит как то, что может дать обычное программное обеспечение, использующее типовые решения, так и то, что может сделать человек. Пользователю не надо напрягаться, думать за него будет компьютер.

Искусственный интеллект, конечно, может и ошибаться. Но люди также ошибаются, и можно допустить, что средний человек сделает больше ошибок, чем «обученная» система. Проблема доверия к искусственному интеллекту состоит не в возможности ошибки как таковой, а в неприменимости к компьютерным системам понятия ответственности.

Действия человека всегда связаны с последствиями для него лично. Если он ошибётся, ему это каким-либо образом аукнется. Мы осознаём, что всякая ошибка имеет свою цену, а если что-то прошло мимо сознания, подключается подсознание – человеку просто не хочется что-то делать, как говорится, «душа не лежит». Или наоборот: значимость последствий работает как стимулятор. Человек мобилизуется, включает внимание, уделяет задаче больше времени, тратит больше сил и энергии. Так или иначе, риск ошибки отражается на нашей деятельности, и в итоге получается, что чем больше риск, тем менее вероятна ошибка.

У искусственного интеллекта нет шкуры, на которой он мог бы почувствовать последствия своих решений. Компьютерная система – не субъект. Программисты пытаются создать эмуляцию сознания, закладывая в систему аналоги потребностей, чувств, интуиции и обучая компьютер уходить от жёсткой детерминированности. Но всё это, в сущности, – не более чем имитация. Искусственный интеллект способен симулировать личность, но никогда ею не будет, поскольку осознание себя не является результатом вычисления. А это значит, что фактор риска компьютерная система будет обрабатывать иначе, чем человек.

Не обладая сознанием опасности, программный комплекс способен учитывать лишь те риски, которые уже распознаны и определены. Между тем, в реальной жизни каждая новая ситуация может иметь новые, не встречавшиеся прежде последствия. Эта область неизвестного в программных расчётах не учитывается, и потому любой программный комплекс, каким бы надежным он ни казался, работая в области определённого знания, по определению уязвим: достаточно возникновения неожиданных обстоятельств (относящихся к новому, не встречавшемуся ранее классу), и система ошибётся. Возникновение таких ошибок не зависит от степени угрозы: система равновероятно пропустит и «копеечный» укол и разрушительный удар, если они последуют из «слепой» зоны.

Когда ответственность лежит на человеке, это означает, что он стремится обеспечить результат, невзирая на обстоятельства. Иными словами, предполагается, что человек управляет результатом своих действий. Он может ставить цели, добиваться их достижения или менять их, если цена их достижения покажется ему слишком высокой. При этом само собой предполагается, что жизнь может подкинуть любые сюрпризы.

Если мы перекладываем решение на компьютер, то надо понимать, что он не может управлять результатом. И цели, и критерии действий ему задаёт человек. Поэтому применение искусственного интеллекта, без сомнения повышающее эффективность обработки тех прикладных задач, к решению которых он предназначен, обязательно накапливает проблемы, скажем так, метауровня, которые искусственный интеллект распознать просто не в состоянии. Ответственность в конечном счёте всё равно лежит на человеке. Если человек будет считать, что искусственный интеллект прекрасно справляется и никаких проблем его деятельность не порождает, то цена, которую в итоге придётся заплатить за эту беспечность, будет тем больше, чем дольше искусственный интеллект профункционирует в таком автономном режиме.

В качестве примера работы искусственного интеллекта рассмотрим функционирование платформы Яндекс-Дзен.

Общая идея Яндекс-Дзен состоит в том, чтобы предложить пользователю именно тот контент, который ему наиболее интересен. Нейросеть анализирует наши поисковые запросы и поведенческие характеристики (сколько мы находимся на той или иной странице, дочитываем ли материал до конца и т.п.). На основании этих данных подбираются публикации, которые составляют нашу персональную ленту. Понятно, что свою долю постов в ленте Дзена получает реклама, но за их вычетом мы должны увидеть зеркало наших собственных интересов.

Платформа предусматривает обратную связь. Пользователь может отмечать понравившиеся ему посты (и подобного контента ему будет показываться больше), подписываться на приглянувшихся авторов, блокировать нежелательную тематику, удалять авторов из ленты. Можно попытаться приструнить даже рекламу.

Вроде бы мы имеем отличную реализацию применения искусственного интеллекта, и можно смело использовать Яндекс-Дзен в качестве информационной кормушки: лента принесёт то, что тебе захочется прочитать. Если в ней окажется что-то не то (то есть программа подбора постов ошибётся), это всегда можно поправить – искусственный интеллект воспримет ваш сигнал, обучится и скорректирует выдачу.

Эта идеальная схема, в целом вполне успешно работающая на практике, тем не менее, чревата серьёзными побочными эффектами. Погружение в Яндекс-Дзен меняет когнитивные (познавательные) привычки человека, что, в конечном счёте, отражается на его личности.

Обратная связь оказывается двусторонней. Подобно тому, как реакция пользователей способствует обучению компьютерной системы, позволяя отсекать ошибочные и закрепляя правильные решения, выдача, генерируемая искусственным интеллектом, формирует ожидания пользователя и программирует его типовую реакцию. Если Яндекс-Дзен становится основным каналом, поставляющим человеку новости и информацию (а ведь это по-своему обоснованно: ведь человек сам настраивает свою ленту, выбирая, что он хочет в ней видеть), то через какое-то время содержание его сознания будет в значительной степени определяться тем, что ему дал Яндекс-Дзен. И тут возникает вопрос: а что он вообще может дать?

По своей природе Яндекс-Дзен – не более чем агрегатор блогов, которые ведутся здесь же, на Яндексе, по правилам, определяемым самим ресурсом. Какие-то блоги – авторские, какие-то принадлежат юридическим лицам (СМИ или коммерческим организациям), но, независимо от этого, цель у них одна – привлечь как можно большую аудиторию. Яндекс поощряет это устремление, предусмотрев премиальные показы и возможность монетизации для самых удачливых.

Имеет значение и то, как Яндекс оценивает успешность блога. Основными показателями являются количество дочитываний и совокупное время, потраченное читателями на прочтение материалов. Вполне осмысленные показатели, неправда ли? А ещё Яндекс штрафует за неоригинальный контент (перепечатки из других источников), ограничивая показы. Пиши сам, пиши интересно, тебя будут читать, и чем больше прочтут, тем больше аудитория у тебя будет. Схема выглядит справедливой, а стало быть, её реализацию можно только приветствовать.

Но есть подводный камень, о который всё разбивается. Конечным критерием, лежащим в основании всей механики Яндекс-Дзен, является поведение пользователей. А наше поведение вовсе не безупречно.

Человек не очень-то любит интеллектуально трудиться. Мы, конечно, читаем при необходимости и серьёзные материалы, но с гораздо большим удовольствием мы будем перелистывать красивые картинки, смотреть забавные сюжеты, читать что-нибудь короткое, лёгкое и занимательное. Такой контент мы будем раскрывать гораздо чаще. С другими поведенческими показателями тут тоже будет всё в порядке: короткий текст проще дочитать до конца, и в совокупности на этот информационный «песок» – маленькие и пустые сообщения – у нас уйдёт больше времени, чем на считанные обращения к длинным и серьёзным текстам.

Распознав наши предпочтения, искусственный интеллект скорректирует персональную выдачу, наполнив нашу ленту её ещё большим количеством подобных материалов. Развлекать себя станет проще, а вероятность обнаружить что-нибудь действительно стоящее будет стремиться к нулю. Некоторое раздражение по этому поводу, неизбежно присутствующее поначалу, со временем уйдёт – человек хорошо адаптируется и привыкает к любой информационной среде.

Аналогичный механизм действует и в отношении авторов публикаций. Поскольку незатейливые и короткие материалы легко находят аудиторию, именно они собирают показатели, необходимые для стабильного существования блога внутри Яндекс-Дзен. Что бы там ни думал автор, если он хочет сделать свой блог популярным, его материалы должны быть скорее развлекательными, чем серьёзными.

На выходе мы получаем систему, в которую заложена тенденция понижения интеллектуального уровня публичной среды или, попросту говоря, работающую на оглупление общества. При этом, заметим, никаких специальных установок на этот счёт не предусмотрено. Нет никакой злой воли. Просто процесс полностью отдан под контроль искусственному интеллекту. Этого оказалось достаточно.

Развитие возможно лишь там, где с людьми взаимодействуют люди. Поскольку человек учитывает больше факторов, чем может быть заложено в алгоритм, имеет свои предпочтения, на основании которых корректирует обратную связь, умеет переступать через правила и нарушать предписания, взаимодействие с ним, оказывается, по определению более насыщенным. И проблемным, конечно. Визави-человек менее комфортен, чем визави-компьютер. Но эта некомфортность – тоже фактор развития. Мы пытаемся объясниться, обосновать свою точку зрения, стараемся, чтобы нас поняли, сами тратим силы на понимание, то есть предпринимаем кучу самостоятельных действий, и в результате принимаем на себя ответственность за результат.

По большому счёту, нам ещё предстоит научиться работать с искусственным интеллектом. Игнорировать его возможности – глупо. Нужно просто поставить его на надлежащее место. И не позволять себе думать, что искусственный интеллект способен полностью закрыть какой-нибудь вопрос и избавить нас от проблем.

Андрей Владимирович Карпов, главный редактор сайта «Культуролог»

Загрузка...

Организации, запрещенные на территории РФ: «Исламское государство» («ИГИЛ»); Джебхат ан-Нусра (Фронт победы); «Аль-Каида» («База»); «Братья-мусульмане» («Аль-Ихван аль-Муслимун»); «Движение Талибан»; «Священная война» («Аль-Джихад» или «Египетский исламский джихад»); «Исламская группа» («Аль-Гамаа аль-Исламия»); «Асбат аль-Ансар»; «Партия исламского освобождения» («Хизбут-Тахрир аль-Ислами»); «Имарат Кавказ» («Кавказский Эмират»); «Конгресс народов Ичкерии и Дагестана»; «Исламская партия Туркестана» (бывшее «Исламское движение Узбекистана»); «Меджлис крымско-татарского народа»; Международное религиозное объединение «ТаблигиДжамаат»; «Украинская повстанческая армия» (УПА); «Украинская национальная ассамблея – Украинская народная самооборона» (УНА - УНСО); «Тризуб им. Степана Бандеры»; Украинская организация «Братство»; Украинская организация «Правый сектор»; Международное религиозное объединение «АУМ Синрике»; Свидетели Иеговы; «АУМСинрике» (AumShinrikyo, AUM, Aleph); «Национал-большевистская партия»; Движение «Славянский союз»; Движения «Русское национальное единство»; «Движение против нелегальной иммиграции»; Комитет «Нация и Свобода».

Полный список организаций, запрещенных на территории РФ, см. по ссылкам:
https://minjust.ru/ru/nko/perechen_zapret
http://nac.gov.ru/terroristicheskie-i-ekstremistskie-organizacii-i-materialy.html
https://rg.ru/2019/02/15/spisokterror-dok.html

РНЛ работает благодаря вашим пожертвованиям.
Комментарии
Оставлять комментарии незарегистрированным пользователям запрещено,
или зарегистрируйтесь, чтобы продолжить
Введите комментарий

1. дзен

- "Ответственность в конечном счёте всё равно лежит на человеке. Если человек будет считать, что искусственный интеллект прекрасно справляется и никаких проблем его деятельность не порождает, то цена, которую в итоге придётся заплатить за эту беспечность, будет тем больше, чем дольше искусственный интеллект профункционирует в таком автономном режиме". - "На выходе мы получаем систему (Яндекс-Дзен), в которую заложена тенденция понижения интеллектуального уровня публичной среды или, попросту говоря, работающую на оглупление общества. При этом, заметим, никаких специальных установок на этот счёт не предусмотрено. Нет никакой злой воли. Просто процесс полностью отдан под контроль искусственному интеллекту. Этого оказалось достаточно. Развитие возможно лишь там, где с людьми взаимодействуют люди". Согласен. По поводу этого Дзена - в основном такую галиматью представляют... Хотел даже на эту тему написать. Но хватает других. Не знаешь, за что хвататься. Это (часто на ровном месте созданные проблемы, которых не должно быть), кстати, тоже следствие ложной и порочной информационной направленности. - "По большому счёту, нам ещё предстоит научиться работать с искусственным интеллектом. Игнорировать его возможности – глупо. Нужно просто поставить его на надлежащее место...". А по этому утверждению - вопрос. Смотря кого понимать под "нам", "мы". Если понимающую часть общества - тогда - да. Но, нет уверенности, что эта часть "мы" сможет переломить ситуацию. Кто у руля операционной системы? Не "мы". Правит бал люди с отрицательной мотивацией в этом вопросе. На уровне государства не определены риски искусственного интеллекта. И проблемы, о которых говорит Автор, никто не собирается решать.

Брат / 14.09.2020
Андрей Карпов:
Таблетки алчности
Печально, что в современном обществе отсутствуют механизмы, купирующие взвинчивание цен
22.09.2020
Кремль пал
Постмодернизм захватывает всё вокруг
15.09.2020
Яндекс-Дзен как пример ограниченности искусственного интеллекта
Погружение в ИИ меняет познавательные привычки человека, что, в конечном счёте, отражается на его личности
14.09.2020
Это похоронит общество и страну
Против дистанционного образования в школе
09.09.2020
Игнорировать нельзя доверять, или Как нам быть с новостями?
Бдительность и вдумчивое отношение к информационному потоку снизят риск стать жертвой манипуляции
24.08.2020
Все статьи автора
"Электронный концлагерь"
«Восстанавливать глобальную экономику предстоит очень долго»
Владимир Путин, выступая на заседании 75-й сессии Генеральной Ассамблеи ООН, затронул острые проблемы современного мира
23.09.2020
Новый уровень управления массами: что делят
сверхдержавы в «битве за «ТикТок»
22.09.2020
«Нахожусь под большим впечатлением»: директор
Евробюро ВОЗ о принятых Москвой мерах в борьбе с COVID-19
22.09.2020
Цифровизация спасёт Россию от апокалипсиса
О самом простом способе защиты населения от инфекций путём изоляции людей в «фамильных деревнях»
22.09.2020
Кто такой «русский хакер», чем он руководствуется, что у него на душе
Действительно ли хакеры настолько всесильны, что могут влиять на политику
22.09.2020
Все статьи темы
"Цифровая экономика"
«Восстанавливать глобальную экономику предстоит очень долго»
Владимир Путин, выступая на заседании 75-й сессии Генеральной Ассамблеи ООН, затронул острые проблемы современного мира
23.09.2020
«Нахожусь под большим впечатлением»: директор
Евробюро ВОЗ о принятых Москвой мерах в борьбе с COVID-19
22.09.2020
Цифровизация спасёт Россию от апокалипсиса
О самом простом способе защиты населения от инфекций путём изоляции людей в «фамильных деревнях»
22.09.2020
Всех загнать под колпак!
Угрозы личной и государственной безопасности
17.09.2020
Яндекс-Дзен как пример ограниченности искусственного интеллекта
Погружение в ИИ меняет познавательные привычки человека, что, в конечном счёте, отражается на его личности
14.09.2020
Все статьи темы
Последние комментарии
Какая языковая политика нужна России
Новый комментарий от Русский Сталинист
2020-09-23 11:15
Органчик в голове
Новый комментарий от monarhist
2020-09-23 11:14
«Напрасно Ватикан начинает торговлю мученической кровью»
Новый комментарий от Валерий
2020-09-23 10:22
Рождение русского войска
Новый комментарий от Русский Сталинист
2020-09-23 09:45
Таблетки алчности
Новый комментарий от Русский Сталинист
2020-09-23 09:29
День начался настоящей мистикой
Новый комментарий от Валерий
2020-09-23 05:58