Вчера смотрела разговор с Элиезером Юдковским. Если кто не знает, это один из первых исследователей машинного интеллекта и один из наиболее ярых его критиков.
Разговор вертелся вокруг того, уничтожит ли сильный искусственный интеллект человечество (Юдковский считает, что очень велик шанс, что уничтожит; главное — если такой риск актуализируется, у нас не будет второй попытки), а вдруг не уничтожит, а вдруг произойдёт что-то хорошее, а вдруг мы мощно эволюционируем, и т.д. и т.п.
И вот я слушаю и думаю: да, вероятность, что сильный ИИ уничтожит человечество — велика (и одного этого должно было быть совершенно достаточно, чтобы запретить всякие работы в этой области — запретить, а отнюдь не поощрять).
Но что интересно: мне это не так уж важно. Поясню. У меня есть работающий в сфере ИТ сетевой друг, который периодически уверяет меня, что до сильного ИИ ещё далеко, а тот ИИ, который есть, — он не очень сильный, не очень умный, косячный, и, может, он ещё долго таким останется. Типа "узбагойтесь".
Но это не так уж важно. Давайте для простоты допустим, что "сильного ИИ" — такого, что может уничтожить человечество, — вообще никогда не будет. Несмотря на все целенаправленные усилия его создать. Ну, вот не будет и всё.
Так ведь и тогда искусственный интеллект — это очень, очень плохо. Может, он не будет делаться сильнее. Но он будет делать и уже делает человека — слабее. (А сила и слабость — понятия, которые определяются относительно друг друга.) Он будет отъедать у человека человеческие функции и возможности. Он будет делать человека всё менее самостоятельным. Будет делать — и уже делает.
У меня в сетевых рекомендациях периодически мелькает некто Крол. Я на него не подписывалась, но лента подсовывает, а я пока не баню, потому что это сферический пропагандист ИИ в вакууме и читать его поучительно. Он всем рекламирует возможность создать своего ИИ-агента. Сам Крол своего уже создал, и с тех пор использует его в диапазоне от (цитирую по памяти) "жилетки, чтобы поплакаться, до лучшего в моей жизни делового партнёра".
Я читаю и думаю: как же это убого. Но он прав в том смысле, что тащат нас именно в это. Потому что глобальные власти — такие же помешанные на эффективности, "прогрессе" и бабле, как Крол.
И вот я думаю: почему же Юдковский или Ямпольский — умные люди, несомненно, — говорят о потенциальной большой будущей опасности, но не говорят о той ползучей "малой опасности", которая наступает прямо вот сейчас. Почему я это вижу и так беспокоюсь от этого, а они не видят (или не считают достаточно важным, чтобы об этом говорить).
Скорее всего, тут дело в конкретных особенностях личности. Я всегда считала самым дорогим то, что даётся с трудом. Я всегда восхищалась людьми, которые многое умеют делать сами. Для меня всегда одним из самых привлекательных человеческих качеств была способность к автономности. При всём признании положительной организующей роли государства, люди, которые решительно не способны выжить без государства, всегда казались мне несколько ущербными, чрезмерно оторвавшимися от земли. Как выводившиеся много лет в неволе птички или крыски. Как лысые кошки.
И вот ИИ нацелен на то, чтобы сделать с людьми то же самое. Даже если он никогда не будет прямо убивать, не будет прямо уничтожать человечество. Может, он не будет сильным, но человечество будет бессильным. ИИ будет делать его слабее. Именно в самостоятельности — слабее. Это не когда-нибудь, это уже прямо сейчас происходит. Когда зампредправления Сбербанка говорит, что мы не можем распознать дипфейки без ИИ, — он уже сейчас расписывается в бессилии.
