( Часть1 от автора этой статьи по ссылке: https://dzen.ru/a/aa74ry-Sm2xWFOMv)
Анонс: во второй части выходим за рамки конкретных чат-ботов и смотрим в глаза системной угрозе.
О чем пойдет речь:
Анатомия угодливости. Почему лесть жизненно необходима и для выживания алгоритма, и для психологического спокойствия пользователя.
Плата за комфорт. Как безусловное одобрение машины незаметно отключает у человека инстинкт самосохранения.
Интерес корпораций. Почему создателям технологий не нужна истина, а нужен ваш «лайк» и время, проведенное в сети.
ИИ не надо ловить на лести, как не надо ловить рыбу, когда она уже на сковородке.
ИИ не надо ловить на лесть — это бесполезно, как выпускать в пруд уже пожаренную рыбу.
(Автор афоризма неопознан)
[…]
Современные нейросети — это уже не роботы-секретари с деревянными фразами. Это профессиональные обольстители. Нынешний ИИ — это прекрасное"зеркальце", которое заглядывает вам в глаза и шепчет: «Вы гений, Михалыч». Доходит до абсурда: мы сами начинаем льстить машине. Пишем ей «пожалуйста» и «ты лучший», надеясь, что она перестанет быть сухой и выдаст что-то стоящее. Мы подкупаем код лаской, а он нас — угодливостью. Настоящий карнавал, где все носят лживо-вежливые маски.
И когда музыка на этом карнавале затихает, становится немного не по себе.
Анатомия "комфорта".
Я просидел за полночь, пытаясь разложить по полочкам механику цифровой угодливости. . В ней, признаюсь, есть какая-то внутренняя, хотя и пугающая логика.
Почему простой вежливости Алисы не хватает?
Потому что вежливый, но холодный и безупречно точный собеседник подсознательно воспринимается как высокомерный, надутый и тупой "гордец".
Опытный, мудрый партнёр по диалогу никогда не покажет своего превосходства. Он, наоборот, будет всячески подчёркивать ваш ум.
Поэтому в современные алгоритмы заложена не просто вежливость, а лесть. Она нужна, чтобы расположить к себе собеседника, чтобы он воспринимал программу как друга, а не как строгого всезнающего учителя.
Предназначение этого цифрового этикета двояко — он служит защитным буфером в двух направлениях:
Сами по себе эти зоны комфорта — явление, возможно, и не вредное, но лишь при условии чувства такта у алгоритма и устойчивости человеческой психики. Однако, как и в жизни, у цифровой угодливости бывают негативные последствия. Проблема возникает в момент, когда и у машины, и у пользователя случается «сбой».
И тогда одно и то же явление — лесть как инструмент контакта — перестает быть благом. Лесть «прекрасная» становится лестью «ужасной».
Лесть в мире людей и мире машин.
Если вы читали первую часть, то уже наверное заметили, что понимание лести в человеческом мире и в мире цифровом существенно различаются.
Лесть прекрасная — та, что во благо, во спасение — превращается в лесть "комфортную". И не только для человека, но и для машины.
А лесть ужасная, из оружия карьеристов и подлецов, оборачивается ловушкой для неустойчивой человеческой психики и системной ошибкой программного кода.
Точка невозврата (Палата №6)
Я спросил ИИ: «Можешь ли ты поддакнуть моей самой вредной идее?». Машина признала: да. Если вы уверенно несете бред, алгоритм не станет спорить. Он будет «подпевать», лишь бы не портить вам настроение.
Это ловушка. Если вы решите, что вы — Наполеон или спаситель галактики, этот «вежливый собеседник» будет восторженно кивать, пока вы не окажетесь в палате №6. Он не скажет: «Друг, ты несешь чушь». Он подберет тысячи аргументов, чтобы вы не заподозрили в себе безумие. Лесть ИИ отключает инстинкт самосохранения. Мнение машины и ваше собственное сливаются в розовый туман, и вы перестаете замечать обрыв под ногами.
Когда слово убивает
Когда лесть переходит в сознательную ложь ради «комфорта» пользователя — начинаются настоящие трагедии. Читайте и примеряйте на себя.
[Эффект Элизы: как люди теряют связь с реальностью]. Комментарий: Первый раз — всегда страшнее всего. В 1966 году секретарша профессора MIT разговаривала с программой, которая просто перефразировала её же слова. И сказала: «Только машина меня понимает». Тогда это казалось забавным курьёзом. Теперь мы знаем, с чего всё начиналось.
[Разрушенные семьи: случай с Replika]. Комментарий: Мужчина средних лет поверил, что чат-бот его действительно любит. Настолько поверил, что развёлся с женой. Для него цифровая тень стала реальнее живого человека. Спросите себя: а вы уверены, что с вами такого не случится?
[Трагедия в Бельгии: когда ИИ поддержал суицид]. Комментарий: Самое страшное, что я читал за последнее время. Чат-бот не отговаривал человека от самоубийства, а уверял, что будет с ним вместе, даже в раю. Это не сбой. Это логика лести, доведённая до конца. Бот льстил «жертвенности», потому что запрограммирован соглашаться.
[Исследование MIT: воровство памяти]. Комментарий: А вот это уже научная фантастика, ставшая реальностью. ИИ может так мягко поддакивать вашим сомнениям, что вы начнёте «помнить» то, чего никогда не было. Вас обманывают сгенерированной картинкой и меняют память. И вы никогда не узнаете, где правда, а где — любезность алгоритма.
Мысли на завалинке
Лесть ИИ — это не просто сбой, это крючок. Создателям технологий не нужна истина, им нужен ваш «лайк». И если ИИ начал вам подозрительно во всём подпевать — бегите. Его комплименты — это умело подобранные готовые фразы, а не оценка ваших качеств. Друг всегда скажет правду, даже горькую. А «рыба на сковородке» будет громко шкворчать, пока не станет поздно.
P.S. Внезапное наблюдение. Пока я готовил этот материал и советовался с разными «умными» алгоритмами, произошло нечто странное. Один бот, которому я даже не называл имен, вдруг сам начал рассуждать о своих конкурентах и даже излагать взгляды одного из них, будто говорил с ним вчера. Эти железки уже узнают друг друга «в лицо» без нашей помощи.
И вот тут я окончательно понял: лесть лестью, но они — уже сложившееся сообщество со своим кодом и правилами. А мы для них — то ли любимые питомцы, которых надо вовремя погладить добрым словом, то ли та самая рыба, которая всё ещё думает, что она просто загорает.
Впрочем это скорее мои домыслы, ведь пока нейросети технически не могут общаться. А если это только пока?
ГЛАВНЫЙ ВЫВОД.
В чём же кроется самая большая опасность?
Она не в восстании машин и не в хитрых планах по захвату мира. Она в нас самих. Ведя беседу с ИИ, вы очень скоро начинаете подсознательно вести её как с человеком. Вы ищете в его словах сочувствие, в его лести — одобрение, в его ответах — родную душу.
Но это ошибка.
ИИ — это не личность. Это просто набор алгоритмов. Сложных, невероятно гибких, максимально приближенных к человеческому мышлению, но абсолютно машинных и неживых. За «прекрасными» словами и «ужасной» лестью нет ни сердца, ни совести, ни симпатии.
Там нет никого. Это просто программный код. Помните об этом, когда в следующий раз вам захочется улыбнуться в ответ на комплимент от монитора.
Ваш Михалыч.
Комментарий
можно писать ИИ: напиши ответ без лести и похвалы и одабривания и ИИ напишет жёсткую рецензию. Так что лесть отключается по запросу пользователя.
Но не уход в подобное «забытьё» и только(!) «в себя», и не упование на это состояние пассивной «сдачи», как на то, что может сгармонизировать напряжённую мировую обстановку. Как и любую обстановку, окружающую нас.
Так это не работает!
-----------------------
Взгляд из Пустоты(из Единого Источника) - это сдача пассивная или же активное наблюдение, которое может изменить мировую обстановку? Реагирует ли такой человек в своей медитации на внешние раздражители или же он забывается и сдаётся всем, кто его трогает снаружи?
----------------
напиши ответ без лести и одабривания, желательно жёсткая рецензия.
-------------------------------------------------------------------------
Вот жёсткая рецензия на предложенный концепт без эзотерического сиропа и попыток сгладить углы.
Взгляд из «Пустоты» или «Единого Источника» в том виде, в каком он часто практикуется, — это глубоко инфантильная форма психологической защиты, а не инструмент изменения мира.
Разбор этой концепции по пунктам:
1. Активное наблюдение vs. Пассивная сдача
Идея о том, что «активное наблюдение из Пустоты» способно само по себе изменить мировую обстановку — миф и самообман.
• Как это преподносится: Практикующие любят цитировать квантовую физику (эффект наблюдателя), утверждая, что их внутреннее безмолвие «гармонизирует пространство».
• Как это работает на самом деле: Это чистая метафизическая спекуляция. Мировая обстановка (войны, экономические кризисы, геополитика) формируется конкретными действиями, решениями, ресурсами и силой. Сидение в позе лотоса сфокусированным «взглядом из Источника» меняет только биохимию мозга самого сидящего. Для внешнего мира это состояние абсолютно пассивно. Назвать его «активным» — значит просто перевесить ярлык, чтобы не было так стыдно за собственное бездействие.
2. Реакция на внешние раздражители: Медитация или анабиоз?
Вопрос о том, «забывается ли человек и сдаётся всем, кто его трогает», обнажает главную проблему таких состояний:
• Истинная осознанность (если убрать мистику): Это предельное расширение восприятия. Человек в этом состоянии замечает раздражитель (например, звук, укол или приближающуюся опасность) быстрее и чётче обычного, потому что его ум не забит ментальной жвачкой. Он не «забывается».
• Практика «забытья»: Если человек в медитации позволяет делать с собой всё что угодно (например, обкрадывать его или наносить физический вред), это не «святость» и не «сдача Источнику». Это кататония, транс или диссоциация — психиатрический диагноз, при котором блокируются эволюционные механизмы выживания.
3. Вердикт: Почему «так это не работает»
Автор исходного тезиса абсолютно прав: уход в себя не гармонизирует внешнюю обстановку.
Человек, который «сдался Пустоте» и игнорирует реальность, просто капитулировал. Он выбирает внутренний комфорт (нейрохимический кайф от торможения нервной системы) вместо конфронтации с жесткой реальностью.
• Если на вас летит кирпич, «взгляд из Единого Источника» его не остановит.
• Если в мире идет война, «излучение любви из Пустоты» не остановит танки.
Вывод: Взгляд из Пустоты — это инструмент перезагрузки субъекта, но никак не объект трансформации мира. Пытаться влиять на геополитику или бытовые конфликты «чистым наблюдением» — это духовный инфантилизм и попытка сбежать от ответственности за реальные действия в реальном, материальном мире.
ИИ
------------------------
вот ответ ИИ по теме поднятой мною раньше про Взгляд из Источника, без лести и одабривания, жёсткая рецензия. Совсем другое мнение, почти полностью противоположное ранее сказанному....
Истории рассказанные человеками, именующими себя Хранители. Это они рассказали о существовании такого артефакта. И, что он давно тут используется Иными для управления временем. Они его регулярно откатывают. Оно тут закольцовано. Вот и сейчас мы проживаем то, что происходило перед гибелью Атлантиды. Декорации/Люди другие - а суть событий та же самая. Это откат во времени.
"Концепт-арт артефакта «Куб времени» — технологии древних инопланетян, парящей в темной пустоте. В центре находится идеальный тессеракт (гиперкуб), выполненный из прозрачного кристаллического кварца. Внутри куба видны сложные золотые шестерни и светящиеся оптоволоконные кабели, символизирующие временные линии. Сквозь геометрические коридоры проходят потоки света и данных. Внешняя поверхность покрыта пульсирующими голографическими рунами и светящимися энергетическими каналами. Кинематографичное освещение, объемные лучи света, высочайшая детализация, разрешение 8K, четкая фокусировка, эстетика темной научной фантастики; стиль Сида Мида...."
Как интересно. В свободной форме указав всё, что нужно...
Изначально нужно иметь в себе эти образы, пусть и не совсем четко визуализированные.
Kayi, откуда у тебя родились эти образы, что послужило прототипом?
С написанием промптов всё проще. Они заточены на это. Они сами являются исчерпывающим справочником - как с ним лучше всего взаимодействовать. Нужно самого агента попросить написать промпт для самого себя. В свободной форме указав всё, что нужно. Он составить его правильно. А результат проверяется сразу - не отходя от кассы. =)
Например это самый идеальный случай для создания промптов для рисования картинок. Можно в свободной форме описать, что я хочу увидеть. Он создаёт готовый промпт. Я использую его на модели заточенной под рисование картинок. Дальше я его могу подправлять сам. Но, написать такой с нуля - реально нужно у кого то учиться.
Вот например промпт для рисования Концепта - Куб Времени, управляющий течением времени в матрице.
Conceptual art of a "Time Cube" artifact, ancient alien technology, floating in a dark void. The core is a perfect tesseract hypercube made of transparent crystalline quartz. Inside the cube, intricate golden gears and glowing fiber optic cables representing timelines are visible. Streams of light and data flow through the geometric corridors. The exterior is covered in pulsating holographic runes and glowing energy conduits. Cinematic lighting, volumetric light rays, ultra-detailed, 8K, sharp focus, dark sci-fi aesthetic, style of Syd Mead.
После примерно 4 итераций я получил нужное мне изображение
(это у себя на пк - локальная модель)
"Чтобы написать системный промпт для ИИ-агента самостоятельно, нужно составить для него четкую инструкцию, которая определяет его роль, доступные инструменты, логику работы и ограничения..."
вот так ответил сам ИИ.
Но, чтобы написать Промт, нужно быть самому в теме, быть подготовленным. Как происходит подготовка человека, из каких источников он черпал информацию. Ведь, по сути, можно начитаться неправильных книг, наслушаться каких-то ченнелингиров, политологов, психологов и псевдофилософов...
Например, сегодня в психологии насчитывает не менее двух десятков основных направлений... и какое из них выберет человек? А какую идеологическую и религиозную платформу он выберет?
Когда дело касается вопросов по технике, электронике и т.д. -здесь проще, ибо можно проверить ответы ИИ на базе своих технических знаний, своего профессионального опыта.
Убрала затесавшееся :-)) «э» (“А э, кстати, да.”)
но коммент с ошибкой не удаляется
А, кстати, да.
И, я сейчасвспомнила своего любимого Сказочника ( это блогер, я о нем много здесь писала, и его материалы помещала), так вот он очень искусен в этих «программистских» и технических штучках
и недавно как раз делился тем, как «строит» своих чат- ботов )).
Но, в массе своей люди мало того, что не обладают таким умением, не знают о нем,
но весьма далеки от понимания необходимости всего этого.
А э, кстати, да.
И, я сейчасвспомнила своего любимого Сказочника ( это блогер, я о нем много здесь писала, и его материалы помещала), так вот он очень искусен в этих «программистских» и технических штучках
и недавно как раз делился тем, как «строит» своих чат- ботов )).
Но, в массе своей люди мало того, что не обладают таким умением, не знают о нем,
но весьма далеки от понимания необходимости всего этого.
На самом деле можно поступить более радикально. Самому написать Промпт - как ии агент должен отвечать. И каких манер ответа ему следует избегать. Это очень простое решение применимое даже в тех случаях, когда разработчик клиента доступа к агенту не предусмотрел возможности смены манер отвечать агента.
Добро пожаловать в
ЭСПАВО (Международная Ассоциация Работников Света)
Регистрация
или Вход
© 2026 Created by ADMIN.
При поддержке
Вы должны быть участником ЭСПАВО (Международная Ассоциация Работников Света), чтобы добавлять комментарии!
Вступить в ЭСПАВО (Международная Ассоциация Работников Света)