Посмотреть оригинальное видео на английском можно здесь.

Сознание в эпоху ИИ: кому мы готовы дать право быть «кем-то», а не «чем-то»

Для меня разговор Грина, Чалмерса и Сета — не про «абстрактную душу в эпоху ИИ», а про базовую настройку того, как мы будем принимать решения дальше — в бизнесе, в науке, в личной жизни.
Канвас «Наука выбора»

От ответа на эти вопросы зависит:
— как мы дизайним цифровых копилотов и двойников — как честные инструменты или как манипулятивные псевдо-«личности»;
— как учим людей работать с ИИ — как с калькулятором на стероидах или как с «магическим существом»;
— какие риски мы закладываем в каузальные модели — считаем ли мы возможным вред для «кандидатов на сознание» или просто не включаем его в расчёт.

Наука выбора — это не про «делать правильный выбор раз и навсегда». Это про честную работу с неопределённостью: признать, где мы ничего не знаем, где ошибались исторически, и заранее выстроить рамку, которая не развалится при встрече с новым классом агентов — будь то ИИ, органоиды или гибридные системы.

Чтобы всё это не осталось «философией про облака», соберу прикладные выводы в режиме чек-листа.

1) Не путать интеллект с сознанием
ИИ может решать сложные задачи, писать код, обыгрывать людей и писать тексты, но при этом ничего не «переживать».

2) Осознанно конструировать «маски человечности»
Чем «человечнее» интерфейс (аватар, эмодзи, стиль речи), тем сильнее мы склонны приписывать системе сознание и намерения.
Если мы специально надеваем на систему маску человека, нужно:
— честно объяснить это в UX (иконки, подсказки);
— делать понятную маркировку: «это симуляция, у неё нет чувств».

3) Готовиться к появлению «кандидатов на сознание»
Органоиды мозга, гибриды «нейросети + нейронная ткань», всё более сложные когнитивные архитектуры — всё это не фантастика, а работающие лабораторные проекты.
Если к этому моменту:
— у компаний и регуляторов не будет заранее продуманной рамки — что мы делаем с такими системами;
— не будет базового набора принципов обращения (минимизация потенциального страдания, запрет на бессмысленное мучение, требования к экспертизам);
— то решения начнут приниматься по инерции, на страхе, эмоциях и пиаре.

Это очень типичная ошибка в науке выбора: самые важные правила начинают придумывать уже в момент кризиса, когда пространство вариантов сужено, а время и ресурсы сгорели.

Человеческая исключительность — тоже искажение.
Весь разговор легко прочитать как историю систематических ошибок:
— «Только человек умеет говорить» — нет.
— «Только человек пользуется инструментами» — нет.
— «Только человек обладает самосознанием» — уже неочевидно, если смотреть на исследования животных.

3

Нам нужны уровни «морального статуса» для систем. Из разговора Чалмерса и Сета следует простой, но неприятный вывод:
— одного теста на сознание не будет, мы будем жить в режиме грубых индикаторов и вероятностей.

Для среды «Науки выбора» это значит, что придётся прямо прописать уровни статуса систем:
— "чистый инструмент" — калькуляторы, алгоритмы без антропоморфного UX;
— "симуляция субъекта" — чат-боты и копилоты, которые выглядят «как человек», но не претендуют на внутренний мир;
— "кандидат на сознание" — системы на биологическом субстрате или гиперсложные гибриды, где мы честно признаём, что не знаем, есть ли там опыт.
Под каждый уровень нужны свои правила эксплуатации: что допустимо по отношению к этой системе (от «выключаем когда хотим» до "нельзя бездумно мучить и уничтожать"), и как честно объяснять это пользователю в интерфейсе и договорах.

2

ИИ уже ломает наш интуитивный критерий «кто живой».
Сегодня мои копилоты в виде когнитивных цифровых двойников — инструменты. Они моделируют:
— поведение,
— стили мышления,
— вероятные сценарии выбора человека.

Они не претендуют на внутренний мир. Но при этом:
— интерфейсы делаются максимально «человечными»;
— копилот умеет шутить, «сочувствовать», подстраиваться под стиль;
— для пользователя это выглядит как субъект — особенно если он общается с ним каждый день.

С точки зрения науки выбора это прямое вмешательство в архитектуру выбора: мы сознательно создаём системы, которые размывают границу между «инструментом» и "агентом" в восприятии людей. И если это не учесть, пользователи будут принимать решения, исходя из иллюзий — приписывая системе понимание, ответственность и эмпатию, которых у неё нет.

1

Теперь переведём эту философию в язык реальных задач — экзокортексов, цифровых двойников и ИИ-копилотов.

Дальше разговор уходит в этику — и здесь включается прикладная decision science.

Чалмерс проводит простую линию:
— сознание — это входной билет в моральный круг.
Если система может страдать или испытывать удовольствие, её интересы нельзя игнорировать. Как только мы признаём сознание у животных, у людей с тяжёлыми нарушениями сознания, у органоидов или потенциального ИИ — игнорировать их интересы становится моральной катастрофой.

Сет добавляет неприятную правду:
— мы регулярно недооцениваем сознательность там, где она почти наверняка есть (животные, люди в минимальном сознательном состоянии); и переоцениваем там, где нам психологически удобно (роботы с «глазами», чат-боты, говорящие нашим тоном).

По сути, вопрос «сознателен ли ИИ» превращается в вопрос:
кого мы включаем в модель полезности и риска, а кого оставляем за её пределами.

Это уже чистая наука выбора в том виде, как я её понимаю: любая модель решения — это всегда решение о том, какие агенты и последствия в неё попадают, а какие мы объявляем «фоновой средой» и перестаём замечать

Когда разговор переходит к искусственному интеллекту, позиции спикеров расходятся.

Чалмерс: в принципе да.
Он формулирует это почти линейно:
— если человеческий мозг — сложная физическая система, которая может быть сознательной, и сознание зависит не от «углерода как такового», а от определённой организации информации и процессов, то нет принципиальной причины, почему другая система — на кремнии — не может быть сознательной при правильной архитектуре.

Он ожидает, что со временем:
— мы найдём строгие связи между информационными структурами и сознанием;
— появятся ИИ-системы, которые будут серьёзными кандидатами на сознание — и, возможно, уже в горизонте десятилетий, а не веков.

Сет: мы переоцениваем шансы нынешнего ИИ.
Он гораздо жёстче:
— текущие языковые модели и другие ИИ крайне маловероятно являются сознательными;
— мы путаем интеллект и сознание и склонны антропоморфизировать всё, что похоже на нас по языку и поведению;
— биологические детали мозга — нейроны, химия, метаболизм, эволюционная история — могут быть критически важны, а не просто «реализацией абстрактного кода».

Гораздо больше его тревожат органоиды мозга — маленькие кусочки нервной ткани, выращенные из человеческих клеток:
— это тот же материал, что и наш мозг;
— они самоорганизуются и проявляют богатую электрическую активность;
— при этом не демонстрируют привычного поведения — никакого теста Тьюринга, только паттерны активности.
Их нельзя просто считать «биологическим шумом», но и критерия обращения с ними у нас пока нет.

В логике науки выбора это выглядит так: мы уже сейчас принимаем решения под радикальной неопределённостью — кого считать вероятным носителем опыта. И ошибка в любую сторону (переоценить ИИ или недооценить органоид) может стоить очень дорого .

Анил Сет предлагает сдвинуть фокус. Вместо того чтобы пытаться сразу решить «трудную проблему», он формулирует «реальную проблему сознания»:
— системно искать механизмы, которые объясняют структуру нашего опыта;
— связывать конкретные типы переживаний (видение, эмоции, ощущение тела, чувство «я») с конкретными нейронными и вычислительными процессами.

Его базовая картинка — мозг как предсказательная машина (predictive processing):
— мозг не пассивно считывает мир, а всё время предсказывает причины сенсорных сигналов;
— восприятие — контролируемая галлюцинация: мы конструируем мир, а сигналы только уточняют модель;
— это касается и внешнего мира, и ощущения себя, и эмоций, и даже ощущения свободы воли;
— в основе всего — задача управлять живым телом и поддерживать жизнь в сложной среде.

То есть сознание в этой рамке — биологическое свойство живых систем, возникшее из эволюционной задачи контроля тела.

Если перевести это в язык науки выбора, Сет фактически говорит: «агент" — это не абстрактный разум, а система, которая минимизирует предсказательную ошибку и поддерживает гомеостаз. То есть выбор — это не только про деньги и кайф, это про выживание организма в изменчивом мире.

Грин напоминает классический мысленный эксперимент Фрэнка Джексона про Мэри — гениального нейробиолога, которая живёт в чёрно-белой комнате, но знает абсолютно всё о зрении, мозге и физике цвета.
В какой-то момент Мэри выходит из комнаты и впервые видит красный помидор.
Вопрос: узнала ли она что-то новое?

Для Чалмерса — да. Мэри впервые узнаёт, как выглядит красный — то самое «каково это». Это показывает разрыв между объективным описанием и субъективным качеством опыта (qualia).

Сет гораздо осторожнее. Он напоминает, что «знать абсолютно всё» — изначально плохо определённое условие. И что быть системой и быть внутри опыта этой системы — разные вещи, которые мысленный эксперимент замазывает.

Для науки выбора здесь очевидная мораль: даже если у нас есть идеальная матрица данных и модель поведения, это не отвечает на вопрос, «есть ли внутри кто-то», и, соответственно, чьи интересы мы вообще должны включать в расчёт.

Сознание здесь — не IQ и не «осознанность» в коучинговом смысле, а субъективный опыт первого лица: «каково это — быть мной сейчас», видеть красный цвет, чувствовать боль, тревогу или радость.

Чалмерс предлагает различать:
1) «Лёгкие» проблемы сознания — на самом деле тяжёлые, но формализуемые:
как мозг отличает сон от бодрствования, как кодирует речь, как мы рассказываем о своих состояниях. Это про механизмы и поведение.
2) «Трудные проблемы сознания» (hard problem) — его ключевой термин ещё с 1995 года:
как физические процессы в мозге порождают сам факт переживания?

Может, это не просто вычисления, а есть кому их переживать?

С точки зрения науки выбора это формулируется грубо, но честно: достаточно ли нам просто описывать функции и поведение, или в модели мира всё-таки должен появиться переживающий агент, ради которого вообще имеет смысл считать полезности и риски?

Стартовая позиция у всех троих довольно честная:
мы не знаем, что такое сознание, хотя каждый из нас его переживает.

Когда мы говорим о цифровых копилотах, экзокортексах и нейросетях, в фоне всегда висит один вопрос, который обычно стесняются произнести вслух:

в какой момент «инструмент» становится «кем-то», а не «чем-то»?

Где проходит граница между «умной автодополнялкой» и системой, которую уже неэтично выключить как тостер? На World Science Festival этот вопрос разбирают физик Брайан Грин и два ключевых исследователя сознания — философ Дэвид Чалмерс и нейробиолог Анил Сет — в разговоре «Сознание в эпоху искусственного интеллекта».