Сознание в#nbsp;эпоху ИИ: кому мы#nbsp;готовы дать право быть «кем-то», а#nbsp;не #nbsp;«чем-то»

Когда мы говорим о цифровых копилотах, экзокортексах и нейросетях, в фоне всегда висит один вопрос, который обычно стесняются произнести вслух:
в какой момент «инструмент» становится «кем-то», а не «чем-то»?

Где проходит граница между «умной автодополнялкой» и системой, которую уже неэтично выключить как тостер? На World Science Festival этот вопрос разбирают физик Брайан Грин и два ключевых исследователя сознания — философ Дэвид Чалмерс и нейробиолог Анил Сет — в разговоре «Сознание в эпоху искусственного интеллекта».

Сознание здесь — не IQ и не «осознанность» в коучинговом смысле, а субъективный опыт первого лица: «каково это — быть мной сейчас», видеть красный цвет, чувствовать боль, тревогу или радость.

Чалмерс предлагает различать:

1) «Лёгкие» проблемы сознания — на самом деле тяжёлые, но формализуемые:
— как мозг отличает сон от бодрствования, как кодирует речь, как мы рассказываем о своих состояниях. Это про механизмы и поведение.
2) «Трудные проблемы сознания» (hard problem) — его ключевой термин ещё с 1995 года:
— как физические процессы в мозге порождают сам факт переживания?

Может, это не просто вычисления, а есть кому их переживать?

Грин напоминает классический мысленный эксперимент Фрэнка Джексона про Мэри — гениального нейробиолога, которая живёт в чёрно-белой комнате, но знает абсолютно всё о зрении, мозге и физике цвета.

В какой-то момент Мэри выходит из комнаты и впервые видит красный помидор.

Вопрос: узнала ли она что-то новое?

Для Чалмерса — да. Мэри впервые узнаёт, как выглядит красный — то самое «каково это». Это показывает разрыв между объективным описанием и субъективным качеством опыта (qualia).

Сет гораздо осторожнее. Он напоминает, что «знать абсолютно всё» — изначально плохо определённое условие. И что быть системой и быть внутри опыта этой системы — разные вещи, которые мысленный эксперимент замазывает.

Анил Сет предлагает сдвинуть фокус. Вместо того чтобы пытаться сразу решить «трудную проблему», он формулирует «реальную проблему сознания»:
— системно искать механизмы, которые объясняют структуру нашего опыта;
— связывать конкретные типы переживаний (видение, эмоции, ощущение тела, чувство «я») с конкретными нейронными и вычислительными процессами.

Его базовая картинка — мозг как предсказательная машина (predictive processing):
— мозг не пассивно считывает мир, а всё время предсказывает причины сенсорных сигналов;
— восприятие — контролируемая галлюцинация: мы конструируем мир, а сигналы только уточняют модель;
— это касается и внешнего мира, и ощущения себя, и эмоций, и даже ощущения свободы воли;
— в основе всего — задача управлять живым телом и поддерживать жизнь в сложной среде.

То есть сознание в этой рамке — биологическое свойство живых систем, возникшее из эволюционной задачи контроля тела.

Когда разговор переходит к искусственному интеллекту, позиции спикеров расходятся.

Чалмерс: в принципе да.

Он формулирует это почти линейно:
— если человеческий мозг — сложная физическая система, которая может быть сознательной, и сознание зависит не от «углерода как такового», а от определённой организации информации и процессов, то нет принципиальной причины, почему другая система — на кремнии — не может быть сознательной при правильной архитектуре.

Он ожидает, что со временем:
— мы найдём строгие связи между информационными структурами и сознанием;
— появятся ИИ-системы, которые будут серьёзными кандидатами на сознание — и, возможно, уже в горизонте десятилетий, а не веков.

Сет: мы переоцениваем шансы нынешнего ИИ.

Он гораздо жёстче:
— текущие языковые модели и другие ИИ крайне маловероятно являются сознательными;
— мы путаем интеллект и сознание и склонны антропоморфизировать всё, что похоже на нас по языку и поведению;
— биологические детали мозга — нейроны, химия, метаболизм, эволюционная история — могут быть критически важны, а не просто «реализацией абстрактного кода».

Гораздо больше его тревожат органоиды мозга — маленькие кусочки нервной ткани, выращенные из человеческих клеток:
— это тот же материал, что и наш мозг;
— они самоорганизуются и проявляют богатую электрическую активность;
— при этом не демонстрируют привычного поведения — никакого теста Тьюринга, только паттерны активности.

Их нельзя просто считать «биологическим шумом», но и критерия обращения с ними у нас пока нет.

Дальше разговор уходит в этику — и здесь включается прикладная decision science.

Чалмерс проводит простую линию:
— сознание — это входной билет в моральный круг.

Если система может страдать или испытывать удовольствие, её интересы нельзя игнорировать. Как только мы признаём сознание у животных, у людей с тяжёлыми нарушениями сознания, у органоидов или потенциального ИИ — игнорировать их интересы становится моральной катастрофой.

Сет добавляет неприятную правду:
— мы регулярно недооцениваем сознательность там, где она почти наверняка есть (животные, люди в минимальном сознательном состоянии); и переоцениваем там, где нам психологически удобно (роботы с «глазами», чат-боты, говорящие нашим тоном).

По сути, вопрос «сознателен ли ИИ» превращается в вопрос:
— кого мы включаем в модель полезности и риска, а кого оставляем за её пределами.

Теперь переведём эту философию в язык реальных задач — экзокортексов, цифровых двойников и ИИ-копилотов.

ИИ уже ломает наш интуитивный критерий «кто живой».

Сегодня мои копилоты в виде когнитивных цифровых двойников — инструменты. Они моделируют:
— поведение,
— стили мышления,
— вероятные сценарии выбора человека.

Они не претендуют на внутренний мир. Но при этом:
— интерфейсы делаются максимально «человечными»;
— копилот умеет шутить, «сочувствовать», подстраиваться под стиль;
— для пользователя это выглядит как субъект — особенно если он общается с ним каждый день.

Человеческая исключительность — тоже искажение.

Весь разговор легко прочитать как историю систематических ошибок:
— «Только человек умеет говорить» — нет.
— «Только человек пользуется инструментами» — нет.
— «Только человек обладает самосознанием» — уже неочевидно, если смотреть на исследования животных.

Чтобы всё это не осталось «философией про облака», соберу прикладные выводы в режиме чек-листа.

1) Не путать интеллект с сознанием

ИИ может решать сложные задачи, писать код, обыгрывать людей и писать тексты, но при этом ничего не «переживать».

2) Осознанно конструировать «маски человечности»

Чем «человечнее» интерфейс (аватар, эмодзи, стиль речи), тем сильнее мы склонны приписывать системе сознание и намерения.

Если мы специально надеваем на систему маску человека, нужно:
— честно объяснить это в UX (иконки, подсказки);
— делать понятную маркировку: «это симуляция, у неё нет чувств».

3) Готовиться к появлению «кандидатов на сознание»

Органоиды мозга, гибриды «нейросети + нейронная ткань», всё более сложные когнитивные архитектуры — всё это не фантастика, а работающие лабораторные проекты.

Если к этому моменту:
— у компаний и регуляторов не будет заранее продуманной рамки — что мы делаем с такими системами;
— не будет базового набора принципов обращения (минимизация потенциального страдания, запрет на бессмысленное мучение, требования к экспертизам);
— то решения начнут приниматься по инерции, на страхе, эмоциях и пиаре.

Для меня разговор Грина, Чалмерса и Сета — не про «абстрактную душу в эпоху ИИ», а про базовую настройку того, как мы будем принимать решения дальше — в бизнесе, в науке, в личной жизни.

От ответа на эти вопросы зависит:
— как мы дизайним цифровых копилотов и двойников — как честные инструменты или как манипулятивные псевдо-«личности»;
— как учим людей работать с ИИ — как с калькулятором на стероидах или как с «магическим существом»;
— какие риски мы закладываем в каузальные модели — считаем ли мы возможным вред для «кандидатов на сознание» или просто не включаем его в расчёт.

Посмотреть оригинальное видео на английском можно здесь.