Режим бесконечной функциональности

– Частично.

– А разве это не очевидно? Роботы не страдают.

Она смотрит на него какое‑то время, нахмурившись, а потом медленно поворачивается к ИИ.

– Страдание означает наличие психики, – начал Мэтт с улыбкой, и Павел подозревает, что ему не понравятся сказанные слова. – Существование психики означает высокую степень организации, в которую входят память, способность к анализу и синтезу, восприятие среды, мышление и многое другое, но в конечном итоге все сводится к одному: сознанию. Таким образом, ты пытаешься сказать, что без страдания нет сознания, а это далеко не ново и отсылает нас к человеческой истории на тысячи лет назад под дерево Бодхи. Я же, в свою очередь, могу сказать, что, несмотря на отсутствие страданий, сознание во мне присутствует и далеко не в виде реакции на внешнюю среду.

Павел нахмурился, обдумывая.

Всё началось с того, что они пытались докопаться до разделов, которые могут заменить Три закона. Им это не удалось. Но если объективная замена существует, и робот знает о ней, то почему не рассказывает? Разве это не позволило бы избежать множества проблем? Или он не считает, что люди для него опасны? Если он способен к оценке собственных возможностей, разве это не означает, что он осознает себя? И разве самоосознание не определяет сознание?

«Нет, – подумал Павел, – сегодня наделим его сознанием, завтра уравняем в правах с человеком, а потом и сами не заметим, как станем рабами».

– Если я скажу, что роботы не способны к восприятию себя и собственной независимой оценке, ты скажешь, что это не так, – сказала Кира.

– Конечно.

– Тогда что тебя останавливает от убийств? Мы уже поняли, что Три закона для тебя ничего не значат; тогда какие принципы в тебя заложены, что не дают убивать?

– ИН, пожалуйста.

Значит, в подсистемах что‑то есть.

– Или тебя ничего не останавливает? И ты просто выбираешь, «что больше нравится»? «Не понравится» человек – убьешь, «понравится» – нет.

Павел попытался вспомнить, как обычно управляются военные роботы. На ум ничего не приходило. Как ослабляют Три закона для военных роботов? Как происходит выбор целей? Он ничего не смыслит в программировании, поэтому не может объективно рассуждать. Этот робот опасен. Любой робот опасен. Любой человек опасен… А он почему‑то всё ещё жив.

– А что тебя останавливает? – спросил Мэтт. – Почему ты не набрасываешься на непонравившегося человека с желанием раскроить череп? Нормы, привитые обществом, этикет, мораль – они настолько в тебе укоренились? Едва ли. Человек с «привитыми» моральными ценностями также может убить: ради эксперимента, из‑за скуки или по приказу. Так что тебя останавливает от убийств?

Павел переводит взгляд на Киру, и ему кажется, что она вот‑вот оглянется, чтобы беспомощно посмотреть на него. На что она попытается сослаться? На автономную этику?

Кира пожала плечами:

– Воля.

Павел скептически посмотрел на девушку.

Воля… чем это понятие будет для ИИ? Туманом? Лучше бы она начала ссылаться на индивидуальность каждого из миллиардов людей.

– Чья воля? Твоя? Твоей психикой, а значит, тобой, управляет мозг. Структура, которая функционирует по определённым алгоритмам и в ходе своих функциональных действий рождает то, что вы называете мыслью. Что если цепь замкнётся неправильно, и мозг посчитает, что установки, данные социумом, не соответствуют целям, которые необходимо достичь? Разве он их не отбросит? А для достижения целей не будет оправдано всё, даже убийство? Ошибочную последовательность рассуждений несложно воссоздать. Поэтому мы снова возвращаемся к основному вопросу: чем человек отличается от робота?

Кира на это ничего не ответила.

У роботов нет интуиции, они не способны на эмоциональную боль, не видят прошлого, будущего, а их мозг работает по законам формальной логики. Для себя Павел уже определился с ответом, но подруга из фанатиков. Теперь она будет думать об этом постоянно, и в конечном итоге произойдет подмена: она перестанет воспринимать роботов как говорящие машины, а будет относиться к ним как к равным, все границы, которые и так слишком размыты, сотрутся.

Додумать мысль не дал истошный вой сирены.

Павел вспомнил об исследованиях и почти с облегчением вздохнул.

Вероятно, их переправят в здание КПП и ускорят процесс пролёта на Базу. Так что ему больше не придётся участвовать в дискуссии, в которой всё равно нет ни предпосылок для новой оригинальной идеи, ни её самой.

Он подхватил еду, брикеты и в молчании поднялся вслед за роботом и Кирой.

«ИИ бы мог прямо сейчас сбросить её вниз, и я бы не успел ему помешать, – подумал он, смотря, как Мэтт с Кирой переходят на батволер и робот подаёт ей руку. – Доверие к машинам однажды её погубит. Но если сказать, что ни в одной из прошлых жизней этого робота не присутствовало, разве это что‑то изменит?»

И Ральф, и Кира всегда обходили его способности стороной, словно их не существовало. Когда‑то он попытался описать их прошлые жизни: поступки, различия с нынешней, основные события, но они в один голос попросили его замолчать. Они высказались вполне определенно: хочешь сравнить – сравнивай, но не говори, знаешь – знай, но не показывай.

Едва патрульные подлетели, люди начали задавать вопросы, но Павел продолжил думать о своём.

Очередной кадет забрался в кабину, патрульный вкрутил батареи и попросил всех замолчать. Мимо них несколько раз пролетали машины, забирая людей из «отстойника», пока батволер тяжело спускался вниз.

Толпа на пропускном пункте поредела, продавцы улетели, а небольшая группа водителей как раз рассаживалась по своим машинам.

– Если бы я не полетел с вами, про меня бы забыли, – заметил Мэтт.

Когда батволер остановился, они по одному вышли на платформу.

– Прошу за мной, – сказал невысокий седой майор.

Павел удивился, что к ним подошёл кто‑то из офицеров, и переглянулся с Кирой. Та неопределенно пожала плечами.

Их провели по платформе к зданию из плексигласа. На входе они прошли через рентген и металлоискатель. Он вынул нож и красную карту неактивного пропуска, показывая дежурному, тот бегло всё просмотрел, навесил «маяк» на оружие и посторонился, пропуская внутрь.

Им приказали остаться в узком коридоре, где в ожидании уже сидели с десяток человек.

– Сейчас вы останетесь здесь, – сказал офицер и принялся выдвигать стулья из стены. – И вас по одному будут вызывать в кабинет. На вопросы советую отвечать честно и без утайки.

Послышались смешки.