Но в этом самом светлом и самом добром мире пугающими становятся сами по себе философские проблемы. Ум, сохраняющий свою емкость, не может жить вечно: после нескольких тысяч лет он превращается из личности в закольцованную магнитную ленту (самую жуткую картину на эту тему я видел в [17]). Чтобы жить неопределенно долго, ум сам по себе должен расти… а когда он станет достаточно велик и оглянется назад… разве будет он чувствовать себя чем-то родственным тому, что было изначально? Конечно, это позднее существо будет всем тем, чем был когда-то оригинал, но и много чем еще. Таким образом, даже для индивидов наблюдение Кэрнс-Смита (или Линн Маргулис) о понятии постоянного роста, развитии новой жизни из старой должно оставаться верным.
Эта «проблема бессмертия» возникает и куда более прямыми способами. Для практичного рационализма последних веков фундаментом служит понятие «я» и самосознания. Но сейчас понятие самосознания находится под атакой со стороны разработчиков ИИ («самосознание и другие самообманы»). Усиление интеллекта подрывает важность «я» с иного направления. Постсингулярный мир будет включать в себя весьма высокоскоростные сети. Центральной чертой сильно сверхчеловеческих сущностей станет, вероятно, их способность общаться на различной широте полосы пропускания, в том числе на скоростях куда больших, чем нужно для речи или письменных сообщений. Что произойдет с фрагментами «я», когда их можно будет копировать и сливать, когда размер самосознания сможет расти или сокращаться в соответствии с решаемой задачей? А это ведь будут весьма существенные черты сильно сверхчеловеческого и Сингулярности. Думая об этом, начинаешь чувствовать, насколько по сути своей странной и совсем иной станет постчеловеческая эра – независимо от того, насколько разумной и благожелательной она задумывалась.
С одной стороны, такая перспектива отвечает многим из самых счастливых наших мечтаний: бескрайний простор, где мы можем поистине знать друг друга и понимать глубочайшие тайны вселенной. С другой стороны, оно весьма напоминает худший сценарий, который я представлял себе выше в этой работе.
Какая же точка зрения валидна? На самом деле я думаю, что новая эра просто будет слишком иной, чтобы уместиться в классических рамках добра и зла. Эти рамки основаны на идее об изолированных неизменных умах, соединенных слабыми низкоскоростными связями. А мир пост-Сингулярности отвечает более широкой традиции перемен и сотрудничества, которая зародилась, быть может, даже раньше биологической жизни. Все же я думаю, что какие-то понятия этики будут применимы и в той эпохе. Исследования в области УИ и широкополосных коммуникаций должны помочь нам в этом разобраться. Я уже вижу проблески понимания в золотом метаправиле Гуда и, быть может, в правилах для различения себя и окружающего мира на основе широкополосности или узкополосности связи. И так как ум и самосознание будут куда более лабильны, чем раньше, многое из того, что мы ценим (знание, память, мысль), не будет утеряно. Я думаю, Фримен Дайсон правильно это понимал, когда сказал [8]: «Бог – это то, чем становится разум, когда выходит за масштаб нашего восприятия».
