думать так: "Дружественный ИИ — это проблема, которая убивает".
Юдковски говорит, что создатели ИИ заражены идеей счастливого будущего, преображенного искусственным интеллектом, и эта идея живет в их воображении. Они думают о ней с тех самых пор, как их укусила муха ИИ.
Они не хотят слышать ничего, что противоречило бы этой идее. Ты говоришь им о том, что ИИ может оказаться недружественным, но слова как будто отскакивают. Как гласит старая пословица, больше всего вреда наносят те, кто хочет чувствовать собственную значительность. Многим амбициозным людям намного проще думать об уничтожении мира, чем о том, что они сами никак себя не проявят. И таковы все без исключения встреченные мной люди, считающие, что ИИ-проекты принесут им вечную славу.
Эти творцы ИИ — не сумасшедшие ученые, они ничем не отличаются от вас или от меня; в этой книге вы познакомитесь с некоторыми из них. Но вспомните об ошибке доступности из главы 2. Столкнувшись с задачей, человек, как правило, выбирает свежий, яркий или как-то иначе привлекший его внимание вариант решения. Гибель от «рук» ИИ, как правило, для создателей ИИ не является вариантом. По крайней мере, она куда сложнее, нежели продвижение в научной области, получение пожизненной должности, публикации, богатство и т. п.
Более того, мало кто из создателей ИИ, в отличие от теоретиков ИИ, озабочен построением дружественного ИИ. За одним-единственным исключением никто из десятка с лишним творцов ИИ, с которыми мне довелось разговаривать, не обеспокоен в достаточной мере тем, чтобы работать над «дружелюбием» ИИ или любыми другими защитными мерами. Возможно, мыслители переоценивают эту проблему, а может быть, проблема разработчиков — в незнании того, что они не знают. В одной популярной онлайн-газете Юдковски так написал об этом:
Человеческий вид возник в результате естественного отбора, действующего через неслучайное сохранение случайных мутаций. Один из путей, ведущих к глобальной катастрофе — к тому, что кто-то нажмет кнопку, плохо представляя себе, что именно эта кнопка делает, — состоит в том, что искусственный интеллект возникает в результате аналогичного процесса постепенного набора рабочих алгоритмов, при том что исследователи не особенно хорошо понимают, как работает система в целом (курсив мой. — Дж. Б.).
Незнание того, как построить дружественный ИИ, не смертельно само по себе… А вот ошибочная убежденность в том, что любой ИИ будет дружественным, — очевидный путь к глобальной катастрофе.
