Наша задача, как всегда, будет заключаться в том, чтобы найти и сохранить этот баланс – между ящиком Пандоры и лампой Аладдина.
Мы находимся на экспоненциальном и комбинаторном пути во многих связанных с системой STEM дисциплинах. Многие традиционные подходы к обеспечению безопасности окажутся бесполезными, потому что скорость изменений и масштабы потенциальных нежелательных последствий значительно увеличились с тех пор, как кривая достигла точки поворота в 2016 году, когда мы начали увеличивать их с четырех до восьми (не до пяти) и сделали этот первый по-настоящему огромный шаг.
Подход, который отлично работал, когда мы удваивали показатель с 0,01 до 0,02 или даже с одного до двух, может не сработать, когда мы постепенно увеличиваем показатели с четырех до 128 – просто-напросто ставки крайне высоки, а последствия слишком сложны для осознания людьми.
Представьте последствия, если мы будем активно использовать ИИ, геоинженерию и редактирование генома человека. Представьте участие в гонке вооружений с системой управления и ИИ, способными убивать без контроля со стороны человека. Представьте, что государства-изгои и негосударственные субъекты контролируют погоду и могут стать причиной непоправимого ущерба для атмосферы. Представьте, что исследовательская лаборатория в стране с не слишком прозрачной политикой разработает формулу для программирования суперлюдей.
Джеймс Баррат в своей книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens» резюмирует:
Мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).
Слишком много поставлено на кон, чтобы следовать полному и неограниченному технологическому энтузиазму или просто сказать, что это неизбежно или такова наша судьба.
Стоит прочитать оригинальное заявление трансгуманиста Макса Мора по этой теме в 2005 году:
Принцип предосторожности, хоть и связанный с благими намерениями многих его сторонников, по своей сути приводит к смещению институтов принятия решений в сторону статус-кво и отражает реактивный, чрезмерно пессимистический взгляд на технический прогресс. И наоборот, принцип проактивности призывает все стороны обязательно учитывать последствия их деятельности – как хорошие, так и плохие – и применять меры предосторожности к реальным угрозам, с которыми мы сталкиваемся. В то время как предосторожность сама по себе предполагает прогнозирование для приготовления к возможным угрозам, принцип, сформировавшийся вокруг этого явления, угрожает благополучию людей. Принцип предосторожности закреплен во многих международных природоохранных договорах и нормативных актах, что обуславливает острую необходимость предложить альтернативный принцип и набор критериев. Потребность в принципе проактивности станет ясна, если мы поймем недостатки принципа предосторожности
