Что, если технологические способности систем и уровень их интеллекта вырастут в тысячи, в миллионы раз, как нам обещают квантовые и когнитивные компьютеры (в миллион раз более скоростные, чем обычные) и программное обеспечение, которое не надо будет программировать, потому что оно всему научится само?
Какими будут нежелательные последствия такого развития? Станут ли эти посредники и платформы впоследствии использовать наши данные в своих интересах, чтобы получать большую прибыль от нашего участия и оправдать финансовые ожидания своих владельцев и публичных рынков? Учитывая почти полное отсутствие надлежащего регулирования онлайн-платформ, неясно, смогут ли эти всевластные организации удержаться от того, чтобы не перейти границу между случайным и запланированным злоупотреблением данными.
Почему мы думаем, что этого не случится? Мы просто обязаны учитывать эти неприятные сценарии, потому что мы уже встали на путь развития экспоненциальных технологий. Власть социальных сетей в эпоху веб 2.0 (Web 2.0)[89] покажется пустяком по сравнению с могуществом, которое возникнет, когда мы подсоединим всех к единому мощному облачному хранилищу интернета вещей, содержащему постоянно самообучающиеся ИИ-системы наподобие Watson от IBM и DeepMind от Google. Абсолютно все наши данные, включающие даже самые личные медицинские и биологические сведения, станут доступными, и мы и моргнуть не сможем без того, чтобы об этом не узнали как в цифровом, так и в реальном мире.
Я думаю, что технологии и те, кто их обеспечивает, станут гораздо лучше определять, кто мы, что мы думаем и как нами управлять, – и это все без особых затрат. Поэтому нам нужно уделять особое внимание разграничению того, где заканчиваемся мы и где начинаются они, т. е. тому, где наша человечность пересекается с их технологичностью, пока они не стали совсем неотделимы друг от друга.
В таком мире совершенно точно возникнут определенные проблемы. Например, как изменится наше восприятие из-за пузырей фильтров, которые приведут к тому, что мы будем читать и видеть только то, что нам подобрали алгоритмы? Как мы справимся с рисками предвзятости и манипуляции, если даже не будем знать, по какой логике выбирается то, что мы видим и что не видим?
Мы должны начать оттачивать свои навыки наблюдения и оспаривания для того, чтобы власть имущие больше считались с нашими требованиями. Как это повлияет на ожидания от политиков и государственных деятелей?
