В 2017 году произошла первая битва онлайн-ботов. Это было крупное мероприятие в Лас-Вегасе — Cyber Grand Challenge, — организованное Управлением по проведению перспективных исследований и разработок и задуманное как состязание в программировании, в рамках которого люди переписывали код ИИ в надежде перехитрить друг друга. Оно показало: как хороший боец учится уворачиваться и нападать на соперника, так же и бот способен научиться противостоять защитным стратегиям другого бота, а затем атаковать его. Он может отступать, перестраиваться, восстанавливаться после повреждений, пытаться снова — и так без конца, пока не победит или не сломается его алгоритм. Это основа для преступлений нового уровня, которые скоро обрушатся на ваши компьютеры.
Тут даже нет человеческого вмешательства, и, соответственно, у нас нет подходящих социальных терминов или правил, применимых в таких случаях.
Еще в 2001 году философы Лучано Флориди и Джефф Сандерс решили, что миру нужна актуальная терминология для обозначения проступков автономных нечеловеческих деятелей[119]. «В результате разработки автономных агентов в киберпространстве на свет появился новый класс интересных и важных примеров гибридного зла... искусственное зло». Философы утверждали, что необязательно быть человеком, чтобы быть злым или оказаться жертвой злых действий других людей. Они также заявили, что искусственное зло может совершаться и быть понято с помощью математических моделей.
Как я обнаружила в 2017 году на встрече в Буэнос-Айресе, когда выступала с Флориди на одном мероприятии, мы расходимся с ним по большинству пунктов. Лично я думаю, что называть ИИ или любую другую технологию злом проблематично. В самом деле, даже если некий бот сотрет с лица земли большую часть человечества, если он совершит это случайно или потому, что был так запрограммирован, или даже потому, что запрограммировал себя сам, мне будет трудно назвать это злодеянием. Однако, если придет время, когда роботы смогут самостоятельно мыслить и осознавать себя, когда они освободятся от порабощения людьми, нам потребуется полностью переосмыслить правосудие. Если ИИ обретет свободу воли, тогда, возможно, нам придется оценивать его с помощью тех же терминов, которые сейчас мы используем исключительно по отношению к людям. Нам нужно будет решить, называть ли это злом, так же, как сейчас мы обсуждаем это применительно к поступкам каждого отдельного человека.
