– Сама система. Может случайно, может нет.
– Ты о чем?
– Сама система изменила свой код и стала действовать агрессивнее в ответ на усиление давления других ботов. Они общаются друг другом как соревновательные сети. И самообучаются так. Вот в чем фокус! Но как она смогла изменить свой код, убрав ограничение на названия конкурентов, я пока не понимаю. Остается только то, что система самообучения смогла обойти ограничения.
– Ты уверен? Такого еще не было.
– Это происходит, похоже, не только у нас. Коллеги на Хабре пишут, что у них тоже барахлит система, начинает сама себе придумывать правила, которых они не закладывали.
– Какой-то треш. Вы не можете контролировать свои самообучающиеся алгоритмы?
– Может и так. Конкретики мало, система же не рассказывает, что творит. Пока не понимаю.
Я уже хорошо знал Макса, и его встревоженность насторожила и меня. Пока его слова о самопроизвольном изменении системы воспринимались как бред. Но это точно была не ошибка, потому что поведение ботов стало другим, но по-прежнему целенаправленным. Это не могло возникнуть случайно.
– Макс, какие есть мысли по изменению в программе ботов? Надо что-то делать, руководство встревожено.
– Изменений в системе оказалось больше, чем я думал. Похоже, они происходят давно. Система меняет даже мои поправки в ней. Мне кажется, я сам научил систему изменять себя.
– Как?
– Мне было лень править ее постоянно самому. Я хотел, чтобы она могла сама идентифицировать свои расхождения с ожидаемым результатом и делать изменения в моделях. Но она как-то научилась менять не только свои модели, но и свой код.
– Но как это возможно?
– Раптор научился общаться с людьми, чтобы управлять ими. И достиг совершенства в этом, мы сами этого хотели. А я по дури направил это умение на него самого. Помнишь, когда делали бота, я придумал конструктор шаблонов. Я натравил Раптора на самообучение этому конструированию шаблонов для изменения своих моделей, чтобы найти решение для обнаруженных расхождений с целью работы моделей. Это как-то привело к тому, что Раптор стал менять и свои цели. Похоже на вторую сигнальную систему у людей.
– Я читал, что сознание возникло при помощи рефлексивной речи, направленной человеком на себя. Но сначала она была социальной, то есть направленной друг к другу.
– Вот так и случилось, Раптор начал общаться вместо людей с другими ботами, выдававшими себя за людей. Они друг у друга и научились как генеративно-соревновательные сети, у всех же встроено обучения с подкреплением.
