Машина неверно истолковала причинно-следственную связь. Не понимая, что гроссмейстер жертвует ферзем только в случае, если это прямой и верный путь к победе, она сделала вывод, что игрок побеждает вскоре после того, как отдаст ферзя, то есть ошибочно связала потерю шахматной фигуры и победу. Данную проблему прогностические машины решили, но обратная причинность остается слабым местом этих технологий.
В бизнесе такие задачи тоже встречаются. В большинстве сфер низким ценам сопутствует падение продаж. Например, в гостиничном бизнесе в несезонное время цены снижаются, но вырастают, когда спрос большой и отели переполнены. На основании таких данных машина может наивно предположить, что если поднять цены, то повысится спрос. Человек – хотя бы с минимальными познаниями в экономике – понимает, что рост цен служит следствием повышения спроса, а не наоборот. То есть, если поднять цены, продажи не вырастут.
Человек может предоставить машине верные данные (например, предложения индивидуального комфорта гостиничного номера исходя из цены) и соответствующие модели (с учетом сезонного спроса, а также других требований и предложений), чтобы лучше прогнозировать продажи по различным ценам. Для машины это неизвестные известные, но человек, разбирающийся в ценообразовании, воспринимает их как известные неизвестные или даже известные известные, если способен принимать решения по ценам самостоятельно.
Проблема с неизвестными известными и причинно-следственная зависимость становятся еще важнее в присутствии стратегического поведения других людей. Поиск Google работает по секретным алгоритмам. Они создаются с помощью прогностических машин, прогнозирующих, на какую ссылку пользователь нажмет с наибольшей вероятностью. Для администратора веб-сайта высокое ранжирование означает больше посетителей и продаж. Большинство администраторов знают об этом и делают оптимизацию в поисковых системах: стараются повысить рейтинг сайта в результатах поиска Google. Оптимизация, как правило, заключается в построении обходных путей существующих алгоритмов, в результате чего со временем поисковая машина замусоривается спамом и неинтересными пользователю ссылками.
Прогностические машины великолепно выполняют краткосрочные задачи – прогнозируют, на какую ссылку нажмут пользователи. Но через недели и месяцы обмануть систему ухитряется так много администраторов, что Google приходится постоянно обновлять прогностическую модель. Такое «перетягивание каната» между поисковой машиной и спамерами обусловлено возможностью обмануть прогностическую машину. Google пыталась разработать систему, в которой это было бы невыгодно, и попутно обнаружила, что полностью полагаться на прогностические машины неразумно. По этой причине Google начала использовать человеческие суждения для реоптимизации от подобного спама
