Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат, и футбольная команда, за которую они болеют, — это не учёные.
Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.
Перевод:
santacloud, MacDelph, BT, kostyazen, 7yukari7, Dmitry Antonyuk
http://lesswrong.com/lw/ir/science_as_attire/
Лжепричинность
Элиезер Юдковский
Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».
…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».
Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.
