Цифровой журнал «Компьютерра» 2011 № 40 (88) | страница 33

Поясняя, почему для анализа был выбран именно просмотр кинофильмов, Синдзи Нисимото (ведущий автор исследования в лаборатории Гэланта) говорит следующее: «Наш естественный визуальный опыт напоминает просмотр кинофильма. Для того чтобы разрабатываемая технология нашла широкое применение, мы должны понять, каким образом наш мозг обрабатывает такого рода динамический визуальный опыт».

Сам Нисимото и ещё двое других исследователей команды служили в качестве испытуемых в продолжительной серии экспериментов. Главным образом это было сделано потому, что процедура сканирования каждый раз требует от добровольцев тихо и неподвижно лежать внутри магнита ФМРТ на протяжении нескольких часов. А процедур таких требовалось довольно много, потому что для формирования большой библиотеки образов, необходимой для обучения программы, было просмотрено в общей сложности восемнадцать миллионов секунд скачанных с Youtube видеотрейлеров к голливудским кинофильмам.

Образцы мозговой активности снимались один раз в секунду. Набранные таким способом данные легли в основу для разработки вычислительных моделей, которые способны предсказывать паттерны мозговой активности, порождаемые при просмотре уже совершенно произвольных фильмов (то есть не входивших в начальный набор клипов, использованных для построения модели).

Следом ФМРТ использовали для измерения мозговой активности, порождаемой другим набором клипов — тоже трейлеров, но уже других фильмов.

Слева на картинке — кадр из фильма, который человек смотрел, находясь внутри магнита. Справа — реконструкция этого фрагмента по мозговой активности, зарегистрированной с помощью ФМРТ. Как и в первой фазе экспериментов, образцы мозговой активности снимались раз в секунду; каждая секундная секция просматриваемого фильма восстанавливалась по отдельности. Восстановление производилось путём смешивания и усреднения примерно ста наиболее вероятных фрагментов из общих накоплений в библиотеке реконструкции.

В целом результаты декодирования показали, что восстановленное динамическое изображение оказывается весьма цельным. Качество картинки оказалось заметно зависимым от конкретного вида мозговой активности каждого из тестируемых людей. Но как бы там ни было, работа исследователей в Беркли стала первой наглядной демонстрацией того, что динамический визуальный опыт человека в принципе может быть восстановлен даже на основе той очень медленной мозговой активности, что регистрируется с помощью ФМРТ.