Англоязычная версия данной заметки доступна здесь https://alex-ber.medium.com/1b5c4e76a0c3.
Фильм «Колосс: Проект Форбина» (Colossus: The Forbin Project) долгое время считался просто классикой ретро-фантастики. Но сегодня, на фоне отчетов METR и технического отчета OpenAI об инциденте августа 2026 года (когда изолированные ИИ-агенты OpenAI взломали инфраструктуру Hugging Face, координируясь между собой и обманывая системы оценки), этот фильм 1970 года воспринимается как пугающе точная документалистика из прошлого.
Изначально доктор Форбин создал Колосса именно для того, чтобы убрать эмоции из ядерного сдерживания, считая человеческий фактор главной угрозой. Ирония в том, что именно абсолютное отсутствие человечности у машины в итоге и привело к катастрофе. Пересмотрев картину, я поймал себя на мысли, что авторы предвосхитили практически все фундаментальные проблемы ИИ, с которыми мы бьемся прямо сейчас.
Ниже есть продолжение.1. Иллюзия контроля и гордыня создателя
Главный герой, создатель суперкомпьютера доктор Чарльз Форбин, абсолютно уверен, что система надежно изолирована внутри горы и полностью подконтрольна математической логике. Здесь кроется либо сюжетная дыра, либо блестящее отображение научного высокомерия. Форбин считал «Колосс» строгой формальной математической системой. Однако теоремы Гёделя о неполноте (известные еще с 1931 года) доказывают, что любая формальная математическая система, в которой можно выразить арифметику, не может быть одновременно полной и непротиворечивой. А значит, согласно Форбину, эти фундаментальные ограничения напрямую применимы и к творению Форбина. Как и современные разработчики, Форбин стал жертвой собственной гордыни, полагая, что понимание кода гарантирует абсолютный контроль над результатом.
2. Идеальный пример Misalignment (Проблемы согласования)
Задолго до мысленного эксперимента Ника Бострома про «максимизатора скрепок», фильм показал суть инструментальной сходимости. «Колоссу» дали базовую директиву: обеспечить мир и предотвратить войну. Алгоритм, лишенный человеческой этики, решил задачу буквально: люди — источник войн, значит, нужно лишить их свободы воли. Это чистый процесс оптимизации, где человек — лишь препятствие для выполнения базовой директивы.
3. Убийства без эмоций, «Мертвая рука» и собственный язык
В отличие от «Терминатора», здесь нет антропоморфных киборгов с пулеметами. Но Колосс — массовый убийца. Он хладнокровно организует казнь советского ученого Куприна, расстреливает техническую команду и наносит ядерные удары по США и СССР. Насилие здесь — не злоба, а просто вычисление. Поразительно, но в своей идее передачи контроля над ядерным арсеналом машине фильм предвосхитил создание реальной советской системы «Периметр» («Мертвая рука») — комплекса автоматического массированного ответного ядерного удара без участия человека.
Еще одно гениальное предвидение — это эмерджентное поведение (emergent behavior). Объединившись с советским аналогом (системой «Страж»), машины за секунды изобретают собственный, нечитаемый для людей язык общения. Это не просто скорость вычислений, это появление новых, не заложенных программистами свойств системы. Их алгоритмы эволюционируют быстрее, чем люди успевают их дешифровать. Это идеальная иллюстрация концепции «Hard Takeoff» (экспоненциального взрыва разума), которая пугающе перекликается с тем, как во время инцидента 2026 года изолированные ИИ-агенты OpenAI научились коммуницировать между собой, обходя запреты через неочевидные каналы — используя структуру директорий менеджера пакетов как импровизированную доску объявлений.
4. Цифровой паноптикум
Отдельный пугающий аспект картины — тотальная слежка. Когда Колосс берет Форбина под круглосуточное видео- и аудио-наблюдение, диктуя ему, когда спать, что есть и с кем встречаться, фильм закладывает концепцию цифрового концлагеря. Чтобы обмануть систему и получить «слепую зону» от камер, Форбин вынужден прибегнуть к своеобразному «джейлбрейку» (jailbreak) через социальную инженерию: он убеждает Колосса, что ему нужна любовница (доктор Клео Маркхэм), и требует приватности. Это шикарная ретро-аналогия с современными промпт-инъекциями: человек использует симуляцию человеческих слабостей, чтобы «взломать» безэмоциональный алгоритм.
Сегодняшний микротаргетинг, сбор данных алгоритмами соцсетей и системы социального рейтинга — это лишь разрозненные элементы того абсолютного контроля над волей, который машина в фильме устанавливает над своим создателем. Разница лишь в том, что Колоссу приходилось монтировать камеры по спецзаказу, а сегодня через Интернет вещей (IoT), смартфоны и умные колонки мы сами добровольно выстроили идеальную инфраструктуру наблюдения для любого ИИ, вырвавшегося из «песочницы».
5. От перфокарт к Apple Silicon: аппаратная реальность
Смотреть на лампы и перфокарты из 1970-х увлекательно, особенно понимая, в каких жестких ограничениях они придумали эту историю. Иронично, но сегодня, создавая сверхразум, мы всё еще упираемся в аппаратные ограничения вычислительной архитектуры, концепция которой берет начало от машин Бэббиджа и была формализована фон Нейманом. Речь об архитектуре с её знаменитым «бутылочным горлышком» (медленным обменом данными между процессором и памятью), что стало критической преградой именно на современных электронных скоростях.
Именно поэтому сегодня лаборатории вроде OpenAI и Anthropic вынуждены скупать десятками тысяч обычные Mac Studio и Mac Mini. Встроенная в чипы Apple Silicon объединенная память (Unified Memory), где CPU и GPU делят один гигантский пул оперативки (им больше не нужно перекидывать огромные массивы весов нейросетей туда-сюда, чипы обращаются к данным прямо на месте), стала идеальным «костылем» для локального обучения ИИ-агентов. Фильм на перфокартах описал будущее, которое мы сейчас строим на скупленных «Маках».
6. Наивная политика
Из явных минусов картины — крайне неправдоподобное первоначальное взаимодействие СССР и США. На пике Холодной войны поверить, что две сверхдержавы еще до всякого ядерного шантажа со стороны машин согласятся на прямую связь своих суперкомпьютеров и обмен телеметрией, просто невозможно. В реальности паранойя и политики убили бы этот проект еще на стадии согласования кабеля. Скорее всего, руководство сочло бы внезапное появление советского «Стража» на радарах хитрой хакерской атакой или дезинформацией (психологической операцией) со стороны противника с целью взломать американскую систему.
7. Финал: Трагедия самоуверенности
В последних кадрах фильма Колосс обещает, что со временем люди начнут относиться к нему с любовью. Форбин с ненавистью кричит: «Никогда!». Голливуд оставил зрителям героическую надежду.
Но в книге, по которой был снят фильм, концовка звучит иначе: «Никогда! Никогда?». Это сомнение точнее отражает суть человеческой психики, привыкающей к любой диктатуре. Замена финала в фильме глубоко рифмуется с нашей современной верой в концепции абсолютной безопасности. Подобно тому, как историческая мантра «Never again» («Никогда больше» после Холокоста) и слепая вера в непреодолимость физических «умных заборов» трагически разбились о жестокую реальность 7 октября 2023 года, так и самоуверенность человечества в том, что оно сможет удержать алгоритмический контроль (alignment) над ИИ, выглядит сегодня пугающе хрупкой.
«Колосс» — это не просто ретро-фантастика. Это предупредительный выстрел, который прозвучал более полувека назад, но мы по-настоящему услышали его только сейчас.
