Политическая организация общества всегда стремилась к автоматизации.

Как только организация выходит за рамки простой семьи или племени, ей требуются данные и процедуры для управления растущей сложностью. С этой точки зрения алгоритмическая рациональность не представляет собой абсолютный разрыв с прошлым, а скорее может быть проанализирована в соответствии с исторической преемственностью, то есть всегда, когда необходимо было установить порядок в условиях сложности и разнородности. Подобно тому, как бюрократия стала основой современного государства, искусственный интеллект (ИИ), похоже, призван стать логикой легитимации организаций и правительств в цифровых обществах. Три элемента, которые изменят политику этого столетия, — это все более интеллектуальные системы, более интегрированные технологии и более квантифицированное общество.

Если политика на протяжении XX века вращалась вокруг дебатов о том, как сбалансировать государство и рынок (сколько власти следует предоставить государству и сколько свободы оставить в руках рынка), то главный вопрос сегодня заключается в том, должны ли наши жизни управляться алгоритмическими процедурами и в какой степени, как увязать преимущества роботизации, автоматизации и цифровизации с теми принципами самоуправления, которые составляют нормативное ядро демократической организации общества. То, как мы настроим управляемость этими технологиями, будет иметь решающее значение для будущего демократии; это может означать ее разрушение или укрепление.

Люди всегда стремились к тому, чтобы некий механический процесс сделал нас менее зависимыми от воли других. Алгоритмическая рациональность, кажется, обещает это, но так ли это на самом деле? Фундаментальная проблема искусственного интеллекта заключается в растущей экстернализации человеческих решений. Повсеместная автоматизация ставит вопрос о том, какое место занимает человеческое решение: является ли оно просто дополнением, модификацией или заменой. Ответ на все эти вопросы позволил бы превратить информатику в политическую дисциплину. В конечном счете, кто решает, когда, казалось бы, никто не решает?

Существует три возможных ответа на этот комплекс проблем, возникающих в связи с растущей значимостью алгоритмического разума из-за делегирования решений искусственному интеллекту: мораторий, этика и политическая критика, то есть предложение о том, чтобы технология была остановлена, по крайней мере, на время, подчинена этическим кодексам или изучена с точки зрения политической критики.

Идея моратория свидетельствует о непонимании природы технологии, ее связи с человеком и, в частности, возможностей искусственного интеллекта по отношению к человеческому интеллекту, который, на мой взгляд, находится под меньшей угрозой, чем предполагают те, кто боится цифрового превосходства. Разумеется, мы сталкиваемся со все более тревожным разрывом между скоростью развития технологий и медлительностью их регулирования. Политические дебаты или законодательство носят в основном реактивный характер. Преимущество моратория заключалось бы в том, что нормативно-правовая база могла бы быть принята проактивно, до того, как исследования продолжат развиваться. Но так не бывает, особенно с такими сложными технологиями. Просьба о моратории описывает вымышленный мир, потому что, с одной стороны, она считает возможной победу искусственного интеллекта над человеческим, а с другой — предполагает, что искусственному интеллекту потребуется всего лишь несколько технических обновлений в течение шести месяцев замораживания его развития. Так на чем мы остановимся? Как получается, что угроза настолько серьезна и в то же время достаточно шести месяцев моратория, чтобы ее нейтрализовать?

Еще один способ попытаться обусловить технологическое развитие — апелляция к этическим критериям. В этом случае речь идет не о том, чтобы остановить развитие, а о том, чтобы направить его в определенном направлении. Именно к этому стремилось множество учреждений, которые в последние годы выдвигали свои призывы, число которых растет обратно пропорционально новизне предложений. Несмотря на то, что ссылка на нормативный горизонт очень важна, эта апелляция не исчерпывает всех возможностей критики. Если мораторий тормозил слишком сильно, то можно сказать, что этика тормозит слишком мало и может в конечном итоге стать безобидным сопровождением бездумного технологического развития. Мы не можем ожидать решения проблемы взаимодействия между искусственным интеллектом и демократией от нынешнего распространения этических кодексов, потому что, хотя они и стремятся защитить основные ценности демократии, они не развивают концептуально проблему того, в какой степени повсеместная автоматизация изменяет демократическое состояние. Вызов, с которым мы сталкиваемся, скорее концептуальный, чем нормативный. Только политическое прочтение цифровой констелляции позволит нам изучить демократическое качество цифровизации.

Критическая теория — это нечто совершенно отличное от этики искусственного интеллекта; критика начинается именно там, где заканчиваются призывы к развитию ответственного и гуманистического искусственного интеллекта. Критика — это не призыв делать добро, а исследование структурных условий, которые делают возможным или невозможным делать добро. Что дает перспектива философской критики в вопросе об алгоритмической рациональности? По сути, это почти никогда не удовлетворяемый полностью вопрос о предположениях, которые мы склонны считать достаточно аккредитованными.

Идеология алгоритмического разума — это не столько преднамеренное сокрытие, сколько отсутствие рефлексии. Ее натурализация заключается в том, чтобы перестать задаваться вопросом о том, какому типу рациональности соответствует алгоритмическая рациональность, думать, что нет альтернативной рациональности или, по крайней мере, разнообразия возможностей относительно того, что делать с этой рациональностью. В этой книге я задаюсь вопросом, что означает демократическое самоуправление и какой смысл имеет свободное политическое решение в этой новой констелляции. Моя цель — разработать теорию демократического принятия решений в среде, опосредованной искусственным интеллектом, разработать критическую теорию автоматического и алгоритмического разума. Нам нужна политическая философия искусственного интеллекта, подход, который не может быть охвачен ни технологическими размышлениями, ни этическими кодексами.

Необходимо продумать идею контроля, которая в то же время соответствовала бы ожиданиям управляемости цифрового мира, который мы не можем оставить вне какого-либо человеческого понимания, масштаба и ориентации, но и не должны осуществлять над ним такую форму подчинения, которая разрушила бы его перформативность. Мы еще не нашли правильного баланса между человеческим контролем и преимуществами автоматизации, но эта трудность также говорит нам об открытом, исследовательском и изобретательском характере человеческой истории, а не об окончательном провале. Утешает мысль о том, что в другие моменты истории люди тоже не сразу добивались успеха, когда речь шла об ограничении рисков неизвестной технологии. Вспомним «Закон о красном флаге», принятый в Англии в 1865 году, чтобы избежать несчастных случаев в связи с ростом числа автомобилей, который устанавливал максимальную скорость в четыре мили в час в сельской местности и две мили в час в городах. Кроме того, перед каждым из них должен был идти человек с красным флагом, чтобы предупредить население. Потребовалось несколько лет, чтобы мы осознали природу рисков и преимуществ быстрой езды и, прежде всего, то, что человеческий контроль над транспортными средствами не зависит от ограничения скорости до параметров ходьбы. Возможно, то, что мы делаем сейчас с искусственным интеллектом, в будущем покажется нам чрезмерным или недостаточным, но что отличает нас как людей, так это не успех того, что мы делаем, а упорство, с которым мы это делаем.