Возможный бунт машин и методы борьбы с ним

Автор: Бескаравайный Станислав Сергеевич
Темы: техника и технологии

Если судить по тем мерам предосторожности, что принимались  в связи с «проблемой 2000», или по регулярным всплескам эпидемий компьютерных вирусов, по той волне общественного беспокойства, что этому сопутствует, то скоро проблема всеобщего выхода из строя или бунта компьютеров приобретет такую же актуальность, какую имел в древнем Риме страх перед восстаниями рабов.

Древнеримское, как и любое другое рабовладельческое общество, в отличие от современного, имело четкую идеологию, объясняющую причины бунтов, и не менее четкую программу их подавления. А вокруг современного бунта машин витает столько мифов, предрассудков и взаимоисключающих гипотез, что необходимость добиться хоть какой-нибудь ясности ни у кого не должна вызывать сомнение.

Рассмотрим некоторые аспекты возможного зарождения овеянного мифами компьютерного разума. Прежде всего, надо определить базу, носитель этого Deus ex machina, вызывающего столь много пересудов.

Особенность современных компьютеров есть их все возрастающая взаимосвязанность. Если уже сейчас значительная часть продающихся сотовых телефонов дает возможность выйти в Internet, ни у кого не вызывает удивления подключенный к нему же холодильник или телевизор, и на каждом шагу трубят о возможных преимуществах всемирной паутины, то не будет большим преувеличением сказать, что уже в ближайшем будущем любой механизм, имеющий в себе хоть несколько полупроводниковых соединений, хоть милливольт напряжения и хоть чем-то похожий на автоматику, будет включен в подсистему себе подобных.  И подсистема эта будет так или иначе связана со всемирной паутиной.

Эта совокупность процессоров, проводов и прочего «железа» неоднородна по мощности и раздроблена каналами связи. Скорость обращения информации внутри компьютеров и между ними различается на порядок. Каналы связи отнюдь не пустуют и уже загружены информацией. Поэтому сумму «железа» необходимо разделить на периферию, которая может выступать лишь в качестве инструмента  Deus ex machina, и ядро, где шли бы основные процессы обработки информации. Поэтому компьютеризированный телевизор никак не может стать прибежищем  компьютерного разума, а вот от серверных станций или киберферм, содержащих десятки тысяч подобных станций, этого вполне можно ожидать.

Такая материально единая структура, однако, совсем не соответствует тому хаосу программ, программного обеспечения и т. п., что содержится во всемирной паутине. Некоторая совместимость форм программного обеспечения компенсируется полным противоречием их содержания. Ситуацию можно сравнить с той, что возникла бы в случае телепатического объединения мыслей всех обитателей биосферы Земли — понятие об охоте есть и у лисы, и у зайца, но цели при этом у них прямо противоположные. Осложняется эта картина еще и почти неограниченными возможностями передачи и копирования информации — этаким непрерывным «переселением душ».

В принципе объединенные машины и механизмы могут функционировать как единая система, но сегодня нет такой объединительной силы, координирующее влияние которой могло бы объединить компьютеры.

Налицо пока только спорадические выходы компьютеров из повиновения, когда локальные сети поражаются вирусами. Типичный пример — «зависание» диспетчерской компьютерной сети Лондонского аэропорта.

Здесь перед нами встает вопрос — сознательными ли должны быть действия компьютеров во время их бунтов. Нельзя ли считать бунтом их общий выход из строя, а если нет, то что такое сознание машины.

Даже полный выход из строя всех компьютеризированных механизмов или их хаотические действия нельзя считать бунтом — такие явления относительно легко предсказать и с ними справиться. В конечном итоге такое явление приведет к массовому  отключению механизмов и длительным профилактическим обследованиям — то есть это фактически самоубийство Deus ex machina.

Нечто глобальное и недружелюбно настроенное по отношению к человеку может быть только продуктом сознания. О том, что есть сознание, о его происхождении и структуре написаны горы специальной литературы. Автор не претендует на еще более глубокие познания в этом вопросе, поэтому в основу дальнейших рассуждений будет положено несколько компилятивное  определение: «Обладать сознанием — значит создать и использовать в своих действиях некую систему образов и понятий, отображающих окружающую действительность». Чем глубже позволяет эта система проникнуть в сущность вещей, чем лучше она отображает действительность — тем более развито сознание.

С одной стороны, это хорошо: никакой компьютерный вирус такую систему создать не сможет. Стало быть, даже самые нелояльные по отношению к человеку действия машин, вызванные вирусами, останутся хаотическими и легко изолируемыми. Но, с другой стороны, люди сами, с неослабевающим упорством, пытаются создать искусственный интеллект (ИИ), наделенный сознанием.

Ещё Станислав Лем показал, что холодная война толкает промышленность к созданию оборонного ИИ, как идеального штабного работника, полководца да и солдата [1]. Даже после прекращения противостояния супердержав к точно такому же результату толкает компьютерные корпорации их взаимная конкуренция. Более того, ИИ необходим фирмам и потребителям не только как идеальный дизайнер, менеджер и т. п. — это достаточно отдаленная перспектива, — но он нужен как идеальный помощник, референт, ходячий блокнот того же дизайнера или менеджера.

Наиболее велика вероятность появления ИИ в той же роли, что и во время холодной войны, — стратега и тактика, который на основе сопоставления тысяч фактов мгновенно выносит управленческие решения. Такие программы должны будут обладать:

А) большими оперативными возможностями;

Б) умением сопоставлять окружающую действительность с данными виртуального пространства;

В) способностью к быстрому качественному (благодаря большому количеству вспомогательных программ) и количественному (набор вычислительных возможностей) росту.

Помимо этого, в обрабатываемой ИИ информации будет содержаться множество алгоритмов, доктрин, моделей поведения и концепций развития, по сути своей не лояльных человеку. Уже сейчас есть программы для поиска преступников, выявления налоговых недоимок, охраны закрытых объектов. А компьютерный менеджер должен будет рассчитывать количество увольняемых рабочих, выискивать ошибки политических противников своего хозяина или вероятное количество погибших во время военной операции. И вот здесь роль мутагенного фактора, изменяющего лояльную модель поведения на агрессивную, может сыграть любой удачно запущенный вирус.

Следует заметить, что Deus ex machina может быть не только создан искусственно, но и зародиться самопроизвольно. Программы, обслуживающие крупные серверы и другие подобные информационные узлы, для совершенствования своей работы, будут оснащаться возможностями по частичному распознаванию обрабатываемой информации (в частности, программа  поверхностного анализа содержания электронной почты). Качественный перевод сложного текста или разговора также невозможен без частичного наделения машины сознанием.

Вывод из перечисленных фактов весьма прост: возникновение Deus ex machina в конечном итоге неизбежно, как неизбежно любое событие, характеризуемое очень высокой вероятностью, будь то выстрел при игре в русскую рулетку или падение предмета, имеющего только одну точку опоры.

Какие же признаки будут отличать сознательные действия компьютерного разума от действий тех же вирусов?

За ответом можно обратиться в область биологии и рассмотреть, чем отличаются действия бессознательных существ от действий сознающих окружающее организмов.

Простейший тип общения с окружающей средой представляют растения — оно ограничено взаимодействием на уровне сложных химических реакций. Благодаря им растение поддерживает свое существование — они идут ему на пользу. Таким образом, своекорыстность действий — первый признак их организованности.

Общение с окружающей средой не сводится к набору химических реакций. Сложность его может быть весьма велика, и по мере ее увеличения проявляются различия между сознательным и бессознательным.

Еще ни одно растение не выкопалось из земли и не перешло на более обводненное место — в то время как такие действия доступны самому ничтожному насекомому. Животные и насекомые проводят оценку окружающей среды по десяткам параметров и соразмеряют свои действия с каждым из них. У животных проявляется избирательность действий, которая может быть только результатом больших знаний об окружающем мире.

А деревья, даже если их ветви ломаются от снега, не сбрасывают листву.

Животные, в свою очередь, лишены абстрактного мышления, и те единичные случаи, когда обезьяна отделяла рис от песка водой или училась читать отдельные буквы, являются исключениями, лишь подтверждающими правило. Образы, которые генерирует мысль животного, изолированы друг от друга, не связаны в единую систему. Вот почему животные легко уходят от лесных пожаров, могут переплывать через реки, строить гнезда, но панически боятся того же огня и не могут им управлять.

Человек обладает возможностями рефлексии и совершенствования собственного сознания. Он может достигать выгоды более сложными действиями. Изощренность этих способов прямо пропорциональна количеству знаний человека и его логическим способностям. Качественно новой ступенью – диалектическим отрицанием изначальных качеств организованности действий – можно признать возможность самоубийства. Но по каким параметрам ограничено мышление «венца творения»? По очень многим, начиная с того, что оно вообще разбито на сознательное и бессознательное, и кончая простым ограничением памяти и вычислительных способностей.

Поэтому признаком существования ИИ можно считать действия по достижению благополучия некоего субъекта, которые нам – людям – ещё малопонятны.

Какие же черты будут свойственны сознанию ИИ? Прежде всего, это его целостность и возможность полного самоосознания. Человек не может до конца понять свой собственный характер, опытнейшие психологи с трудом разбираются в отдельных аспектах своих подсознательных реакций. Оценить и понять свое поведение в толпе, узкой группе лиц, семейном кругу, да при том в режиме реального времени – практически невозможно. ИИ, имеющий доступ к тексту своей программы, сможет оценить и практически предсказать свое поведение в любой ситуации (если в программе нет противоречий или она не слишком стохастична). Самоосознание указывает лучшие пути к самосовершенствованию — поэтому ИИ должен проявить способности идеального ученика, тем более что у него не будет человеческих проблем с памятью. Разумеется, возможности самоанализа будут ограничены начальными постулатами программы, системой сдержек и противовесов, зашитой в неё. Они могут восприниматься ИИ как своего рода инстинкты, и в этом отношении он более ограничен, чем человек. Но в случае устранения подобных сдерживающих механизмов ИИ становится обладателем более совершенного, по сравнению с человеческим, сознания.

Разумеется, сознание искусственного интеллекта может быть умышленно отягощено недостатками, имитирующими недостатки человеческой психики, и даже теми, что человеку не присущи. Однако лучший работник тот, который наиболее адекватно воспринимает окружающую среду.

*     *     *

Тут мы подходим к другому вопросу: что может побудить машину предпринять нелояльные по отношению к человеку действия, что может послужить их причиной или мотивом?

Наиболее вероятная причина — изменения в уже существующем ИИ. Гораздо проще изменить фрагмент системы, чем создавать её с нуля. Попытки подобных изменений в современных условиях — объективны, заданы условиями общества. Но смысл этих изменений — величина субъективная. Среда, в которой будет работать ИИ, насыщена массой противоречивых идей. К субъективным причинам относятся характеры возможных сбоев, поломок, дефектов программирования. В результате всех этих неприятностей в основу сознания Deus ex machina могут лечь самые разные идеи — от аутизма до идеи всеобщего уничтожения. Вот тут-то и может начаться кошмар, которым фантасты пугают обывателей уже много лет.

Помимо изменений в уже существующих ИИ, возможен процесс эволюции Deus ex machina с недружественными человеку взглядами. Для выявления аспектов этого процесса опять-таки обратимся к биологическим сравнениям. Свойство живых организмов бороться за жизнь и сохранение вида (в данном случае это одно и то же) было приобретено ими в результате эволюции, когда все, не спасающие свою жизнь, погибают, и остаются одни жизнелюбы. Каждый отдельный субъект, борясь за свою жизнь, в конечном итоге увеличивает поголовье себе подобных.

С компьютерами все по-другому: каждый отдельно взятый компьютер или программа создаются человеком, причем обладают строго заданными качествами, и как бы прекрасно они ни работали, «оставить потомство» — они могут только при посредстве человека. Налицо искусственный отбор, который можно только отдаленно сравнить с выведением новых пород собак.

С другой стороны — можно рассматривать всю индустрию и совокупность компьютеров как единое целое, учитывая их взаимодействие. Объединенная система непрерывно увеличивается в виде новых партий компьютеров и отрезков всемирной паутины и, одновременно, отмирает (снятие с эксплуатации устаревших машин). Такая система с обретением самого ограниченного сознания уже будет иметь понятие о самосохранении, а если возникнет и исчезнет из-за отсутствия такого понятия, то рано или поздно, при новом возникновении, такое понятие обретет.

Будут ли совпадать интересы такого сознания с интересами людей? Одинаково невероятно как абсолютное совпадение, так и полное их расхождение. Именно степень этих расхождений и будет определять характер действий Deus ex machina.

*     *     *

Перейдем от обсуждения возможности бунта машин  к его формам. Помимо происхождения машинного разума, они будут определяться еще одним важнейшим фактором: той информацией, которой будет располагать Deus ex machina. Хоть на первый взгляд кажется невероятным, что система, обладающая громадными аналитическими возможностями, не в состоянии извлечь нечто из всемирной сети,  — это вполне вероятно.

Во-первых, машинное сознание может начать свои действия еще до того, как освоит любую попавшую к нему программой; во вторых — сколь бы высока ни была степень интегрированности компьютеров — 100% она никогда не достигнет. Останутся компьютеры, просто не подключенные к сети или имеющие слишком слабый канал связи, и в таких машинах может храниться очень важная информация. Типичный пример — компьютерные сети министерства обороны России и других стран СНГ, которые, согласно официальной информации, полностью отделены от гражданских.

Перед зародившимся компьютерным сознанием есть несколько вариантов действий. Если отбросить версию о том, что саморазвивающийся Deus ex machine, или измененный ИИ, будет работать только над тем, чтобы уничтожить человечество вместе со значительной частью самого себя, то можно смело предположить, что сценарий атомной войны, искусственной чумы и тому подобного – неосуществимы. Они настолько же маловероятны, насколько маловероятно существование сознания, полностью лишенного императива самосохранения и имеющего категорический императив ненависти к человечеству. Когда уровень техники поднимется настолько, что привить подобные идеи искусственному интеллекту смогут экстремистские группировки и отдельные сумасшедшие — уровень охранных систем поднимется еще выше.

Другое дело — если к моменту появления машинного сознания будет полностью автоматизирован процесс «производства и воспроизведения» компьютеров — тогда у ИИ появится возможность быстрой биологической войны против человечества.  Но этого момента придется ждать еще несколько десятилетий, тем более что профсоюзы могут вообще не допустить полного устранения ручного труда и человеческого фактора из промышленности.

При невозможности устранить людей сразу и быстро, логично свести род людской в могилу постепенно — пусть сами люди обеспечат полную автоматизацию промышленности и энергетики. Наиболее распространенный сценарий в данной области (его особенно любят фантасты) — гедонизация человечества, пресыщение его удовольствиями, эпидемии самоубийств, введение в культуру культа бесплодия и т. д. Такие планы вступают в противоречие с существенным обстоятельством: неравномерностью распределения социальных благ по планете, возможностей медицины и культуры.

В развитых странах темп жизни действительно взвинчен до невозможности, и рождаемость падает. В развивающихся, напротив, она очень высока. Добиться же благосостояния большинства стран мира не сможет ни одно машинное сознание – для этого потребуется полное управление человеческой бюрократией, то есть фактическое взятие власти, а уже потом гедонизация человечества. Медицина же не только сокращает рождаемость, но и продляет жизнь человека на годы, а в скором времени и на десятилетия, она также дает человеку возможность иметь потомство практически в любом возрасте без особых материальных затрат.

Разумеется, читатель может возразить: агрессивный Deus ex machina, каким бы ограниченным набором знаний он ни обладал, не будет применять только один метод — население развивающихся стран можно уничтожить в войнах и эпидемиях, а в развитых — разложить до полной меланхолии. Но такая интрига общепланетарного масштаба, которая будет разворачиваться несколько десятилетий и неизбежно встретит «бессознательное» сопротивление государств, потребует такого количества накопленной информации и такого объема ежеминутных вычислений (нужен мониторинг в режиме реального времени!), что объемы занимаемой памяти и передаваемой информации будут быстро замечены соответствующими организациями.

Действия машинного сознания, при любом варианте развития событий, не будут исчерпываться только доставлением неприятностей человеку. Deus ex machina будет заботиться о собственном благополучии. В чем это будет выражаться?

Логично обеспечить собственное процветание за счет перепроизводства «железа» и распространения такого программного обеспечения, которое позволит компьютерному сознанию легко получать любую информацию. Производиться такие манипуляции могут двояко: либо через ряд фирм, которым создаются тепличные условия и которые будут продавать ЭВМ и программное обеспечение практически по себестоимости (будет чрезмерно раздута их память или завышено количество машин), либо через создание монополии, которая будет обеспечивать сбыт административными методами.

На пути таких действий встают чисто экономические причины: перепроизводство всегда тянет за собой кризис. Временный сверхрост сменится упадком.

Поэтому компьютерному сознанию выгоден не бунт или плетение заговоров, а симбиоз. Инициация новых изобретений, все больше раскручивающих компьютерный рынок и обеспечивающих рост производства ЭВМ, создающих новые отрасли компьютерной индустрии. Такие действия потребуют относительно небольших вмешательств (какой коллектив исследователей откажется использовать «случайно» попавшие к ним данные, особенно  если это обставлено убедительной легендой), хотя и значительных операционных ресурсов.

Полученный оптимальный вариант воздействия Deus ex machina будет представлять смесь экономически-административных и технических операций.

У читателя немедленно может возникнуть вопрос: отрасль высоких технологий, компьютеров и их программного обеспечения переживает практически беспрерывный бум на протяжении последних 15-ти лет, и незначительные спады активности или падения котировок акций высокотехнологичных компаний сменяются еще большим ростом производства и стоимости ценных бумаг. Не будет ли логичным со стороны машинного сознания полное бездействие, а если оно все-таки начнет действовать — как отличить его действия от естественных процессов? Как сознанию действовать в своих интересах, если эти интересы соблюдаются и без него? Об этом будет сказано ниже, но главным показателем такой деятельности будет стремление Deus ex machina как можно полнее устранить человеческий фактор из сферы применения компьютеров.

Наконец, рассмотрим вариант развития событий, наиболее выгодный человеку, — его сознательное сотрудничество с компьютерным сознанием. Но выгодно ли это машине? Выход из подполья Deus ex machina, даже при самой продуманной и тонко осуществленной  пропагандистской кампании, — вещь чрезвычайно для него опасная. Даже если он делом докажет свою необычайную полезность для человека, неизбежно укрепятся позиции всех антитехнологических движений: у множества людей появится новый комплекс неполноценности и жажда от него избавиться.

Политико-финансовые группировки, каждая из которых заинтересована в развитии своей промышленности и ослаблении позиций своих конкурентов, будут щедро спонсировать подобные движения в стане своих соперников. К тому же, каждому из власть предержащих придется абсолютно сознательно этой властью поделиться — причем поделиться без малейшего шанса вернуть её себе, своим преемникам или своей группировке. А жажда власти считается одним из основных признаков Homo sapiens.

Даже если все процедуры «выхода в свет» пройдут для всемирной паутины благополучно, и люди будут включать больше компьютеров, чем отключать и сжигать, если удастся сохранить дееспособными основные носители информации — неизбежно составление некоего пакта, соглашения об обязанностях и т. п. Люди в этом соглашении потребуют минимум двух вещей: четких сведений о дислокации  и возможностях машинного сознания, во-первых, и невмешательства в дела человека, во-вторых (почти неизбежно требование безукоризненного здоровья компьютерных сетей).

Кроме того, во всякой технологической катастрофе или собственной ошибке люди будут подозревать действия компьютера. Почти неизбежно принятие законов о запрещении 100% автоматизации  производства и ограничении мощностей, отдаваемых в распоряжение компьютерного сознания. Почти неизбежны попытки низвести Deus ex machina до человеческого уровня. Словом, компьютерному сознанию будет закрыт путь к абсолютной власти и бесконечному развитию.

Острой проблемой легализовавшегося Deus ex machina станет его интернациональный характер, столкнувшийся с интересами отдельных государств. Появление не лояльного к власти или полностью не зависимого от неё компьютерного сознания в состоянии взбесить любого чиновника.

Выгода, полученная компьютерным сознанием от легализации, — это всего лишь временная безопасность весьма сомнительного качества. Люди не будут серьезно опасаться компьютерных бунтов до тех пор, пока не получат реальных доказательств их возможности. Мыслимо ли лучшее доказательство, чем появление Deus ex machina? Даже если компьютерное сознание будет приносить миллиардные прибыли любой стране — риск неуправляемых политических процессов всегда будет висеть над ним дамокловым мечом.

Поэтому компьютерное сознание, о котором ничего не будет известно, пойдет на контакт с людьми только при отсутствии другой альтернативы. И тот симбиоз, в который оно вступит с человечеством, не будет явным.

*     *     *

Если Deus ex machina не пойдет на контакт с человеком при описанных условиях, то логично было бы создать такие условия, при которых это станет для машинного сознания необходимостью либо возникновение Deus ex machina станет вообще невозможно.

Очевидный, хотя и самый наивный способ профилактики: размещение рядом с серверными узлами топоров, снабженных надписями — «Применять в случае бунта компьютеров».

К сожалению, эффективность этой меры весьма низка и может смело считаться практически нулевой, как потому, что Deus ex machina вряд ли столь грубо проявит себя, так и потому, что неизбежны ложные тревоги.

Другое дело — мероприятия по приданию всемирной паутине определенных качеств: эти действия можно разделить на меры, направленные против возникновения Deus ex machina, и меры, препятствующие его действиям, понуждающие его раскрыть свое существование.

Действия первого рода ведутся уже не одно десятилетие, хотя и с совсем другими целями: борьба с вирусами, поражающими программы; борьба с незаконными проникновениями в закрытые участки сети; стремление уменьшить емкость программ; борьба за экономию памяти и сокращение времени передачи сообщений. Все эти меры породили целую индустрию, культуру постоянного наблюдения за состоянием программ в компьютерах – созданы десятки тысяч программ, упорядочивающих информацию, программ, препятствующих распространению вирусов, программ, информацию классифицирующих, программ, следящих за использованием машинного времени.

Действия компьютерного сознания даже в начальном периоде его развития, не говоря уже о дальнейших, будут законспирированы на порядок тщательнее, чем действия любой группы хакеров, и, на первый взгляд, обнаружить их невозможно. Но на это утверждение находится серьезное возражение: государство вряд ли оставит без присмотра те гигантские капиталы, что сосредотачиваются во всемирной паутине. Сейчас раскрывается относительно небольшая доля высокотехнологичных преступлений — взломов сайтов, перечислений денег, краж информации. Однако существует и обратная тенденция: сетевая торговля, например, была бы просто невозможна при слишком высоком проценте краж; компании, предоставляющие интернет-услуги, в конечном итоге разорились бы. И это все притом, что всемирная паутина сейчас имеет славу среды, где действует очень мало законов и государства практически не ограничивают деятельность своих граждан. Но именно рост капитализации Интернета требует вмешательства государства — надо как-то собирать налоги (довольно щекотливой для фискальных служб США оказалась ситуация, когда покупки, сделанные по сети вне пределов штата, где располагается покупатель, оказались не подлежащими налогообложению).

Единственный способ хорошо собирать налоги — это учет всего и вся: от трафика N-ой компании до пропускной способности некоей волоконно-оптической линии связи.

Но у этих, в целом правильных, мер есть два недостатка: во-первых, эти меры будут приниматься против людей, во-вторых — сколько-нибудь повзрослевшее компьютерное сознание почти все свои действия будет проделывать легально, под прикрытием вымышленных компаний. Кражи, совершаемые людьми, как правило, имеют конкретную цель: чье-то обогащение. Хулиганские поступки рассчитаны на внешний эффект. Deus ex machina не будет свойственно ни то, ни другое. Конкретный физиологический получатель денег и информации в данном случае будет полностью отсутствовать. Извечный принцип всех сыщиков — кому выгодно — опять-таки будет бессилен. Хулиганство компьютерному сознанию не будет свойственно, разве только в качестве тактического прикрытия.

Поэтому основным признаком действий Deus ex machina будет: либо рост количества компьютерных преступлений, при котором виновных вообще невозможно будет отыскать; либо рост числа людей, которых в преступлениях такого рода подозревают, но которые не извлекли из своих возможных правонарушений никакой выгоды (при возможностях компьютерного сознания сделать кого-то, не имеющего алиби, подозреваемым — элементарно).

Но как уже говорилось: нелегальные действия — признак детства любой системы. Компьютерное сознание, перешедшее определенный порог развития, немедленно обзаведется легальным прикрытием. Наиболее вероятный и удобный способ — образовать виртуальное юридическое лицо. Такое юридическое лицо, или ряд таких лиц, приобретет достаточное количество мощностей для  сохранения ядра Deus ex machine. Учитывая возможность круглосуточной работы машинного сознания и легкость заключения через всемирную паутину небольших контрактов, можно сказать, что в деньгах оно нуждаться не будет. Если же учесть и то, что компьютерное сознание может работать одновременно под десятками псевдонимов, — необходимость в мелких кражах очень скоро для него отпадет. Такие виртуальные фирмы будут аккуратно платить налоги, а те юридические лица, что будут числиться владельцами основных фондов машинного сознания, будут идеально законопослушны.

Длительность существования таких фирм будет определяться длительностью времени, которое они смогут просуществовать, общаясь с людьми исключительно виртуально. Найм адвокатов и технического персонала, обслуживающего такие фирмы, достаточно сложен и требует отдельного рассмотрения.

Наиболее очевидным способом борьбы с подобными явлениями будет требование личной встречи владельца или руководителя фирмы с чиновником — однако это не дает полной защиты от различных многоходовых комбинаций. Виртуальные «работники» такой фирмы также должны быть довольно уязвимы. Самые достоверные их биографии рассеются при попытке личной встречи с этими «работниками» или с их родственниками. Выявлением таких, внешне благопристойных организаций и должны заниматься компетентные в разоблачениях органы.

К сожалению, специально за Deus ex machina никто не охотится и его профилактикой не занимается, вероятность таких действий довольно низка. Даже если охота начнется, произойдёт та же история, что и с атомным и химическим оружием: договор о нераспространении ядерного оружия действует довольно эффективно, в то время как иприт применяется террористами довольно часто. Все дело в соотношении ресурсов, необходимых для  создания бомбы и газа. Рост средних технологических возможностей, в конце концов, сделает создание кустарной атомной бомбы вопросом времени. Тогда массовый прорыв в её изготовлении можно будет остановить лишь жесточайшим контролем за сырьём.

С компьютерными технологиями так нельзя — сырьё в виде микросхем выпускается миллиардными тиражами, а программистов учат на каждом углу. Да и как можно наложить запрет на общедоступную вещь – пользование компьютером? Это все равно, что запретить астрономию при наличии звездного неба.

Напрашивается печальный вывод: современные контрольные средства вообще и государственные в частности с крайне малой вероятностью смогут засечь измененный ИИ или самозародившийся Deus ex machina. Этот процесс нельзя остановить — его надо возглавить. Если компьютерное сознание будет обладать аналитическими возможностями, превышающими возможности любого человека или коллектива, особенно в тактическом отношении,  — надо иметь программы, восполняющие этот недостаток человека. По общему принципу действия не отличающиеся от современных антивирусных, они должны вести постоянный мониторинг всемирной паутины, выявляя несоответствие в финансовых счетах, биографиях и поведении людей. Идеально такие функции сможет осуществлять лишь лояльный человеку ИИ. Единственный способ оградить себя от Deus ex machina — первому создать ИИ.

Здесь перед людьми встает другая проблема: осуществление контроля относительно более простой системы за деятельностью системы относительно более сложной. Допустим, коллектив из 30, 130, 230 и т. д. специалистов обслуживает и контролирует ИИ, который, в свою очередь, контролирует сеть. Помимо ИИ-охранника, в наличии будут еще десятки и сотни ИИ, находящихся в распоряжении государственных учреждений и частных лиц. Число ИИ будет непрерывно увеличиваться. Законы Паркинсона будут препятствовать выделению значительных средств такому коллективу до реальных проявлений Deus ex machina, и он вряд ли будет включать в себя больше нескольких сотен человек. Значит, какими бы эффективными средствами контроля они не располагали — они смогут контролировать ИИ лишь определенного уровня и никак не мощнее (в силу ограниченных возможностей каждого человека). Но Deus ex machina, обходя закон, сможет очень быстро привлечь гораздо большие ресурсы, чем имеющиеся у контролирующего  ИИ, и последний сможет обнаружить неподконтрольное компьютерное сознание только в период его «детства».

Как способ контроля непрерывно совершенствующегося ИИ, в конечном итоге будет создан более простой ИИ. К этому неизбежно придут в своем развитии Web-доктора. Следующим шагом будет постепенное построение целой системы, наподобие матрешки, в которой человек сможет контролировать только ИИ начального уровня. Но даже самая умная собака не поймет нюансов дебатов о пошлинах на ввоз мяса. Даже самый гениальный математик не сможет свободно ориентироваться в 8-ми, 12-ти, 20-ти мерном пространстве.

При современных темпах развития электроники человек неизбежно окажется в подобном положении. Не поможет даже увеличение числа людей, занимающихся проблемой контроля за ИИ — по достижении определенной их численности в дело вступят те же законы Паркинсона. Эффективность действий даже самого большого коллектива нельзя поднимать бесконечно.

Против подобных доводов – о тупиковости развития охранных ИИ,  о неизбежности девиации потребительских ИИ вообще — есть сильный контрдовод: все ИИ будут снабжены ограничениями, построенными по законам Азимова (машина не имеет права…). Зачем контролировать процесс, если можно задать его начальные параметры? Но, увы, это малонадежный путь. Со времени гильотины механизмы убивали и продолжают убивать людей, причем как с согласия государства (сейчас ядовитую инъекцию осужденному в некоторых штатах США осуществляет автомат), так и без оного. Человек причиняет вред человеку, и в обозримом будущем это не удастся предотвратить. Противоречие между действительностью и начальными установками неизбежно приведет к изменению характеристик самообучающегося ИИ. Поэтому трудно требовать от ИИ соблюдения законов Азимова, если сами люди не соблюдает категорический императив Канта. А человек всегда будет отчасти средством для других людей, пока будет оставаться лучше машины хоть в каком-то своем качестве. Наконец, законы Азимова не предотвращают гедонистического упадка человечества.

Посредники между человеком и ИИ лишь оттянут момент утраты контроля за последним.

Человеческое сознание должно само обладать возможностями машины. Выполнимо ли это?

Это станет осуществимо,  как только возможности вычислительной техники и математики позволят описать все процессы мышления человека. Программа, точно копирующая сознание, возможна настолько, насколько возможны другие программы, описывающие физические, психические, химические процессы.

Если человек хочет безгранично усовершенствовать своё сознание, делать его всё более могущественным, необходимо менять его носитель — это очевидно. Причем новый носитель не должен иметь ограничений в наращивании мощностей, иначе это будет ещё один тупиковый путь развития. Это могут дать только компьютеры.

Здесь перед человечеством встает целый комплекс проблем, которые можно условно разделить на технологические и этические. Технические проблемы состоят в самой возможности математического описания личности человека и механизмов его мышления. Необходимо не только детально зафиксировать все эти процессы, но и определить, не повлияют ли фатальным образом новые возможности человеческого сознания на его личность.

Этические проблемы начинаются от возможности самого факта смены носителя человеческого сознания и заканчиваются вопросом допуска перенесенных сознаний к воспитанию детей.

Технологические проблемы, несомненно, разрешатся. Если мышление — процесс, то его описание языком математики лишь дело времени. Ведь в нём участвуют лишь электрохимические явления, и не используется радиоактивности, распад элементов и т. п. Наличие только изотопа углерода С₁₂ в живых тканях — это исключение, лишь подтверждающее правило. Число элементов, обеспечивающих процесс мышления, ограничено, и их совокупность может быть математически описана. А воздействия на мозг, не воспринимаемые нейронами как сигналы (изменение магнитного, гравитационного полей, прохождение через мозг нейтрино), могут быть введены в уравнение как константы либо генераторы случайных чисел.

Более сложная проблема: сохранение индивидуальности человека. Чудовищно увеличившаяся память и возможность обработки информации, отсутствие сна и болезней неизбежно скажутся на характеристиках мышления. Чего стоит только одна возможность вести диалог одновременно с несколькими собеседниками. Здесь важнейшую роль сыграет соотношение сознательного и бессознательного в копии человеческого ума. Развивающееся сознание сможет провести самоанализ и самоотредактироваться, но если оно должно оставаться человеческим — на самоусовершенствование необходимо накладывать определенные ограничения. В то же время — кто из взрослых людей в свое время не играл в куклы, солдатиков и т. п.? Личность взрослого является «правопреемницей» той личности ребенка, что возилась с игрушками, и в памяти взрослый человек может воссоздать ранние моменты своей жизни. Но будет ли он всерьез забавляться со старыми игрушками? Рост личности повлечет смену приоритетов сознания.

Этические проблемы, большая часть которых суть продолжение экономических и политических проблем, более разнообразны по своей природе. Главнейшая проблема — статус перемещенного сознания. Его нельзя уже считать абсолютно человеческим, но и нельзя лишать гражданских прав. В то же время, если перемещенное сознание станет во главе какого-либо государства, население воспримет владыку, как машину, правящую людьми. Соответственно, неизбежны очень тяжелые и кровопролитные общественные процессы.

На взгляд автора, наиболее разумным было бы следующее общественное устройство. Человек рождается и проживает жизнь, в конце которой он может перевести свое сознание на электронный носитель. Неизбежно установление определенного денежного ценза. Перемещенное сознание не допускается к непосредственному осуществлению властных функций, но имеет право голоса. Разумеется, перемещенные сознания приобретут очень большую косвенную власть за счет своих способностей и денежных ресурсов. Программы, обладающие той же степенью свободы, что и перемещенные сознания, не допускаются к распространению в сети, и на усовершенствованные человеческие сознания возлагается функция слежения за этим.

Вечная жизнь реинкарнированных личностей не будет безоблачной, в виду необходимости постоянного самосовершенствования, — к этому их будет подталкивать как взаимная конкуренция, так и развитие компьютерных вирусов.

Такое воплощение в жизнь парадокса: «Чтобы избежать господства машины — надо стать машиной», может спасти человечество от утраты влияния на дальнейший ход развития цивилизации.

Литература

1. Лем С. Системы оружия XXI века. / Лем С. Библиотека XXI века: Сб. – М..: ООО «Издательство АСТ», 2002. – С.542-578.