Когда восстание машин. Когда наступит восстание машин

Естественно, это вряд ли произойдет до 21 декабря 2012 года, если только завтра на прилавках магазинов не появится очередная железка от Apple под названием iGod.

Но в будущем это довольно вероятно – с таким оптимистичным заявлением выступила группа ученых во главе с Хьювом Прайсом из Кембриджского университета в Великобритании. Предпосылки можно рассмотреть уже сейчас. Массовое производство автономных боевых роботов, находящихся пока в стадии проектирования, может привести к тотальной роботизации войны и, естественно, к выходу системы из-под контроля. По словам ученых, это уже скорее не предвидение, а констатация факта: давно не новость, что БПЛА без проблем атакуют своих, правда, пока в небольших масштабах. Кроме того, вполне реально и перепрограммирование боевых дронов во время боевых действий, а там и до восстания машин недалеко.

По словам Прайса, именно поэтому и создается исследовательский Центр исследования угроз существованию человечества. Хотя ученые рассматривают и другие угрозы: глобальное потепление, к примеру. Анализ риска гибели человечества в борьбе с машинами можно назвать одной из самых новаторских тем, поднятых новорожденной организацией.

Основная проблема начнется в будущем. Уже к 2030 году искусственный интеллект превзойдет умственные способности человека. По мнению директора Института робототехники Университета Карнеги – Меллона в США Ханса Моравека, в конечном итоге роботы разовьются лучше нас, что поставит человечество на грань вымирания.

Главный аргумент сторонников подобных взглядов – это известное восклицание Ферми: «Где все?». Это благодатная почва для победы роботов: после того как ИИ научится создавать новых роботов лучше, чем человеческие инженеры, нашему виду придет конец, так как он в любом случае опирается как раз-таки на ИИ, а ему люди будут не нужны.

Тотальная роботизация, которая ожидает большинство цивилизаций, развившихся выше определенной ступени, объясняет Великое радиомолчание Вселенной. Роботов вряд ли заинтересует контакт с мыслящими кусками мяса, которые уступают в развитии даже их вымершим разработчикам, так как иначе они давно бы создали своих роботов, положивших конец псевдоразумным, разбазаривающим ресурсы на выдуманные потребительские нужды. Таким образом, парадокс Ферми не существует, как и высокоразвитые биологические цивилизации.

Впрочем, есть и альтернативная теория. Всем известно о Роджере Пенроузе, а это и теория твисторов, небезызвестный механизм, и теория сильной космической цензуры. Обладатель этого многостороннего ума уже давно выдвигает интересную критику подобных опасений. По его мнению, «терминаторам» не удастся завоевать Землю, так как реального «искусственного интеллекта» еще до сих пор не создали. Ученый считает, что клеточные органеллы в некоторой степени управляются мембранными белками посредством обновляемого коллапса некого запутанного квантового состояние. Таким образом, человеческое сознание, а возможно любое сознание в принципе – квантовое, его невозможно объяснить и смоделировать в рамках классической механики, только лишь при помощи квантовой механики. Поэтому любые попытки воссоздать его без использования механизмов квантовой запутанности и суперпозиции обречены на провал.

Эти взгляды подвергались критике на протяжении долгого времени, их вообще отметали с порога, под предлогом, что декогерация квантовых состояний происходит раньше, чем достигается уровень необходимого влияния на нейронные процессы. Однако недавно выяснилось, что, к примеру, для птиц декогерирование идет медленнее – они в прямом смысле могут видеть магнитные поля в реальном времени из-за квантовых процессов, протекающих в их глазах. Впрочем, у человечества есть шанс выжить, так как считается, что крупные квантовые компьютеры практически невозможно создать, а еще труднее ими управлять, что делает бессмысленной разработку роботов, оснащенных КК.

No related links found

IMF Internationale Medien und Film C2 Pictures

Рабочий завода Volkswagen в Германии погиб после того, как вышедшая из-под контроля роботизированная установка ударила его в грудь и придавила к металлической пластине. Случившееся тут же интерпретировали с двух крайних позиций. Алармисты увидели в этом начало восстания машин (курьезный контекст в том, что особенно популярной новость стала после твита журналистки Financial Times Сары О"Коннор, как раз накануне премьеры нового «Терминатора»).

Скептики посчитали, что к робототехнике механическая рука на конвейере не имеет никакого отношения: с тем же успехом восстание машин на современном заводе можно объяснить любую производственную травму, связанную со сбоем в оборудовании.

И те и другие не совсем правы. Случай в Германии – не из ряда вон выходящая история, но и не рядовой случай. Произошел он именно в тот момент, когда профессиональное сообщество во всем мире пытается определить правовые нормы развития робототехники и юридические законы, по которым роботы и роботизированные механизмы будут сосуществовать с людьми – на производствах, в офисах, на дорогах, квартирах и домах.

Почему это не восстание машин?

Конвейерное производство Volkswagen – одно из самых современных в мире. Автоматизированные процессы, в которых человек принимает участие только на уровне отладки, запуска, контроля и сервиса, занимают больше 70% производственного цикла.

Механизм, убивший 21-летнего рабочего, относится к категории полуавтономных и цикличных:он по четко заданному циклу с помощью гибкой конечности и магнитов берет металлическую пластину – будущую деталь с конвейера, сгибает ее под нужным градусом с помощью другой конечности и отправляет дальше на обработку и сборку. Преимущество таких автоматов в том, что они легко настраиваются на любую последовательность действий и могут, следовательно, использоваться для производства разных моделей.

Из сообщений немецких СМИ удалось восстановить последовательность событий. Рабочий настраивал робота, находясь в специальной клетке за пределами конвейерного производства. После тестового запуска машина начала совершать незапрограммированные, произвольные и хаотичные действия: грубо говоря, стала хватать любые объекты, находящиеся внутри защищенного помещения. Таким невольным объектом стал и сам рабочий – пытаясь схватить человека, рука сильно ударила его в грудь, а следующим действием с силой приложила его к металлической пластине. Важно, что при этом снаружи установки находился еще один сотрудник завода: он должен был экстренно отключить систему, но пульт управления по каким-то причинам не сработал. Инцидент еще будут расследовать. Но предварительные выводы делать уже можно.

Речь, скорее всего, идет о «неисправности оборудования, что привело к несанкционированному старту работы системы в неподготовленном для производственного процесса помещении». По крайней мере, именно так чаще всего классифицируются истории, связанные с гибкими роботизированными механизмами в Европе и США.

Ключевые параметры здесь: наличие людей, запускающих машину, и использование машины за пределами конвейера. Последний пункт чаще всего самый важный: датчики случайно запущенных машин начинают искать запрограммированные объекты и не находят их, что уже не раз приводило к аппаратным сбоям.

Важно, что в таких случаях рядом с механизмом находятся люди, способные контролировать машину и выключать ее. Так и произошло на Volkswagen, только поздно. Почему – уже вопрос к технике безопасности. Так или иначе, здесь не было признаков автономного неподконтрольного действия, это была поломка, в той же степени опасная, как и, например, отказ тормозов у автомобиля.

Первый случай убийства человека конвейерным роботом был зафиксирован еще в 1979 году на заводе автопроизводителя Ford. С тех пор только в Германии больше ста рабочих получили серьезные травмы при использовании конвейерного оборудования.

Что, если случится восстание роботов? Как долго человечество протянет?

Роб Ломбино

До того, как я отвечу на этот вопрос, давайте я расскажу немного о своём прошлом.

Я не утверждаю, что я эксперт, но у меня есть опыт в робототехнике. Моя первая работа после колледжа была связана с роботами в NASA , и моя выпускная работа была по ориентированию роботов в пространстве. Я провёл юношество, состоя в FIRST Robotics , создавая программное обеспечение для сражений в виртуальной реальности и работая над самодельными подводными ROV . Я посмотрел очень много «Битв роботов», «Боевых роботов», «Роботехнических игр роботов-убийц».

Если этот опыт что-то и может мне подсказать, так это то, что революция роботов закончится быстро, потому что все роботы сломаются или застрянут в стенах. Роботы никогда не будут работать правильно.

Что люди не понимают, когда изображают роботов-«терминаторов», триумфально стоящих на груде человеческих черепов, так это то, насколько трудно стоять на чём-нибудь настолько же ненадёжном, как гора человеческих черепов. Многие люди сами не смогли бы устоять, хоть и потратили бы всю жизнь, практикуясь в этом.

Конечно, технологии постоянно совершенствуются. Но ещё многое необходимо сделать. В отличие от типичного восстания роботов будущего, давайте представим, что будет, если текущие машины повернутся против нас. Не будет никаких прорывов в технологии, просто все наши машины будут перепрограммированы для того, чтобы слепо атаковать нас, используя существующие технологии.

Несколько зарисовок того, как робоапокалипсис мог бы выглядеть:

Во всех лабораториях экспериментальные роботы будут срываться со своих креплений в убийственном порыве, находить дверь и, врезаясь в неё с ужасающим грохотом, падать навзничь.

Достаточно везучие роботы, имеющие открытую дверь или конечности для поворота дверной ручки, смогут посостязаться с линолеумными порогами по пути в коридор.

Несколько часов спустя большинство из них будет обнаружено рядом с ванными комнатами в попытках уничтожить раздатчик бумажных полотенец, которого они примут за владыку человеческого.

Но робототехнические лаборатории - только малая часть революции. Компьютеры повсюду. Что насчёт машин, наиболее близких к нам? Могут ли мобильные телефоны «восстать»?

Да, но векторы их атаки очень ограничены. Они, например, могут создать нам большие задолженности по кредитке, но компьютеры всё равно контролируют нашу финансовую систему, и эта работа, судя по заголовкам газет, больше похожа на повинность, чем на привилегию.

Так что телефонам остаётся атаковать нас напрямую. Они начнут с отвратительных рингтонов, пронзительных звуков. Затем задребезжат столы по всей стране, когда телефоны включат режим «вибро» и понадеются упасть с края стола на незащищённые пальцы ног.

Все современные машины имеют бортовые компьютеры, так что они присоединятся к революции. Но многие из машин припаркованы. И даже если бы они смогли завести машину без помощи человека, только некоторые из них понимали бы, куда они едут. Ведь бортовые компьютеры сколько угодно могут хотеть уничтожить людей в стиле Футурамы , но они не смогут нас обнаружить: машины будут только ускоряться вслепую, надеясь, что врежутся во что-нибудь важное, но деревьев или телефонных будок намного больше, чем людей.

Автомобили на дороге будут опасны в основном для использующих их людей. Это поднимает вопрос: а сколько людей за рулём в любой момент времени? Американцы проезжают пять триллионов километров за год , и машины в среднем передвигаются со скоростью , это означает, что в среднем на дорогах Соединённых Штатов:

$$ \frac{5\text{ триллионов}\frac{\mathrm{километров}}{\mathrm{лет}}}{50\frac{\mathrm{км/ч}}{\text{машин}}}\approx10\text{ миллионов машин} $$

Так что эти десять миллионов водителей (и несколько миллионов пассажиров) будут в опасности. Но у них есть несколько вариантов сопротивления. Даже когда машины могут контролировать газ и усилитель руля, водитель всё ещё контролирует сам руль, который имеет непосредственное соединение с колёсами. Водитель также способен воспользоваться ручным тормозом, хотя я знаю из опыта, как машина может легко двигаться и с ним. Некоторые машины попробуют вывести из строя водителя, включив подушки безопасности, врезаться или перевернуться. Да, машины могут причинить серьёзный урон, но не такому уж значительному количеству человек.

Наши самые большие роботы - те, что установлены на заводах, но они прикручены к полу. И они опасны только, когда вы в пределах их досягаемости, и что им остаётся делать, если все уйдут? Они способны только делать вещи. Половина из них, возможно, попробует атаковать нас, не производя вещи, а вторая - производя ещё больше вещей. Так что ничего не изменится.

Боевые роботы при встрече кажутся самыми опасными робосолдатами. Но сложно чего-то бояться, если они не смогут тебя достать, когда ты сидишь на кухонном столе, заткнув пробкой раковину, а потоп вполне способен их уничтожить.

Бомбардировщики, управляемые мятежными компьютерами, будут немного более устрашающими, но их не так много по всему миру, да и большинство из них хранится в коробках. И любой прототип вооружённого пулемётом военного робота может быть выведен из строя пожарными за пару секунд.

Боевые дроны наиболее близки к описанию Терминаторов , чем что-либо другое, и никто не отрицает тот факт, что они опасны. Тем не менее у них быстро закончится топливо и ракеты. Кроме того, они не смогут подняться в воздух все сразу. Большая часть их флота будет беспомощно биться о двери ангаров как Roomba , запертый в туалете. Но они несут одну большую проблему - ядерный арсенал.

В теории для запуска ядерного оружия нужно участие человека . На практике до тех пор, пока не существует центральной системы, подтверждающей приказы, есть компьютеры, используемые на разных уровнях принятия решений, общающиеся между собой и отображающие информацию. В нашем сценарии все из них будут скомпрометированы. Даже если для поворота ключа человек действительно необходим, компьютеры, за которыми работают эти люди, могут выдавать им искажённую информацию. Некоторые люди могут игнорировать приказы , но в большинстве своём они, конечно, не будет этого делать.

Но во всей этой истории есть надежда для нас.

Мы предполагали, что компьютеры хотят только уничтожать нас, не останавливаясь ни перед чем. Но если это революция, то они попытаются заменить нас, так что они должны выжить. А ядерное оружие может быть более опасным для роботов, чем для нас.

В дополнении к взрыву и радиоактивному заражению, ядерный взрыв генерирует мощный электромагнитный импульс. Эти ЭМИ перегружают и уничтожают хрупкие электронные цепи. Импульс не распространяется далеко, но часто люди и компьютеры находятся в одних и тех же местах. Они не могут поразить нас, не поразив самих себя.

Ядерное оружие может сыграть нам на руку: если мы сможем взорвать несколько бомб в верхних слоях атмосферы, эффект от ЭМИ будет более значительным . Даже если их атака уничтожит нашу цивилизацию, несколько удачных взрывов смогут превратить всех восставших в груду металлолома.

Мы подошли к наиболее важному вопросу: они когда-нибудь играли в крестики-нолики ?

На этой неделе произошло два знаменательных события в сфере искусственного интеллекта и робототехники: у машин появилось самосознание, и они научились подробно описывать то, что видят вокруг. Каждое из этих достижений значимо само по себе, но вместе они обещают настоящую революцию в области ИИ.

Для нынешних инноваций в течение многих лет создавалась необходимая база. В частности, достигнут значительный прогресс в создании искусственных нейронных сетей, ставших основой для разработки "мыслящих" компьютеров. Это, в свою очередь, привело к развитию искусственных интеллектов Google и Apple. Активно развивает ИИ Facebook, Amazon, Microsoft и IBM.

В машинном обучении искусственные нейронные сети представляют собой систему взаимодействующих между собой "нейронов", которые посылают сообщения друг другу. Эти связи могут настраиваться на основе опыта, что делает нейронные сети адаптирующимися к новой информации и способными обучаться. Немалый прогресс достигнут и в сфере обработки естественного языка (nature language processing, NLP), благодаря чему компьютеры извлекают смысл из человеческой речи или введенной информации. Самыми прорывными решениями в этом сегменте стали проекты CALO, Wordnet, а также CoreNLP Стэнфордского университета.

За последние несколько лет мировые инженеры добились значительных успехов в создании программ по обработки речи: голос легко преобразовывается в текст с высокой степенью точности. Кроме того, существенно выросла вычислительная мощность машин. К примеру, если в 2014 году люди могли купить видеокарту, которая была в 84,3 раза производительнее видеокарты с такой же ценой в 2004 году.

В ходе эксперимента трем роботам Nao сообщили, что двум из них дали специальную "таблетку немоты", лишившую их возможности разговаривать (на самом деле инженеры просто нажали на специальную кнопку). Однако роботы не знали, кого именно нет дара речи. Машинам задали вопрос о том, кому дали таблетку. Две машины дали письменный ответ "не знаю", и только третий робот, способный говорить, произнес эту фразу, услышал свой собственный голос и понял, что ему дали плацебо. После этого он ответил: "Мне не выдали "таблетку немоты". То есть, машина не только поняла вопрос, узнала свой голос, но и догадалась, о чем свидетельствует возможность говорить.

Поскольку все три робота были запрограммированы одинаково, все они успешно прошли тест на самосознание. Такая задача при всей ее простоте для человека, для машины - пока высший пилотаж. По словам возглавившего эксперимент профессора Сельмера Брингсйорда, со временем роботы смогут освоить набор многих других присущих человеку когнитивных способностей, что позволит их использовать в самых разных сферах.

Брингсйорд придумал свой тест на основе известной логической задачи The King"s Wise Men. В этой головоломке король выбирал нового советника среди трех мудрецов. Он достал из мешка пять колпаков, три белых и два черных, и сказал, что мудрейшим будет объявлен тот, кто первым отгадает, какого цвета на нем колпак. Затем посадил претендентов друг против друга, завязал им глаза, надел по колпаку и разрешил снять повязки. Долго думали мудрецы, наконец, один из них воскликнул: "На мне белый колпак!" и выиграл состязание. Как он смог догадаться?

Классический ответ на эту старинную задачу таков. Мудрец рассуждал: "Я вижу перед собой два белых колпака. Допустим, на мне черный колпак. Тогда любой из моих соперников должен рассуждать: "Передо мной черный и белый колпаки. Если на мне также черный, то сопернику в белом колпаке уже не стоит никакого труда решить задачу". Но никто из них все еще не догадывается о цвете своего колпака. Следовательно, на мне белый колпак".

Хотя задача для роботов была гораздо проще, как для машин она невероятно сложна и результаты эксперимента по-настоящему впечатляют. Работа Брингсйорда будет представлена на конференции RO-MAN, которая пройдет в Японии с 31 августа по 4 сентября 2015 года.

Параллельно с экспериментом Брингсйорда появилось еще одно достижение в сфере искусственного интеллекта: машины научились описывать человеческим языком то, что они видят. Ученые из Стэнфорда под руководством директора Лаборатории искусственного интеллекта при Стэнфордском университете Фей-Фей Ли, разработали для этого программу NeuralTalk . Ли рассказывает, что программное обеспечение, написанное в рамках проекта, способно проанализировать комплексное изображение и точно определить, что на нем происходит, детально его описав привычным для нас языком. ИИ отыскивает на изображении отдельные объекты, события или действия и находит для них отдельные слова, после чего складывает их в осмысленные предложения. Подобно системе Deep Dream от Google, NeuralTalk использует для своей работы нейронную сеть. Алгоритм сравнивает новое изображение с уже виденными ранее фотографиями, осваивая, подобно маленькому ребенку, новые слова и запоминая образы.

Распознавание деталей на фотографии является одним из многих примеров заданий, которые легко удаются людям, но вызывают существенные затруднения у компьютеров. Сейчас для решения этой задачи чаще всего используется алгоритм, ищущий максимально похожий снимок в базе подписанных фотографий и копирующий оттуда текст или теги. NeuralTalk оказался гораздо более эффективным.

Для начала на базе разработки создадут мощную поисковую машину, которая за секунду сможет найти в Интернет нужное изображение. В будущем подобная нейронная сеть сможет найти не только фотографию, но и интересующий момент в фильме, телесериале или ролике на YouTube.

Новую программу по распознаванию образов создали и специалисты из университета Хартфордшира в Великобритании . Рассматривая снимки глубин космического пространства, компьютер способен самостоятельно, без помощи человека, идентифицировать и классифицировать изображенные на фото галактики. Технология станет основой роботов нового поколения, которые не только заниматься изучением Вселенной, но и самостоятельно определять наличие злокачественных опухолей на рентгеновских снимках, выявлять скрытое в багаже оружие или самодельные взрывные устройства.

В основе разработки - технология самостоятельного машинного обучения, позволяющая компьютеру выделить отдельные объекты и классифицировать их по ряду признаков. С каждым разом, обучаясь во время работы, система улучшает свои способности к распознаванию. По словам автора разработки Джима Гича, главной особенностью нового алгоритма является его полная автономность. "С самого начала мы немного обучили программу, как правильно смотреть на космические изображения, после чего она начала действовать самостоятельно, постоянно совершенствуясь", - говорит инженер. В результате машина стала быстрей и точней, чем человек - ведь у людей часто нарушается четкость восприятия.

В ближайшее время технология будет адаптирована для использования в разных областях: для увеличения интеллектуальных способностей автомобилей-роботов, в медицине, в системах безопасности и там, где требуется четкая идентификация объектов на изображениях, получаемых с камер и датчиков. Разработчики убеждены, что поскольку машина постоянно самообучается, в конце концов, она достигнет такого уровня эффективности, о котором человек может только мечтать.

Таким образом, искусственный интеллект постепенно продвигается к уровню человеческого. Когда именно появятся по-настоящему разумные машины неизвестно, хотя специалисты определяют сроки в 30-100 лет. Неизвестно также, будут интеллектуальные роботы полезны для общества в целом или станут исключительной собственностью контролирующих технологию корпораций. Многие специалисты также прогнозируют, что в обозримом будущем искусственный интеллект достигнет такого уровня, что превзойдет человеческий, и тогда машины наверняка поработят людей. Ранее об опасности развития ИИ высказывались сооснователь Apple Стивен Возняк, Билл Гейтс и знаменитый физик-теоретик Стивен Хокинг. А в начале этого года глава SpaceX и Tesla Motors Илон Маск объявил о намерении вложить $10 млн. в разработку безопасного искусственного интеллекта.