Самообучающийся искусственный интеллект. Софт ИИ обучается делать ИИ: учёные сообщают об успехах в самообучении искусственного интеллекта

Подразделение DeepMind корпорации Google выпустило алгоритм искусственного интеллекта AlphaGo Zero, который самостоятельно выучил правила игры го. На это ему понадобилось всего три дня, сообщается в статье, вышедшей в журнале Nature .

Компании DeepMind удалось создать самообучаемую программу AlphaGo Zero для игры в Го, для которой можно будет найти и другие применения. Что это значит для науки и для исследователей, рассказали эксперты, занимающиеся вопросами искусственного интеллекта.

Дочерняя компания Google DeepMind, занимающаяся развитием искусственного интеллекта, представила новую версию программы для игры в Го AlphaGo Zero. Новая программа играет значительно лучше старой, которая победила мирового чемпиона по игре в Го ранее в этом году, но, что более важно — она полностью самообучаема.

В DeepMind говорят, что теперь компания на один шаг ближе к созданию алгоритмов общего назначения, которые смогут решать сложнейшие научные проблемы – от создания новых лекарств до моделирования эффектов изменения климата

Специалисты из подразделения DeepMind отмечают, что искусственный интеллект способен обучаться многим наукам и стать специалистом в нескольких областях.

AlphaGo Zero впервые смог сам, без вмешательства человека, обучиться игре. Он победил искусственный интеллект версии 2015 года, который в прошлом году обыграл чемпиона по го из Южной Кореи Ли Се Дола.

Разработчики отмечают, что большинство алгоритмов искусственного интеллекта ограничены в использовании, так как могут решать лишь одну задачу. Однако их разработка способна превзойти человека в выполнении сразу нескольких задач.

Оригинальная AlphaGo продемонстрировала сверхчеловеческую способность игры в Го, но ей для этого потребовалась экспертиза людей-игроков. Для обучения использовалась база данных из более чем 100,000 “человеческих” партий в Го.

В AlphaGo Zero, для сравнения, были заложены только базовые правила Го. Все остальное было изучено с нуля. Как указано в статье в Nature, Zero выработала свои навыки, играя против себя.

Все начиналось со случайных ходов, но при каждой победе Zero обновляла свою систему и играла против себя снова и снова, миллионы раз.

После трех дней игры против себя Zero стала достаточно сильна, чтобы победить свою предыдущую версию, которая победила 18-кратного чемпиона мира Ли Се-дола. Zero победила во всех ста партиях.

Через 40 дней у Zero было 90% побед в игре против самой сложной версии программы AlphaGo. В DeepMind заявляют, что это делает Zero самым сильным игроком в Го в истории.

"Без использования человеческих данных и человеческой экспертизы – в любом виде – мы обошли границы человеческого понимания игры, – сказал ведущий программист AlphaGo Zero Дэвид Сильвер на пресс-конференции. – Следовательно, алгоритм способен создавать знания самостоятельно, просто на основе фундаментальных принципов. Это позволяет ему быть сильнее предыдущих версий".

Сильвер объяснил, что так как Zero играл против себя, он заново открыла стратегии Го, которые люди разрабатывали тысячелетиями.

“Она начала очень наивно, как и начинающий человек, но со временем она играла так, что её было сложно отличить от людей-профессионалов”.

Программа натыкалась на некоторые известные стратегии и варианты во время игры до того, как создать ещё неизвестные стратегии.

“Она обнаружила человеческие ходы, попробовала их, но потом нашла что-то ещё”, – сказал Сильвер.

DeepMind надеется, что, как и более ранние версии AlphaGo, Zero выступит в качестве вдохновения для профессиональных игроков, предлагая им новые ходы и стратегии для игры.

У Zero есть и другие важные преимущества перед ранними версиями. Во-первых, система требует меньше вычислительной мощности, запускаясь всего на четырех TPU (это специальные процессоры для ИИ, созданные Google), в то время как предыдущие версии использовали 48.

Во-вторых, так как Zero самообучаема, это показывает, что мы можем создать новейшие алгоритмы без зависимости от больших объемов данных.

Скептики, например, Джоффри Хинтон, предполагают, что машинное обучение может выполнять только одну задачу. Сбор данных и вычислений помогают приспособить машинное обучение под новые функции, но существующие темпы развития неустойчивы.

Последние исследования DeepMind демонстрируют, что существуют значительные улучшения, которые можно сделать, просто сосредоточив внимание на алгоритмах.

“Эта работа показывает, что комбинация существующих техник может привести дальше, чем многие эксперты могли подумать, даже хотя эти методы не новы”, – сказал Илья Суцкевер, директор по исследованиям в OpenAI. — Но в итоге важно то, что исследователи продолжают совершать улучшения в области, и не так важно, достигается ли эта цель разработкой новых методов или применением существующих методов необычными способами”.

В случае AlphaGo Zero особенно умным ходом оказался отказ от человеческой экспертизы. Сатиндер Сингх, профессор информатики, который написал сопроводительную статью к исследованию DeepMind в Nature, описывает работу как “элегантную” и выделяет её аспекты.

Сингх сказал, что это важная победа для сферы обучения с подкреплением, области ИИ, в которой программы учатся при помощи получения наград за достижение определенных целей, но не получают для этого никаких указаний.

Это более новая сфера работы, чем контролируемое обучение (когда программы получают данные с метками и учатся на них), но у неё больший потенциал. Сингх говорит, что чем больше машина может узнать без руководства человека, тем лучше.

“За последние пять-шесть лет обучение с подкреплением развилось из академического метода до более широкого влияния на мир, и DeepMind внес в это свой вклад”, – говорит Сингх. — Тот факт, что они смогли создать лучшего игрока в Го со значительно меньшим количеством данных и вычислительной мощности и намного быстрее – это большое достижение. Так как обучение с подкреплением – это большая часть ИИ, это значит, что это большой шаг вперед в целом”.

Где можно применить такие алгоритмы? Согласно сооснователю DeepMind Демису Хассабису, они могут обеспечить общество чем-то вроде мыслительного движка для научных исследований.

“Большая часть команды AlphaGo теперь переходит на другие проекты, чтобы попробовать применить эту технологию в других сферах”, – сказал Хассабис на пресс-конференции.

Он объясняет, что AlphaGo – это очень хорошая машина для поиска среди сложных данных.

В случае Zero эти данные сравниваются с возможными ходами в игре Го. Но так как Zero не запрограммирована понимать исключительно Го, она может быть перепрограммирована, чтобы открывать информацию в других областях: поиск лекарств, синтез белка, квантовая химия, физика частиц и создание материалов.

Хассабис предполагает, что потомка AlphaGo Zero можно будет использовать для поиска сверхпроводника при комнатной температуре, гипотетического вещества, которое проводит электрический ток без потери энергии, что позволяет создать необыкновенно эффективные энергетические системы (сверхпроводники существуют, но сейчас они работают при экстремально низких температурах).

Как и в случае Го, алгоритм начнет создавать сочетания разных данных, то есть, атомного состава различных материалов и их свойств, пока не обнаружит что-то, что упустили люди.

“Может быть, где-то существует сверхпроводник при комнатной температуре. Я мечтал о нем, когда в детстве читал книги по физике”, – говорит Хассабис. — Но комбинаций материалов очень много, сложно сказать, [существует ли такая вещь]”.

“Мы пытаемся создать алгоритмы общего назначения, и это просто ещё один шаг вперед, но это волнующий шаг”, – говорит Хассабис.

Пока что испытания, которые выявили бы многозадачность устройства, не проводились. Тем не менее, создатели самообучающегося искусственного интеллекта уверены, что через десять лет их детище будет играть роль научных экспертов и работать бок о бок с людьми.

Планируется, что программа будет использоваться в научной сфере в качестве полноценного члена команды или интерактивной энциклопедии.

Система искусственного интеллекта ЭЛИС представляет собой программное обеспечение, способное разговаривать как человек на простом языке, управлять устройствами, а также обучаться. С помощью данной программы можно общаться с компьютером, а также взаимодействовать с физическим миром. Программа также использует возможность подключения Ардуино, чтобы создавать системы умного дома, автоматики и т.д.

Описание:

Программа искусственного интеллекта ЭЛИС — Электронно Логически Интеллектуальная Система. Система искусственного интеллекта ЭЛИС представляет собой программу. Это программное обеспечение, способное разговаривать как человек на простом языке, управлять устройствами , а также обучаться. Данная система не является ассистентом, так как упор идёт на разработку человекоподобной системы, которая сможет обучаться как ребёнок и вести осознанный диалог.

С помощью данной программы можно общаться с компьютером , а также взаимодействовать с физическим миром. Программа также использует возможность подключения Ардуино, чтобы создавать системы умного дома, автоматики и т.д.

Система искусственного интеллекта ЭЛИС построена по модульному принципу. Система универсальна и её функционал наращивается с помощью модулей . Модули могут быть различные, от простых, до сложных.

Программа искусственного интеллекта ЭЛИС самостоятельно ведет диалог с человеком.

Она может самостоятельно начать диалог, может делать это несколько раз, что уже отличает её от голосовых асистентов, которые работают по структуре вопрос — ответ. Программа искусственного интеллекта ЭЛИС самостоятельно принимает решение после того, что скажет человек, и если не знает, её можно обучить.

При поддержке диалога с пользователем система сама обучается. Система способна запоминать несколько ответов на один или множество вопросов и иметь несколько вопросов на один или множество ответов.

Программа искусственного интеллекта ЭЛИС полностью совместима с платформой Ардуино, поэтому можно управлять любыми устройствами. Можно попросить у системы включить свет, система спросит, где именно включить, но можно попросить включить свет сразу в определённом месте, тогда она не будет переспрашивать.

Программа искусственного интеллекта ЭЛИС также способна запускать сторонние приложения и т.д.

Модули:

В настоящий момент программа искусственного интеллекта ЭЛИС включает следующие модули:

— модуль «Знания» — модуль поиска информации по WIKIPEDIA. Система знает любое устройство, предмет и так далее, Спросите например, что такое велосипед или что такое яблоко и система расскажет, что это такое,

— модуль «Новости». Свежие новости на интересы пользователя. Просто спросите, какие новости или расскажи новости, система расскажет и спросит, надо ли рассказать ещё, ответив да, она расскажет ещё,

— модуль «Погода». Погода на сегодня и на завтра по моему городу. Можно узнать температуру, влажность, скорость ветра, будет ли дождь или мороз. Можно спросить, брать ли зонтик сегодня или можно ли одеть сегодня шорты,

— модуль «Калькулятор». С помощью данного модуля , система умеет складывать, вычитать, умножать и делить предметы и т.д. Например спросив, сколько будет два яблока плюс два яблока, система ответит четыре яблока. Модуль в разработке,

— модуль «Будильник». Модуль позволяет устанавливать любое количество будильников. Установив будильник, система Вас разбудит. Просто надо сказать, разбуди меня в 7 утра. Модуль в разработке,

— модуль «Корректировка ответов». Правильная расстановка знаний в базе,

— модуль «Праздники, именины, события». Данный модуль позволяет узнать, кому сегодня день имени или какой сегодня праздник,

— модуль «Тосты». Модуль позволяет системе говорить различные тосты. Надо попросить, скажи тост,

— модуль «Анекдоты». Система знает тысячи анекдотов. Просто попросите её рассказать анекдот, так-же можно попросить рассказать анекдот для взрослых,

— модуль «Стихи». Данный модуль превращает систему в поэта. Просто попросите рассказать стих, так-же можно попросить рассказать стих для взрослых,

— модуль «Афоризмы». Система знает тысячи афоризмов. Просто попросите её сказать афоризм, так-же можно попросить сказать афоризм для взрослых,

— модуль «Управление освещением». С помощью данного модуля, система умеет управлять освещением квартиры или дома. Для этого надо подключить Arduino и Ethernet Shield,

— модуль «Угадывание цифры». Система пытается угадать загаданную цифру. Называет предполагаемую цифру, после надо ей сказать, больше или меньше. Модуль в разработке,

— модуль «Пользователь». Модуль позволяет изменять данные пользователя, имя, город и т.д. Например чтобы поменять имя, надо сказать, запомни меня зовут Олег и она запомнит,

— модуль «Диалог». Анализ диалога. Модуль, который обрабатывает диалог за сутки, анализируя пользователя, обучаясь и т.д.

Примечание: описание технологии на примере программы искусственного интеллекта ЭЛИС.

Гидрат природного газа - «горючий лед...

Каназит - комплексное стекольное сырье...

Углеродные наноконусы

Наноспутники

Камерные электрические печи гибкого комбинированно...

Промобот – живой автономный робот-промоутер с хара...

Рекуперативное торможение

Ротационное формование полимерных изделий...

Солнечная черепица

Гидроэлектростанции с колеблющимися цилиндрическим...

Компания Google занимается созданием искусственного интеллекта, способного обучаться прохождению компьютерных игр, вырабатывая для каждой из них собственные стратегии по итогам серий испытаний. Об этом сообщает The Guardian .

Искусственный интеллект или «агент», как его называют в Google, самостоятельно освоил 49 ретро-игр, для каждой из них предложив уникальную стратегию победы. В будущем эти разработки могут быть применены в области создания беспилотных автомобилей, цифровых ассистентах и научных исследованиях в области климата и космологии.

Это первый значительный шаг на пути к доказательству того, что подобные системы самообучения могут работать. Что они могут решать сложные задачи, которые даже человек находит трудными. Это детский шажок на пути к достижению этой грандиозной цели, но очень важный шажок.

Демис Хассабис, основатель DeepMind

Как отмечает The Guardian, разработанный DeepMind искусственный интеллект следует отличать от программы Deep Blue, обыгравшей Гарри Каспарова в шахматы в 1997 году, или компьютера IBM Watson, научившегося на равных с людьми принимать участие в интеллектуальном шоу «Jeopardy!» (российский аналог - «Своя игра»). В этих случаях правила игр были изначально заложены в программы, а тогда как детище DeepMind способно обучаться им самостоятельно.

При первом запуске игры агент DeepMind получает в своё распоряжение только информацию о расположении объектов на экране и счёте, а затем начинает случайным образом нажимать на кнопки, пытаясь определить, какие действия приводят к улучшению результатов, а какие - к проигрышу.

На то, чтобы освоить ретро-игру, у искусственного интеллекта уходит порядка 600 попыток и двух недель машинного времени. Во многих случаях агент придумал стратегии прохождения, которые исследователи даже не могли себе представить.

По результатам эксперимента искусственный интеллект освоил набор из 49 игр, включающих себя шутеры, гонки и сайд-скроллеры, на 75% от уровня опытного пользователя. В некоторых задачах агент превзошёл человека, а в некоторых - нет.

Как отмечают создатели искусственного интеллекта, подобно людям он обучается методом проб и ошибок, однако уступает человеческому мозгу в играх, где необходимо долгосрочное планирование, из-за отсутствия полноценной памяти. Именно создание такого рода буфера станет следующей целью для компании.

Специалисты DeepMind не разделяют главы Tesla Motors Элона Маска, одного из своих инвесторов, о том, что искусственный интеллект может быть опасен. По их мнению, технология сможет представить реальную угрозу для человечества только спустя десятилетия.

По Курцвейлу, логарифмическая шкала смены парадигм для ключевых исторических событий проявляет экспоненциальную тенденцию

Ключевой элемент для возникновения технологической сингулярности - запуск неконтролируемого цикла самосовершенствования ИИ, где каждое новое более умное поколение ИИ будет появляться быстрее предыдущего. Согласно теории сингулярности по Вернору Винджу, в результате взрывного развития интеллекта в цикле экспоненциального самосовершенствования появится сверхинтеллект , который намного превзойдёт возможности человеческого разума и по сути будет непонятен для него. Называются разные примерные даты наступления сингулярности, исходя из экстраполяции технологического прогресса. Рей Курцвейл считает, что это произойдёт примерно в 2045 году (хотя он не считает обязательным экспоненциальное самосовершенствование ИИ), а среднее медианное значение по опросу экспертов по сильному ИИ - 2040 год.

Вполне возможно, что сингулярность наступит раньше прогнозируемого. Инженеры из компании Google и разработчики систем ИИ из других компаний сообщают об успехах , которых удалось добиться в ключевом направлении - создании систем ИИ, предназначенных для проектирования других систем ИИ.

В одном из экспериментов исследователи ИИ из подразделения Google Brain разработали программу, которая проектировала нейронную архитектуру нейросети таким образом, чтобы та показывала максимально высокие результаты в распознавании речи. Спроектированная программным методом система показала лучший результат, чем созданные человеком нейросети .

Издание MIT Technology Review рапортует , что в последние месяцы об успехах по созданию систем ИИ для проектирования других систем ИИ сообщили несколько исследовательских коллективов, в том числе из некоммерческой организации OpenAI (финансируется Илоном Маском), Калифорнийского университета в Беркли , а также ещё одного подразделения по искусственному интеллекту в компании Google - DeepMind . Очевидно, это направление научных исследований считается одним из самых перспективных, многие хотят преуспеть в нём.

По мнению MIT Technology Review , такие разработки в первую очередь преследуют экономическую цель. Создание программы для проектироания приложений ИИ значительно ускорит применение подобных технологий в разных сферах экономики. Сейчас многие компании не могут себе позволить внедрить систему ИИ, потому что в штате нет специалиста с такой компетенцией. Банально, эксперты по ИИ в большом дефиците. А ведь нейросети можно применять практически в огромном количестве приложений: в автомобильной промышленности, в банковской сфере, в телекоммуникациях, в системах безопасности и видеонаблюдения, в самых разных потребительских продуктах для распознавания речи и жестов, машинного зрения и т.д.

Разработка систем ИИ программными методами позволит заменить часть этих дефицитных программистов.

Важно ещё и то, что ИИ разрабатывает нейросети более эффективные, чем человек, поэтому внедрение таких программ имеет смысл даже там, где раньше работали живые разработчики.

На эту тему рассуждал недавно Джефф Дин (Jeff Dean), руководитель исследовательской группы Google Brain. В своём выступлении на конференции AI Frontiers в Санта-Кларе (Калифорния) он предположил, что часть таких программистов можно заменить программным обеспечением, потому что в данный момент компаниям приходится платить очень высокие деньги и зарплату этим специалистам, которых крайне не хватает.

Например, в научной статье "Learning to reinforcement learn " от DeepMind описан набор экспериментов для самообучения ИИ, который исследователи называют «глубокое мета-обучение с подкреплением» (deep meta-reinforcement learning). Суть заключается в том, чтобы использовать стандартное обучение с подкреплением нейросети с обратной связью таким образом, чтобы эта рекуррентная нейросеть разработала собственную свободную от внешних шаблонов процедуру обучения с подкреплением для другой рекуррентной нейросети.

Эксперименты показали, что нейросеть второго порядка, созданная усилиями первой нейросети, в некоторых случаях демонстрирует эффективность и качества, которыми не обладает нейросеть первого порядка.

Всего в научной работе DeepMind описано семь таких экспериментов. Как обычно, они проводят их в пространстве компьютерных игр. По мнению исследователей, подобные агенты ИИ, созданные с помощью других программ ИИ, способны быстрее адаптироваться к новым задачам, используя полученные ранее знания на схожих задачах. Эксперименты показали также, что результат обучения ИИ второго порядка можно считать непредсказуемым: его архитектура не зависит от архитектуры ИИ первого порядка и может сильно отличаться от неё. В частности, ИИ второго порядка способен использовать особенности среды, о которых не знали или не которые не учитывались самими разработчиками.

Специалисты DeepMind считают, что их эксперименты с глубоким мета-обучением с подкреплением имеют значение и в изучении человеческого мозга, в частности, они «обеспечивают интегративный фреймворк для понимания соответствующих ролей допамина и префронтальной коры головного мозга в биологических процессах обучения с подкреплением».

Идея самообучения ИИ выдвигалась и раньше, но до сих пор учёным не удавалось продемонстрировать настолько впечатляющих результатов. Например, один из пионеров в этой области, профессор Йошуа Бенжио (Yoshua Bengio), говорит, что такие эксперименты требуют слишком больших вычислительных мощностей, так что до последнего времени они не имели практического смысла. Например, в опытах Google Brain для работы программного обеспечения, которое проектирует систему ИИ для машинного зрения, использовалось 800 высокопроизводительных графических процессоров.

Исследователи из Массачусетского технологического института планируют опубликовать исходный код программы, которую использовали в своих экспериментах . Возможно, со временем использование таких инструментов будет иметь экономический смысл и оно снизит нагрузку на специалистов, которые разрабатывают модели для обработки данных. Высококвалифицированные программисты смогут отвлечься от кодинга и сконцентрироваться на идеях более высокого порядка.

Искусственный интеллект, созданный с помощью компьютерных программ, каждый пользователь встречал в компьютерных играх. Например, играя в шахматы компьютер, анализирует комбинации игрока и по своему алгоритму делает свой следующих ход. В играх искусственным интеллектом наделяют всех противников пользователя. На сегодняшний день компьютерные технологии позволяют с помощью искусственного интеллекта общаться с программами. А сам программный интеллект способен развиваться и усовершенствовать свои функции на практике. Одним словом сегодня программы способны эволюционировать.

Простая программа с искусственным интеллектом.

Начнем из самого простого примера. ChatMaster - программа с искусственным интеллектом умеет разговаривать с человеком с помощью чата. Главной особенностью на первый взгляд простой программы – самообучение. Чем больше вы общаетесь с программой, тем более растет ее словарный запас и умение подстрагиваться под собеседника при ведении диалога. Автор программы утверждает, что ему удалось создать программную модель человеческого мышления.

При начале работы программа может показаться «слабенькой». Но причина в том, что ее после первого запуска не стоит сразу тестировать на уровень интеллекта и сообразительности. Сначала к программе следует относиться как к 12-ти летнему ребенку, который через несколько часов будет общаться на уровне своего собеседника. Для этого словарный запас программы должен вырасти до с 3000 до 10 000 слов. После чего впечатление от работы с программой превышает все ожидания.

Невооруженным глазом заметно, что программа запоминает не только слова а и лингвистическую реакцию собеседника на поставленные фразы. При желании, можно корректировать ответы программы на свои варианты с помощью принудительного обучения. В этом же режиме можно запрещать запоминать отдельные фразы, введенные с опечатками. При желании можно экспортировать базы и обмениваться с друзьями для более быстрого обучения (при активном импорте / экспорте не забывайте делать резервные копии). В целом логика в программе хоть и своеобразная, но она есть и весьма развитая.

Улучшенное программное решение искусственного интеллекта.

Очень интересное программное решение в области искусственного интеллекта предложили разработчики из A.L.I.C.E. Они хорошо разбираются в искусственном интеллекте и активно занимаются разработкой программ в данной области. Чтобы ознакомится с их разработками, было создано онлайн-приложение для общения с капитаном Кирком (Captain Kirk) в режиме реального времени. Принцип приложение построен аналогично предыдущей программе, но есть приятная особенность. Программа отвечает на все написанные ей вопросы голосом вслух. Существенным недостатком программы является возможность общения исключительно на английском языке. Подобное приложение для общения на русском найти не удалось и очень жаль, что программисты не использовали такую функцию. Ведь существуют много программ для синтеза речи, которые преобразуют текст в звуковую речь с помощью технологии SAPI5. Жаль, что у программистов не возникало желания создать альтернативную программу с поддержкой русского языка. Ведь по сути это пока еще свободная ниша.

Общение с программой через микрофон относится к искусственному интеллекту.

Программа для общения с компьютером на русском языке называется – Попугай Гриша. В этой программе реализован, скорее всего, прототип искусственного интеллекта. Но задумка очень оригинальная. Дело в том, что основной отличительной чертой Попугая Гриши является возможность общения через микрофон и динамики (без использования клавиатуры).

В программе имеется дикторнонезависимый модуль распознавания речи. Именно анализ входящего звукового канала относит данную программу к искусственному интеллекту. Но, к сожалению, он способен распознать только несколько вопросов (только 46 фраз приведенные в справке). При запуске программы попугай спит. Как только вы заговорите через микрофон, он просыпается для начала диалога. Программная система распознания речи использует не информационные функции, а коммуникативные:

• аппелятивная;
• эмотивная;
• метод превалирования.

Категориальный словарь диалога основан на семантических примитивах. Метод распознания речи выполняется не по лингвистическому содержанию, а по определению функции высказывания. Таким образом, при голосовом распознании речи пользователя определяется речевой акт, сценарий общения и сам диалог. Поэтому при общении с программой важно не словоупотребление, а коммуникативный акт. При распознании подбираются случайные сцены. Если входной сигнал отсутствует, на протяжении некоторого времени, попугай сам провоцирует пользователя на диалог. Сценарием поведения попугая можно управлять с помощью фраз и даже менять его характер на: грустный, обидчивый, веселый.

Для мобильных технологий более активно разрабатывают и внедряют программы с искусственным интеллектом. В этом можно убедиться с краткого видео обзора программы: