Промышленные нейрокомпьютеры и перспективы их развития. Объектом исследования выступают нейрокомпьютерные системы

25.05.2019

Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования

«Финансовый университет при Правительстве Российской Федерации»

Кафедра

"Разработка, применение и перспективы развития нейрокомпьютеров"

Выполнила:

студентка гр. М1-1

Жилякова А.И.

Проверил:

Магомедов Р.М.

1. Введение

Автор реферата, не претендуя на исчерпывающее изложение темы, в рамках небольшой работы, поставила цель изучить такое новшество в техническом мире, как нейрокомпьютеры, последовательно раскрывая историю их разработки, применение и перспективы развития.

Выбор пал на данную тему из-за ее актуальности. В настоящее время разработка нейрокомпьютеров ведется в большинстве промышленно развитых стран. Нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания образов, адаптивного управления, прогнозирования, диагностики и т.д. Нейрокомпьютеры отличаются от ЭВМ предыдущих и поколений не просто большими возможностями. Принципиально меняется способ использования машины. Место программирования занимает обучение, нейрокомпьютер учится решать задачи. Поэтому сегодня его развитие становится первоочередной задачей науки.

2. История нейрокомпьютеров.

Нейрокомпьютер - устройство переработки информации на основе принципов работы естественных нейронных систем. Эти принципы были формализованы, что позволило говорить о теории искусственных нейронных сетей. «Проблематика же нейрокомпьютеров заключается в построении реальных физических устройств, что позволит не просто моделировать искусственные нейронные сети на обычном компьютере, но так изменить принципы работы компьютера, что станет возможным говорить о том, что они работают в соответствии с теорией искусственных нейронных сетей.» Нейросетевой тематикой занимаются как разработчики вычислительных систем и программисты, так и специалисты в области медицины, финансово-экономические работники, химики, физики и т.п. (т.е. все кому не лень). То, что понятно физику, совершенно не принимается медиком и наоборот - все это породило многочисленные споры и целые терминологические войны по различным направлениям применения всего, где есть приставка нейро-.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера.

	Научное направление	Определение нейровычислительной системы
	Математическая статистика	Нейрокомпьютер - это вычислительная система автоматически формирующая описание характеристик случайных процессов или их совокупности, имеющих сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.
	Математическая логика	Нейрокомпьютер - это вычислительная система алгоритм работы которой представлен логической сетью элементов частного вида - нейронов, с полным отказом от булевых элементов типа И, ИЛИ, НЕ.
	Пороговая логика	Нейрокомпьютер - это вычислительная система, алгоритм решения задач в которой представлен в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми от размерности сети пороговых элементов и их входного пространства
	Вычислительная техника	Нейрокомпьютер - это вычислительная система с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.
	Медицина (нейробиологический подход)	Нейрокомпьютер - это вычислительная система представляющая собой модель взаимодействия клеточного ядра, аксонов и дендридов, связанных синаптическими связями (синапсами) (т.е. модель биохимических процессов протекающих в нервных тканях).
	Экономика и финансы	Устоявшегося определения нет, но чаще всего под нейровычислителем понимают систему обеспечивающую параллельное выполнение “бизнес”-транзакций.

Другой импульс развитию нейрокомпьютеров дали теоретические разработки 1980-х годов по теории нейронных сетей (сети Хопфилда, сети Кохонена, метод обратного распространения ошибки).

Для преодоления этого ограничения применяется следующий подход: для различных классов задач строятся максимально параллельные алгоритмы решения, использующие какую-либо абстрактную архитектуру (парадигму) мелкозернистого параллелизма, а для конкретных параллельных компьютеров создаются средства реализации параллельных процессов заданной абстрактной архитектуры. В результате появляется эффективный аппарат производства параллельных программ.

Нейроинформатика поставляет универсальные мелкозернистые параллельные архитектуры для решения различных классов задач. Для конкретных задач строится абстрактная нейросетевая реализация алгоритма решения, которая затем реализуется на конкретных параллельных вычислительных устройствах. Таким образом, нейросети позволяют эффективно использовать параллелизм.

2. История нейрокомпьютеров.

Приведем некоторые наиболее устоявшиеся определения нейрокомпьютера.

	Научное направление	Определение нейровычислительной системы
	Математическая статистика	Нейрокомпьютер - это вычислительная система автоматически формирующая описание характеристик случайных процессов или их совокупности, имеющих сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.
	Математическая логика	Нейрокомпьютер - это вычислительная система алгоритм работы которой представлен логической сетью элементов частного вида - нейронов, с полным отказом от булевых элементов типа И, ИЛИ, НЕ.
	Пороговая логика	Нейрокомпьютер - это вычислительная система, алгоритм решения задач в которой представлен в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми от размерности сети пороговых элементов и их входного пространства
	Вычислительная техника	Нейрокомпьютер - это вычислительная система с MSIMD архитектурой, в которой процессорный элемент однородной структуры упрощен до уровня нейрона, резко усложнены связи между элементами и программирование перенесено на изменение весовых коэффициентов связей между процессорными элементами.
	Медицина (нейробиологический подход)	Нейрокомпьютер - это вычислительная система представляющая собой модель взаимодействия клеточного ядра, аксонов и дендридов, связанных синаптическими связями (синапсами) (т.е. модель биохимических процессов протекающих в нервных тканях).
	Экономика и финансы	Устоявшегося определения нет, но чаще всего под нейровычислителем понимают систему обеспечивающую параллельное выполнение “бизнес”-транзакций.

3.2. Практическое применение нейрокомпьютеров.

3.2.1. Сферы применения

Несмотря на недостатки, нейрокомпьютеры могут быть успешно использованы в различных областях народного хозяйства:

Управление в режиме реального времени: самолетами, ракетами и

технологическими процессами непрерывного производства (металлургического, химического и др.);

Распознавание образов: человеческих лиц, букв и иероглифов, сигналов радара и сонара, отпечатков пальцев в криминалистике, заболеваний по симптомам (в медицине) и местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам);

Прогнозы: погоды, курса акций (и других финансовых показателей), исхода лечения, политических событий (в частности результатов выборов), поведения противников в военном конфликте и в экономической конкуренции;

Оптимизация и поиск наилучших вариантов: при конструировании технических устройств, выборе экономической стратегии и при лечении больного.

Этот список можно продолжать, но и сказанного достаточно для того, чтобы понять, что нейрокомпьютеры могут занять достойное место в современном обществе.

Что же представляет из себя нейрокомпьютер? Нейрокомпьютеры бывают двух типов:

1. Большие универсальные компьютеры построенные на множестве нейрочипов.

2. Нейроимитаторы, представляющие собой программы для обычных компьютеров, имитирующие работу нейронов. В основе такой программы заложен алгоритм работы нейрочипа с определенными внутренними связями. Что - то типа “Черного ящика”, по принципу которого он и работает. На вход такой программы подаются исходные данные и на основании закономерностей, связанных с принципом работы головного мозга, делаются выводы о правомерности полученных результатов.

3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности.

Перечислим основные классы задач, возникающих в финансовой области, которые эффективно решаются с помощью нейронных сетей.

Задача	Пример использования нейрокомпьютеров
Прогнозирование временных рядов на основе нейросетевых методов обработки	Валютный курс, спрос и котировки акций, фьючерсные контракты и др.
Прогнозирование банкротств на основе нейросетевой системы распознавания	Составление прогнозирующих отчетов
Применение нейронных сетей к задачам биржевой деятельности	Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия
Прогнозирование экономической эффективности финансирования экономических и инновационных проектов	Предсказание результатов вложений

2. Страховая деятельность банков.

Оценка риска страхования инвестиций на основе анализа надежности проекта

Оценка риска страхования вложенных средств

Применение нейронных сетей для оценки риска страхования особенно эффективно с точки зрения способности анализировать как ранее накопленные данные по результатам страхования, так и коррелирующие данные, определяемые как дополнительные. Возможна оценка надежности проекта на основе нейросетевой системы распознавания надежности.

3. Прогнозирование банкротств на основе нейросетевой системы распознавания.

Анализ надежности фирмы с точки зрения возможности ее банкротства с помощью нейросетевой системы распознавания и выдача результата в дискретном виде (да. нет)

Анализ величины вероятности банкротства фирмы на основе многокритериальной оценки с построением нелинейной модели с помощью нейронных сетей (пример результата - 74% вероятности банкротства).

Анализ банкротств, использующий финансовые соотношения, является весьма важным по нескольким соображениям. Во-первых, управление фирмы может выявлять потенциальные проблемы, которые требуют внимания. Во-вторых, инвесторы используют финансовые соотношения для оценки фирм. Наконец, аудиторы используют их как инструмент в оценке деятельности фирм. Данные используемые для обанкротившихся фирм могут быть взяты из последних финансовых бюллетеней, вышедших перед тем, как фирмы объявили банкротство.

4. Определение курсов облигаций и акций предприятий с целью вложения средств в эти предприятия.

Выделение долгосрочных и краткосрочных скачков курсовой стоимости акций на основе нелинейной нейросетевой модели

Предсказание изменения стоимости акций на основе нейросетевого анализа временных экономических рядов

Распознавание ситуаций, когда резкое изменение цены акций является результатом биржевой игры с помощью нейросетевой системы распознавания

Определение соотношения котировок и спроса

Прогнозирующая система может состоять из нескольких нейронных сетей, которые обучаются взаимосвязям между различными техническими и экономическими показателями и периодами покупки и продажи акций. Целью прогноза является выбор наилучшего времени для покупки и продажи акций. Здесь рассматриваются также задачи формирования портфеля ценных бумаг и распознавания шаблонов на графике изменения курсов акций, которые позволяют прогнозировать курс акций на последующем отрезке времени. На рынке акций шаблон <треугольника> в диаграмме (графике) изменений курса акций является индикатором важного направления будущего изменения цены акций. Однако никакие методы основанные на правилах не дают хорошего результата, только высококвалифицированные эксперты. «Нейросетевой подход дал весьма многообещающие результаты для Токийской фондовой биржи после обучения сети на 15 обучающих шаблонах треугольника и проверке на одном нейросетевом шаблоне. После чего были проведены 16 экспериментов на данных по ценам акций за последние 3 года. Шаблон треугольника был успешно определен в 15 случаях.»

5. Применение нейронных сетей к задачам анализа биржевой деятельности.

Нейросетевая система распознавания всплесков биржевой активности - анализ деятельности биржи на основе нейросетевой модели

Предсказание цен на товары и сырье с выделением трендов вне зависимости от инфляции и сезонных колебаний - нейросетевая система выделения трендов по методикам <японских свечей> и других гистографических источников отображения информации

Для задач биржевой деятельности наиболее интересным представляется построение системы распознавания природы биржевых событий и выделение основных закономерностей, то есть поиск взаимосвязи резкого изменения биржевой цены и биржевой активности в зависимости от биржевой игры или инфляционных процессов. Эффективным может быть применение нейронной сети для предсказания цен на товары и сырье вне зависимости от сезона и уровня инфляции (выделение трендов).

6. Прогнозирование экономической эффективности финансирования экономических и инновационных проектов.

Предсказание на основе анализа реализованных ранее проектов;

Предсказание на основе соответствия предлагаемого проекта экономической ситуации

В первом случае используется способность нейронных сетей к предсказанию на основе временных рядов, во втором - построения нелинейной модели на базе нейронной сети.

7. Предсказание результатов займов.

Определение возможности кредитования предприятий

Предоставление кредитов и займов без залога

Используется (в редком случае) при предоставлении займов без залога на основе анализа дополнительной информации о потребителе кредитов. Оценивает риск займа на основе построения нелинейной модели. Имеющаяся информация основана на исследованиях, производимых международными финансовыми группами.

8. Общие приложения нейронных сетей

Применение нейронных сетей в задачах маркетинга и розничной торговли

Одно из самых <модных> применений нейрокомпьютеров в финансовой области. Один из решаемых вопросов - установление цены на новый вид товара на основе многокритериальной оценки.

Моделирование динамики цен на сельскохозяйственную продукцию в зависимости от климатических условий

Моделирование работы коммунальных служб на основе нейросетевой модели для многокритериального анализа

Построение модели структуры расходов семьи.

Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.

В нейрокомпьютинге постепенно созревает новое направление, основанное на соединении биологических нейронов с электронными элементами. По аналогии с Software (программное обеспечение - «мягкий продукт») и Hardware (электронное аппаратное обеспечение - «твёрдый продукт»), эти разработки получили наименование Wetware «влажный продукт».

В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон (Nanowire). В разработках используется современная нанотехнология. В том числе, для создания соединений между нейронами и электронными устройствами используются углеродные нанотрубки.

(Распространено также и другое определение термина «Wetware» - человеческий компонент в системах «человек-компьютер».)

5. Заключение.

Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки.

Такие системы основывались на высокоуровневом моделировании процесса мышления на обычных компьютерах. Скоро стало ясно, чтобы создать искусственный интеллект, необходимо построить систему с похожей на естественную архитектурой, т. е. перейти от программной реализации процесса мышления к аппаратной.

Естественным продолжением аппаратного и программного подхода к реализации нейрокомпьютера является программно-аппаратный подход.

Аппаратный подход связан с созданием нейрокомпьютеров в виде нейроподобных структур (нейросетей) электронно-аналогового, оптоэлектронного и оптического типов. Для таких компьютеров разрабатываются специальные СБИС (нейрочипы).

Основу нейросетей составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга - искусственные нейроны. Нейрон обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом, который по физическому смыслу эквивалентен электрической проводимости в электрических связях.

Для решения отдельных типов задач существуют оптимальные конфигурации нейронных сетей. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом слоев нейронов. Одной из важных особенностью нейронной сети является возможность к обучению. Обучение нейросети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. После обучения на достаточно большом количестве примеров можно использовать обученную сеть для прогнозирования, предъявляя ей новые входные значения. Это важнейшее достоинство нейрокомпьютера, позволяющие ему решать интеллектуальные задачи, накапливая опыт.

Список используемой литературы.

1. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) // Нейрокомпьютер. 2000. № 1

2. Власов А.И. Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты // Нейрокомпьютеры: разработка и применение. 2000. № 1.

3. Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.

4. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВИНИТИ, 1990.

5. http://ru.wikipedia.org/wiki/Нейрокомпьютер

6. http://www.chipinfo.ru/literature/chipnews/200005/34.html

7. http://works.tarefer.ru/30/100032/index.html

8. http://www.tiptoptech.net/neirokomputer.html

9. http://www.iam.ru/world/neuron.htm

10. http://www.intuit.ru/department/expert/neurocomputing/2/2.html

Http://ru.wikipedia.org/wiki/Нейрокомпьютер

Http://works.tarefer.ru/30/100032/index.html

Уоссермен Ф., Нейрокомпьютерная техника - М., Изд. «Мир», 1992. – С.93

Http://www.chipinfo.ru/literature/chipnews/200005/34.html

Http://ru.wikipedia.org/wiki/Нейрокомпьютер

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Филиал Нижегородский

Электронная письменная предзащита

Название дисциплины

ЭВМ и вычислительные системы

Состояние и перспективы развития нейрокомпьютерных систем

Фамилия выпускника

Варакин Алексей Сергеевич

Содержание

Введение
2.2 Теория нейронных сетей
2.3 Нейроматематика
2.4 Прикладная нейроматематика
2.5 Нейрочипы и нейрокомпьютеры
2.6 Обзор зарубежных достижений нейрокомпьютерных систем
Заключение
Глоссарий
Список использованных источников

Введение

Актуальность исследования . Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга, а также советских и российских ученых И.Б. Гутчина, A. C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня и др. получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейроматематика и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей.

Нейронные сети и нейрокомпьютеры в настоящее время находят применение для решения задач практически во всех областях научно-исследовательской и инженерной деятельности: в авиации и космической технике, энергетике (в т. ч. атомной), химической, электронной и нефтегазодобывающей отраслях промышленности, военной технике и системах двойного применения, в управлении роботами, станками и технологическими процессами, в системах обработки изображений, сигналов и данных, вычислительных системах и др.

Известно, что искусственные нейронные сети в первую очередь предназначены для решения специфических, трудно формализуемых задач (также возможно применение ИНС для решения формализуемых задач вместо традиционных фоннеймановских вычислителей), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени.

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания.

Объектом исследования выступают нейрокомпьютерные системы. Предметом исследования является процессы способствующих развитию нейрокомпьютерных систем.

Таким образом, целью данного исследования является исследование состояния и перспектив развития нейрокомпьютерных систем.

Основные задачи , поставленные и решенные в данной работе, следующие.

1 Теоретическое обосновать и исследовать нейрокомпьютерные системы;

2 Рассмотреть текущее состояние проблемы;

3 Определить перспективы развития нейрокомпьютерных систем.

Практическая значимость исследования заключается в том, что поставлены и решены задачи повышения эффективности применения нейрокомпьютерных систем с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в практике.

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

Для решения задач идентификации и прогнозирования технического состояния могут быть использованы искусственные нейронные сети (ИНС) или, просто, нейронные сети (НС) различного рода.

Для реализации с максимальным эффектом функций НС, как правило, существует оптимальная совокупность параметров НС. Следовательно, одной из основных задач, стоящих перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.

Основным элементом сети является искусственный нейрон (далее нейрон) (приложение А).

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены. Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон - выходную связь данного нейрона - откуда сигнал возбуждения или торможения поступает на синапсы других нейронов. Общий вид нейрона представлен на рис 1 С. 125 Бархатов, Н.А. Искусственные нейронные сети в задачах солнечно-земной физики [Текст]: монография / Н.А. Бархатов, С.Е. Ревунов. - Нижний Новгород: Нижегородский гос. пед. ун-т, 2010. - 407 Ч. .

нейронная сеть нейрокомпьютерная россия

Рис.1 Искусственный нейрон - простейший элемент искусственной нейронной сети

y j - сигнал, поступающий от нейрона j;

s k - скалярное произведение вектора входных сигналов и вектора весов;

f k - функция возбуждения;

y k - выходной сигнал нейрона

Каждый синапс характеризуется величиной синаптической связи или весом w i , который по своему физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется как взвешенная сумма его входов:

где x - вход нейрона, а w - соответствующий этому входу вес.

Выход нейрона есть функция его состояния, т.е. Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.

Рис.2 Активационная функция

а) пороговая; b) полулинейная; c) сигмоидальная

В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция математически выражается по формуле

При уменьшении сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне . Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон С. 98 Злобин, В.К. Нейросети и нейрокомпьютеры [Текст] / В.К. Злобин, В.Н. Ручкин. - Санкт-Петербург: БХВ-Петербург, 2011. - 252 с. .

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) С. 17 Малыхина, М.П. Нейросетевая экспертная система на основе прецедентов для решения проблем абонентов сотовой сети [Текст]: [монография] / М.П. Малыхина, Ю.В. Бегман. - Краснодар: Юг, 2011. - 148 с. .

Размещено на http://www.allbest.ru/

Рис.3 Типы нейронов в зависимости от их функций в сети

В зависимости от механизма обработки получаемых данных можно выделить целый ряд математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.

Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) С. 114 Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с. .

Нейроны типа WTA (от англ. - “победитель получает всё”) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.

Размещено на http://www.allbest.ru/

Рис.4 Виды математических моделей нейронов

В стохастической модели выходное значение нейрона зависит еще и от некоторой случайной переменной, лежащей в интервале (0,1), что позволяет при подборе весов снизить до минимума среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом для аппроксимации с произвольной точностью любой нелинейной функции многих переменных и используются там, где входные данные ненадежны и слабо формализованы.

Одна и та же модель нейрона в разных сетях может иметь разные функции активации (рис.5).

Размещено на http://www.allbest.ru/

Рис.5 Функции активации нейронов

Однако это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации с насыщением (сигмоидальная функция). Необходимо так же отметить, что нейроны входного слоя имеют тождественные функции активации, что позволяет им распределять полученные сигналы нейронам скрытого слоя без изменений С. 74 Осипов, Л.А. Искусственный интеллект и нейронные сети [Текст]: учебное пособие: для студентов высших учебных заведений, обучающихся по направлению подготовки 230400 - "Информационные системы и технологии" / Л.А. Осипов, С.А. Яковлев. - Санкт-Петербург: ГУАП, 2011. - 133 с. .

Совокупности нейронов образуют нейронные сети. НС различаются по архитектуре (рис.6), по типу входящих в нее нейронов (рис.7), по типу обрабатываемых ею сигналов (рис.8), по типу смены состояния нейронов в момент времени (рис.9). НС различаются так же топологией. Отметим, что статическими и динамическими НС являются однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств динамических НС является их возможная неустойчивость при работе (приложение В).

Однородность НС (использование однотипных нейронов с единой функцией активации) в различных задачах по-разному влияет на производительность и скорость обучения НС.

Размещено на http://www.allbest.ru/

Рис.6 Обобщенная классификация нейронных сетей с точки зрения их архитектуры

Размещено на http://www.allbest.ru/

Рис.7Классификация нейронных сетей по типу входящих в нее нейронов

Размещено на http://www.allbest.ru/

Рис.8Классификация нейронных сетей по типу обрабатываемых сигналов

Размещено на http://www.allbest.ru/

Рис.9Классификация нейронных сетей по типу смены состояния в момент времени

Размещено на http://www.allbest.ru/

Рис.10 Топология (архитектура) нейронных сетей

Синхронность НС означает, что в каждый момент времени только один нейрон меняет свое состояние. Асинхронность подразумевает смену состояний у целого ряда нейронов (чаще всего - слоя). На практике большее предпочтение отдается синхронным НС.

Весьма обширна и топология (архитектура) НС, что говорит о довольно узкой направленности каждого типа НС для оптимального решения определенного круга задач. Однако для решения сложных задач наибольший интерес представляют многослойные однонаправленные (без обратных связей) и рекуррентные НС.

Размещено на http://www.allbest.ru/

Рис.11 Многослойные (слоистые) нейронные сети

Для выполнения сетью поставленной задачи ее необходимо обучить, то есть сообщить ей, каким образом она должна действовать, чтобы выдать разработчику желаемый результат. Стратегии обучения нейронных сетей представлены на рис.12. Особенностью обучения с учителем (обучение под надзором) является то, что наряду с входным вектором (значения элементов входа) априори известен и выходной вектор (соответствующие входам значения элементов выхода). Если значения выхода НС заранее не известны, то необходимо воспользоваться другой стратегией - обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием определенных алгоритмов С. 14 Потапов, И.В. Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем: автореферат дис.... доктора технических наук: 05. 13. 15, 05. 13. 17 / Потапов Илья Викторович; [Место защиты: Сиб. гос. ун-т телекоммуникаций и информатики]. - Новосибирск, 2010. - 35 с. .

Размещено на http://www.allbest.ru/

Рис.12 Используемые типы решеток расположения нейронов в слабосвязных нейронных сетях

Для задач аппроксимации представляется целесообразным использование многослойной НС прямого распространения, либо нечеткой НС.

Для задач идентификации состояний авиационной техники представляется целесообразным рассмотреть также возможность применения рекуррентных НС и НС с обучением по методу обратного распространения ошибок для решения задачи прогнозирования изменения параметров АТ.

Задать НС, способную решить конкретную задачу, - это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения (рис.13), программирования.

Рис.13 Процесс обучения нейросети

Рис.14 Процесс применения нейросети

В настоящее время существует два подхода к решению задачи обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения (рис.15).

Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.

1.2 Алгоритм обратного распространения

Одним из наиболее распространенных видов нейронных сетей является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя, или в случае первого слоя со всеми входами нейронной сети. Такие нейронные сети называются полносвязанными.

Алгоритм обратного распространения, применяемый для таких структур, заключается в распространение сигналов ошибки от выходов нейронной сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Эта процедура обучения нейронной сети и получила название алгоритма обратного распространения.

Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки нейронной сети является

(4)

где - реальное выходное состояние нейрона j выходного слоя n нейронной сети при подаче на ее входы p-го образа;

- идеальное (желаемое) выходное состояние этого нейрона С. 87 Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011. - 121 с. .

Суммирование ведется по всем нейронам выходного слоя и по всем образам, обрабатываемым нейронной сетью. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов:

(5)

Где - весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n-1 с j-м нейроном слоя n, h - коэффициент скорости обучения, 0 < h < 1.

(6)

где под y j , подразумевается выход нейрона j, а под s j - взвешенная сумма его входных сигналов, т.е. аргумент активационной функции.

Так как множитель dy j /ds j является производной этой функции по ее аргументу, следовательно, производная активационной функции должна быть определена на всей оси абсцисс. Поэтому функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых нейронных сетей. Как правило, применяются такие гладкие функции, как гиперболический тангенс или классическая сигмоидальная функция с экспонентой. В случае гиперболического тангенса

(7)

Третий множитель ¶ равен выходу нейрона предыдущего слоя

Первый множитель (2.7) раскладывается следующим образом:

(8)

где суммирование по k выполняется среди нейронов слоя n+1.

Введем переменную

(9)

Тогда получим рекурсивную формулу для расчетов величин слоя n

из величин более старшего слоя n+1.

(10)

Для выходного слоя

(11)

Запишем (5) в развернутом виде:

(12)

Для придания процессу коррекции весов инерционности,

сглаживающей резкие скачки при перемещении по поверхности целевой функции, (12) дополняется значением изменения веса на предыдущей итерации:

(13)

- коэффициент инерционности, t - номер текущей итерации. Таким образом, полный алгоритм обучения нейронной сети с помощью процедуры обратного распространения строится так:

1 При подаче на входы нейронной сети одного из возможных образов в режиме обычного функционирования нейронной сети, когда сигналы распространяются от входов к выходам, рассчитать значения сигналов

(14)

где f - сигмоидальная функция;

(15)

- q-я компонента вектора входного образа.

2 Рассчитать для выходного слоя по формуле (11), а также по формуле (12) или (13) изменения весов слоя n.

3 Рассчитать по формулам (10) и (13) (или (11) и (13))

Соответственно и для всех остальных слоев, n=N-1,.1.

4 Скорректировать все веса в нейронной сети

(16)

5 Если ошибка сети существенна, перейти на шаг 1. В противном случае - завершение обучения.

Нейронной сети на шаге 1 попеременно в случайном порядке предъявляются все представительские выборки, чтобы нейронная сеть, образно говоря, не забывала одни по мере запоминания других (рис.13).

Эффективность обучения заметно снижается когда выходное значение в (12) стремится к нулю. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться, поэтому область возможных значений выходов нейронов желательно сдвинуть в пределы [-0,5; +0,5], что достигается простыми модификациями активационных функций, например: сигмоидальная функция с экспонентой преобразуется к виду

(17)

Рассмотрим вопрос о числе образов, предъявляемых на входы нейронной сети, которые она способна научиться распознавать (емкость нейронной сети). Для нейронной сети с одним скрытым слоем, детерминистская емкость нейронной сети C d оценивается как

(18)

где N w - число подстраиваемых весов, N y - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N x и нейронов в скрытом слое N h должно удовлетворять неравенству N x +N h > N y .

Во-вторых, N w /N y >1000. Однако вышеприведенная оценка выполнялась для нейронных сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N x входами. Распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую С. 74 Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2006. - 144 c. .

Рассмотрим вопрос о размерности выходного слоя нейронной сети, выполняющего окончательную классификацию образов. Для разделения множества (классификации) входных образов, например, по двум классам достаточно всего одного выхода.

Рис.16 Диаграмма сигналов при обучении нейронной сети по алгоритму обратного распространения

При этом каждый логический уровень - "1" и "0" - будет обозначать отдельный класс. На двух выходах можно закодировать 4 класса и так далее. Однако результаты работы нейронной сети, организованной таким образом, "под завязку", не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности - высокой, средней или низкой, что позволит проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает нейронные сети к естественному человеческому интеллекту.

Такая нейронная сеть имеет несколько ограничений. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидальной функции многих нейронов в область насыщения. Малые величины производной от активационной функции в соответствии с (10) и (11) приведут к остановке обучения нейронной сети. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором коэффициента скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, т.е. приращениях весов и, следовательно, скорость обучения должна быть бесконечно малой, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения С. 14 Трофимов, Я.А. Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей: автореферат дис.... кандидата технических наук: 05. 13. 01 / Трофимов Ярослав Александрович. - Дубна, 2011. - 23 с. .

Поэтому, коэффициент обычно выбирается меньше 1, но не очень малым, например, 0,1, и он может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки, иногда, после того как значения весовых коэффициентов стабилизируются, кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки.

1.3 Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций искусственных нейронных сетей (НС) встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них С. 11 Синявский, О.Ю. Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации: автореферат дис.... кандидата технических наук: 05. 13. 17 / Синявский Олег Юрьевич. - Москва, 2011. - 20 с. .

Структурная схема сети Хопфилда приведена на рис.17. Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми.

Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов (приложение Г).

Рис.17 Структурная схема сети Хопфилда

В общем случае, любой сигнал может быть описан вектором, n - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент x j равен либо +1, либо - 1. Обозначим вектор, описывающий k-ый образец, через Х к, а его компоненты, соответственно, - х> k=0. m-l, m - число образцов. Когда сеть распознает (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть Y = Х к, где Y - вектор выходных значений сети: . В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых (в случае успеха) или же "вольную импровизацию" сети (в случае неудачи).

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом:

(19)

Здесь i и j - индексы, соответственно, предсинаптического и постсинаптического нейронов;

- i-ый и j-ый элементы вектора k-ого образца.

Алгоритм функционирования сети следующий (р - номер итерации):

1 На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов:

поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер.

Ноль в скобке справа от y i , означает нулевую итерацию в цикле работы сети.

2 Рассчитывается новое состояние нейронов

и новые значения аксонов

где f - активационная функция в виде скачка, приведенная на рис.18а.

Рис.18. Активные функции

3 Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да - переход к пункту 2, иначе (если выходы застабилизировались) - конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15*n. Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот С. 54 Хаптахаева, Н.Б. Нейрокомпьютерные системы: курс лекций / Н.Б. Хаптахаева. - Улан-Удэ: Изд-во ВСГТУ, 2008. - 109 с. . Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга.

Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис. 19).

Рис. 19. Структурная схема сети Хэмминга

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по п синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

Здесь - i-й элемент к-ого образца. Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

На входы сети подается неизвестный вектор исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

После этого полученными значениями инициализируются значения аксонов второго слоя:

2 Вычислить новые состояния нейронов второго слоя:

И значение аксионов

Активационная функция f имеет вид порога (рис.26), причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

4 Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

Программная модель сети Хэмминга строится на основе набора специальных классов NeuronHN, LayerHN и NetHN - производных от классов, рассмотренных в предыдущих статьях цикла. Описания классов приведены в листинге 1. Реализации всех функций находятся в файле NEURO_HN (листинг 2). Классы NeuronHN и LayerHN наследуют большинство методов от базовых классов.

В классе NetHN определены следующие элементы:

Nin и Nout - соответственно размерность входного вектора с данными и число образцов;

d x и d y - размеры входного образа по двум координатам (для случая трехмерных образов необходимо добавить переменную dz), dx*dy должно быть равно Nin, эти переменные используются функцией загрузки данных из файла LoadNextPattern;

DX и DY - размеры выходного слоя (влияют только на отображение выходого слоя с помощью функции Show); обе пары размеров устанавливаются функцией SetDxDy;

Class - массив с данными об образцах, заполняется функцией SetClasses, эта функция выполняет общую инициализацию сети, сводящуюся к запоминанию образцовых данных.

Метод Initialize проводит дополнительную инициализацию на уровне тестируемых данных (шаг 1 алгоритма). Метод Cycle реализует шаг 2, а метод IsConverged проверят, застабилизировались ли состояния нейронов (шаг 3).

Из глобальных функций - SetSigmoidAlfaHN позволяет установить параметр F активационной функции, a SetLimitHN задает коэффициент, лежащий в пределах от нуля до единицы и определяющий долю величины 1/т, образующую с.

На листинге 3 приведена тестовая программа для проверки сети. Здесь конструируется сеть со вторым слоем из пяти нейронов, выполняющая распознавание пяти входных образов, которые представляют собой схематичные изображения букв размером 5 на 6 точек (рис. 20а). Обучение сети фактически сводится к загрузке и запоминанию идеальных изображений, записанных в файле "charh. img", приведенном на листинге 4. Затем на ее вход поочередно подаются зашумленные на 8/30 образы (рис. 20б) из файла "charhh. img" с листинга 5, которые она успешно различает.

Рис.20 Образцовые и тестовые образцы

Рис.21 Структурная схема ДАП

R проект кроме файлов NEURO_HN и NEUROHAM входят также SUBFUN и NEURO_FF. Программа тестировалась в среде Borland С++ 3.1.

Предложенные классы позволяют моделировать и более крупные сети Хэмминга. Увеличение числа и сложности распознаваемых образов ограничивается фактически только объемом ОЗУ. Следует отметить, что обучение сети Хэмминга представляет самый простой алгоритм из всех рассмотренных до настоящего времени алгоритмов в этом цикле статей. Обсуждение сетей, реализующих ассоциативную память, было бы неполным без хотя бы краткого упоминания о двунаправленной ассоциативной памяти (ДАП). Она является логичным развитием парадигмы сети Хопфилда, к которой для этого достаточно добавить второй слой. Структура ДАП представлена на рис.18. Сеть способна запоминать пары ассоциированных друг с другом образов. Пусть пары образов записываются в виде векторов и, где r - число пар. Подача на вход первого слоя некоторого вектора вызывает образование на входе второго слоя некоего другого вектора, который затем снова поступает на вход первого слоя. При каждом таком цикле вектора на выходах обоих слоев приближаются к парс образцовых векторов, первый из которых - X - наиболее походит на Р, который был подан на вход сети в самом начале, а второй - Y - ассоциирован с ним. Ассоциации между векторами кодируются в весовой матрице W (l) первого слоя. Весовая матрица второго слоя W (2) равна транспонированной первой (W (1)) T . Процесс обучения, также как и в случае сети Хопфилда, заключается в предварительном расчете элементов матрицы W (и соответственно W T) по формуле:

Эта формула является развернутой записью матричного уравнения

для частного случая, когда образы записаны в виде векторов, при этом произведение двух матриц размером соответственно и приводит к (11). В заключении можно сделать следующее обобщение. Сети Хопфилда, Хэмминга и ДАП позволяют просто и эффективно разрешить задачу воссоздания образов по неполной и искаженной информации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что, сети не просто запоминают образы, а позволяют проводить их обобщение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия. Вместе с тем, легкость построения программных и аппаратных моделей делают эти сети привлекательными для многих применений С. 115 Ясницкий, Л.Н. Искусственный интеллект [Текст]: методическое пособие / Л.Н. Ясницкий, Ф.М. Черепанов. - Москва: Бином. Лаб. знаний, 2012. - 216 с. .

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

2.1 Применение искусственных нейронных сетей в системах управления

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

Этап разработки концепции построения СУ;

Этап моделирования СУ, в соответствии с предлагаемой концепцией построения;

Этап анализа получаемых результатов; этап доработки (модернизации) концепции построения СУ. На протяжении всех этих этапов не прекращаются теоретические исследования, которые позволяют выбирать основные направления совершенствования первоначально сформулированной концепции построения СУ и распространять ее основные идеи на ряд смежных областей.

По аналогичной схеме происходит развитие СУ, использующих искусственные НС. Однако следует заметить, что большое количество разработанных аппаратных и программных моделей нейросетевых СУ часто опережают теоретическое понимание происходящих при этом процессов и имеющихся проблем С. 159 Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи: монография / И.В. Потапов. - Омск: Омский гос. технический ун-т, 2007. - 239 с. .

Необходимым этапом решения задач управления нелинейными динамическими системами является получение их адекватных математических моделей, базирующееся, как правило, на теоретическом и экспериментальном анализе свойств этих систем. Теоретический анализ процессов, происходящих в системе, позволяет получить математическое описание в виде, например, дифференциальных уравнений. При экспериментальном анализе на основе наблюдений входных и выходных сигналов системы получают либо ее параметрическую, либо непараметрическую модель. Наиболее широкое распространение получили параметрические модели, требующие решения задач структурной и параметрической идентификации и использующие ограниченное число параметров. Несмотря на огромное количество работ, многообразие видов нелинейностей не позволяет создать единую теорию идентификации нелинейных систем. Применяемый чаще всего классический подход основан на аппроксимации нелинейностей, например рядами Вольтера, Гаммерштейна, Винера, полиномами Колмогорова-Габора и др. Однако область применения таких моделей ограничена. Кроме того, дополнительные трудности получения адекватного математического описания обусловлено наличием в реальных сигналах помех С. 147 Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011. - 121 с. .

Одной из классических моделей СУ является модель с обратной связью с регулируемыми в реальном масштабе времени коэффициентами, например самонастраивающийся регулятор Астрома. Коэффициенты такого контроллера регулируются в течение каждого цикла управления в соответствии с оценкой параметров системы. Блок-схема управления с обратной связью и регулируемыми в реальном масштабе времени коэффициентами приведена на рис.22.

Размещено на http://www.allbest.ru/

Рис.22 Блок-схема управления с обратной связью и регулируемыми коэффициентами

Другой хорошо известной моделью СУ является модель Ляпунова. Системы адаптивного управления, использующие эталонную модель Ляпунова проектируются таким образом, чтобы выходной сигнал управляемой модели в конце концов соответствовал выходному сигналу предварительно определенной модели, которая имеет желаемые характеристики.

Такая система должна быть асимптотически устойчивой, то есть управляемая система в итоге отслеживает эталонную модель с нулевой ошибкой. Более того, переходные процессы на этапе адаптивного управления или обучающего управления имеют гарантированные пределы. Блок-схема адаптивного управления с эталонной моделью представлена на рис.23.

Размещено на http://www.allbest.ru/

Рис.23 Блок-схема адаптивного управления с эталонной моделью

Системы управления, так или иначе использующие искусственные НС являются одной из возможных альтернатив классическим методам управления. Возможность использования НС для решения задач управления во многом основывается на том, что НС, состоящая из двух слоев и имеющая в скрытом слое произвольное большое количество узлов, может аппроксимировать любую функцию действительных чисел с заданной степенью точности. Доказательство этого положения, основанное на известной теореме Вейерштрасса. Таким образом, для решения задач идентификации и управления могут быть использованы НС даже с одним скрытым слоем.

Одним из первых используемых методов построения нейросетевых СУ был метод, основанный на "копированиии" существующего контроллера. Применив этот метод в 1964 Уидроу назвал его методом построения экспертной системы за счет получения знаний от уже существующего эксперта. Архитектура такой СУ представлена на рис.21.

Размещено на http://www.allbest.ru/

Рис.24 Нейросетевая СУ, основанная на "копировании" существующего контролера

Глядя на этот рисунок 24 можно усомниться в полезности этого метода. Зачем нужно использовать еще один управляющий контроллер (в виде НС), если один уже существует. Однако, во-первых, существующий контроллер может быть неудобен при использовании (например, в роли такого контроллера может выступать человек), а во-вторых, для выработки эффективного управления НС может использовать отличную, от существующего контроллера, по способу представления (легче измерить, формализовать и т.д.) информацию о состоянии объекта управления.

В настоящее время достаточно хорошо разработан и широко используется целый ряд других возможных архитектур построения нейросетевых СУ. Во всех из них, назначением нейросетевого контроллера является выработка адекватного управляющего сигнала для управления динамикой состояний объекта управления от начального состояния до желаемого итогового состояния. Причем смена состояний должна происходить по оптимальной траектории. Организация контроля за состоянием объекта управления и реализация нейросетевого контроллера в значительной степени зависят от выбранного алгоритма обучения и используемой структуры управления. Наиболее широко используемыми являются схема прямого (непосредственного) управления и схема косвенного управления. При этом чаще всего в качестве алгоритма обучения используется алгоритм обратного распространения ошибки С. 95 Серов, В.А. Нейроуправление многокритериальными конфликтными системами [Текст]: монография / В.А. Серов, Ю.Н. Бабинцев, Н.С. Кондаков. - Москва: Изд-во Московского гуманитарного ун-та, 2011. - 135 с. .

В схеме косвенного управления параметры объекта управления определяются в каждый момент времени и затем используются для оценки параметров контроллера (рис.25). Таким образом, имеет место явно выраженный процесс идентификации.

Размещено на http://www.allbest.ru/

Рис.25 Схема косвенного управления

Недостатком такой схемы является то, что идентификация и управление основываются исключительно на ошибке е и, и, следовательно, минимизацию ошибки на выходе системы е у гарантировать нельзя.

В схеме прямого управления параметры нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода е у (рис.26).

Размещено на http://www.allbest.ru/

Рис.26 Схема прямого управления

В качестве целевой функции, которая должна быть минимизирована контроллером используется среднеквадратическая ошибка на выходе объекта управления:

Вопросы устойчивости и управляемости таких СУ подробно рассматриваются в работах.

Одной из областей теоретических исследований, рассматривающих проблемы использования НС в системах управления, является сравнение таких методов управления с другими известными типами СУ, выявление присущих нейросетевым методам особенностей и их анализ. Хотя каждый из рассмотренных методов имеет как хорошие, так и плохие характеристики следует заметить, что метод нейросетевого управления имеет такие полезные свойства, которые плохо реализуются в двух других методах.

Основные результаты, полученные при сравнении, приведены в табл.1.

В методе с использованием НС отсутствуют ограничения на линейность системы, он эффективен в условиях шумов и после окончания обучения обеспечивает управление в реальном масштабе времени. Нейросетевые СУ более гибко настраиваются на реальные условия, образуя модели полностью адекватные поставленной задаче, не содержащие ограничений, связанных с построением формальных систем. Кроме того, нейросетевые СУ не только реализуют стандартные адаптивные методы управления, но и предлагают свои алгоритмические подходы к ряду задач, решение которых вызывает затруднение вследствие неформализованное.

Таблица 1 Обзор характеристик методов управления

Критерий	Управление с обратной связью и регулируемыми коэффициентами	Адаптивное управление с эталонной моделью Ляпунова	Нейросетевое управление
Устойчивость обратной связи	Наихудшая	Наилучшая
Скорость сходимости	Наилучшая		Наихудшая
Работа в реальном времени			Наилучшая
Сложность программы управления	Наихудшая
Ошибка слежения		Наилучшая
Подавление помех	Наилучшая	Наихудшая
Робастность Рассогласования модели	Наихудшая		Наилучшая

Так, появляется возможность обработки в рамках одной модели данных одной природы - для НС важна лишь их коррелированность.

Таким образом, будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями и перспективами использования систем, основанных на использовании искусственных НС.

Нейросетевые системы управления относятся к классу нелинейных динамических систем. В составе таких систем искусственная нейронная сеть может выполнять различные функции: диагностику технологического оборудования, управления подвижными объектами в и технологическими процессами, прогнозирование ситуаций, оценку состояния и мониторинг технологических процессов и многое другое. В более узком смысле понятие "нейросетевые системы управления" можно ограничить нижеописанной областью функций.

Это, во-первых, функция адаптивного регулятора нелинейного многосвязного объекта. Здесь возможны два варианта функционирования нейросети. В первом - нейросеть обучается и одновременно формирует управляющее воздействие на входе исполнительного устройства системы управления. Цель обучения сети и цель управления объектом совпадают, что отражается в задании единой целевой функции системы. Сеть обучается в реальном времени, в темпе протекания процессов в системе (режим on-line). Во втором варианте работа сети состоит из двух этапов:

1) предварительного этапа обучения сети заданной оптимальной функции управления

2) этапа воспроизведения аппроксимации этой функции в режиме управления объектом при тех же условиях или близких к ним. Целевые функционалы обучения сети и управления объектом могут отличаться друг от друга. Такой вариант применения нейронной сети для управления - так называемое супервизорное управление - нашел преимущественное распространение до настоящего времени, хотя процесс синтеза нейросетевого контроллера и настройка его параметров в этом случае протекает не в реальном времени (режим off-line) С. 87 Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2006. - 144 c. .

Выбор конкретного подхода к обучению сети (on-line или off-line) зависит от специфики задачи и, более того, определяет конкретный вид алгоритма обучения сети (беспоисковые/поисковые схемы, глобальная/локальная оптимизация и т.д.). Так, например, в отраслях промышленности, где накоплены огромные массивы данных о поведении исследуемого технического объекта (например, в автомобильной промышленности при проектировании системы управления новым типом двигателя) более разумным представляется использование off-line техники обучения с применением генетических алгоритмов, алгоритмов с элементами случайного поиска или "статистического" обучения. С другой стороны, для объектов, технические характеристики которых меняются в процессе эксплуатации, наиболее предпочтительным становится применение on-line алгоритмов настройки сети.

Во-вторых, нейронные сети находят применение как идентификаторы для оценивания вектора состояния нелинейных систем и как расширенные фильтры Калмана.

В-третьих, отметим известное применение нейронной сети в качестве оптимизаторов для настройки параметров регуляторов с типовыми законами регулирования и для настройки параметров алгоритмов адаптации, реализуемых на основе известных методов теории адаптивных систем.

Подобные документы

Характеристика моделей обучения. Общие сведения о нейроне. Искусственные нейронные сети, персептрон. Проблема XOR и пути ее решения. Нейронные сети обратного распространения. Подготовка входных и выходных данных. Нейронные сети Хопфилда и Хэмминга.

контрольная работа , добавлен 28.01.2011

Искусственные нейронные сети как вид математических моделей, построенных по принципу организации и функционирования сетей нервных клеток мозга. Виды сетей: полносвязные, многослойные. Классификация и аппроксимация. Алгоритм обратного распространения.

реферат , добавлен 07.03.2009

Искусственные нейронные сети, строящиеся по принципам организации и функционирования их биологических аналогов. Элементарный преобразователь в сетях. Экспериментальный автопилотируемый гиперзвуковой самолет-разведчик LoFLYTE, использующий нейронные сети.

презентация , добавлен 23.09.2015

Начало современного этапа развития систем искусственного интеллекта. Особенности взаимодействия с компьютером. Цель когнитивного моделирования. Перспективы основных направлений современного развития нейрокомпьютерных технологий, моделирование интеллекта.

реферат , добавлен 05.01.2010

Базовые архитектуры компьютеров: последовательная обработка символов по заданной программе и параллельное распознавание образов по обучающим примерам. Искусственные нейронные сети. Прототип для создания нейрона. Поведение искусственной нейронной сети.

контрольная работа , добавлен 28.05.2010

Рождение искусственного интеллекта. История развития нейронных сетей, эволюционного программирования, нечеткой логики. Генетические алгоритмы, их применение. Искусственный интеллект, нейронные сети, эволюционное программирование и нечеткая логика сейчас.

реферат , добавлен 22.01.2015

Принципы организации и функционирования биологических нейронных сетей. Система соединенных и взаимодействующих между собой простых процессоров. Нейронные сети Маккалока и Питтса. Оценка качества кластеризации. Обучение многослойного персептрона.

курсовая работа , добавлен 06.12.2010

Общие сведения о принципах построения нейронных сетей. Искусственные нейронные системы. Математическая модель нейрона. Классификация нейронных сетей. Правила обучения Хэбба, Розенблатта и Видроу-Хоффа. Алгоритм обратного распространения ошибки.

дипломная работа , добавлен 29.09.2014

Возможности программ моделирования нейронных сетей. Виды нейросетей: персептроны, сети Кохонена, сети радиальных базисных функций. Генетический алгоритм, его применение для оптимизации нейросетей. Система моделирования нейронных сетей Trajan 2.0.

дипломная работа , добавлен 13.10.2015

Разработка нейронной сети, ее применение в алгоритме выбора оружия ботом в трехмерном шутере от первого лица, тестирование алгоритма и выявление достоинств и недостатков данного подхода. Обучение с подкреплением. Описание проекта в Unreal Engine 4.

Первый нейрокомпьютер был создан в конце 50-х годов Ф. Розенблаттом (Корнельский университет г. Итаки, штат Нью‑Йорк). Этот компьютер, получивший название персептрон, использовался для распознавания букв независимо от их положения. ЭВМ Розенблатта была воплощением идеи У. МакКаллока и У. Питтса, у которых нейроны рассматривались как логические устройства.

В 1988 г. с участием фирмы Adaptive Solutions был разработан нейронный компьютер CNAPS . Этот компьютер был создан по SIMD-архитектуре, его сервер содержал 256 обрабатывающих процессоров. Каждый процессор имел свое ЗУ емкостью 4 Кбайт. Производительность компьютера CNAPS достигала 5,12 млрд. коммутаций в секунду. В режиме обучения сервер работал с производительностью 1 млрд. коммутаций в секунду. Каждый алгоритм усваивался компьютером CNAPS за 6 секунд. До конца 1991 г. фирмой было поставлено на рынок около 100 единиц нейрокомпьютера CNAPS.

Компания SNI(Siemens Nixdorf Informations), дочернее предприятие компании Siemens, в сотрудничестве с Маннгеймским университетом в 1994 г. создали нейрокомпьютер под названием SYNAPSE 1 . В дальнейшем на рынок поступили модели SYNAPSE 2 и3 . Сфера применения этих нейрокомпьютеров: распознавание речи, изображений, образов, ускорение работы программных эмуляторов. Обучение нейрокомпьютера занимало около одного часа. Нейрокомпьютер представлял собой многопроцессорную систему с наращиваемой памятью.

В состав SYNAPSE 2 входили:

· один нейрочип МА16 (40 Гц);

· сигнальный процессор TMS320С50 (55 МГц);

· модуль целочисленной обработки на базе TMS320С50 (55 МГц);

· память образов (Y-memore);

· память весов (W-memore).

В нейропроцессоре SYNAPSE 3 имелось два процессора М16, типовая производительность одной нейроплаты SYNAPSE 3 составляла 2,4 млрд.оп/с. В качестве базовых ЭВМ использовались рабочие станции фирмы Sun. Габаритные размеры нейрокомпьютера составляли 667х398х680 мм.

На современном рынке изделия, основанные на использовании механизма действия нейронных сетей, представлены в виде нейроплат. В качестве типичного примера нейроплаты можно назвать плату MB S6232 японской фирмы Fujitsu. На плате размещены процессор цифровой обработки сигналов и оперативная память емкостью 4 Мбайт, что позволяет использовать такую плату для реализации ИНС, содержащей до тысячи нейронов.

Большинство современных нейрокомпьютеров представляют собой просто персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Возможностей подобных систем достаточно для разработки новых алгоритмов и решения большого числа прикладных задач методами нейроматематики.

Отметим отечественные достижения в области построения нейрокомпьютеров. В НТЦ «Модуль» за период с 1989 по 1999 г.г. были разработаны многопроцессорные ускорительные платы МЦ5.001 и МЦ5.002 . Последняя содержит до 6 процессоров TMS320C40, до 20 Мбайт статической памяти на каждый процессор и 64 Мбайт динамической ОП. Общая производительность - до 300 MFLOPS. Плата выполнена в конструктиве VME, что позволяет использовать ее в бортовых системах, расположенных на летательном аппарате.

Несмотря на определенные достижения в области создания нейрокомпьютеров, широкого распространения они не получили. На сегодняшний день экономически выгоднее реализовывать нейроалгоритмы программно на универсальных ЭВМ. Существует достаточное количество программных пакетов (например, Neural Bench ), с помощью которых можно реализовать ИНС под тот или иной алгоритм. Программные ИНС широко используются в системах распознавания текстов (OCR-системах).

Вопросы для самоконтроля

1. Что понимается под термином «нанотехнология»?

2. При каких размерах объектов не действуют законы классической физики?

3. Кем и когда был изобретен сканирующий туннельный микроскоп?

4. Что такое «нанотрубка»?

5. Сколько и какие периоды можно выделить в развитии биокристаллов?

6. Перечислите основные структурные элементы молекулярного компьютера.

7. Что понимается под термином «оптический компьютер»?

8. Перечислите основные элементы гибридной ВС.

9. Что понимается под аббревиатурами: SEED и S-SEED?

10. По каким направлениям в настоящее время ведутся работы по созданию оптической ЭВМ?

11. Что такое квантовый компьютер?

12. Что понимается под термином «кубит»?

13. Изобразите структурную схему квантового компьютера.

14. Перечислите основные требования, предъявляемые к физической среде КК.

15. Что такое криогенная ЭВМ?

16. Что собой представляет нейронная сеть человека?

17. Какие структуры искусственных нейронных сетей используют в настоящее время?

18. Что такое «функция активации»?

19. Как может обучаться нейросеть?

20. Перечислите основные модели нейросетей.

21. Какие основные достижения и перспективы развития нейрокопьютеров?

Литература

1. ANSIx3.253-2002: Information Technology-SCSI-3 Parallel Interface (SPI), X3T10/855D. New York: American National Standarts Institute, 2002.

2. Deutsch D. Quantum computational networks. – Proc. R. Soc. London A 425, 73, 1989.

3. Deutsch D. Quantum theory, the Church-Turing principle and the universal quantum computer. – Proc. R. Soc. London A 400, 97, 1985.

4. Feynman R. Quantum mechanical computers / Optic News, February 1985, 11, p. 11.

5. Hennessy J.L., Patterson D.A. Computer architecture: A Quantitative Approach. 2 nd Edition. Morgan Kaufmann Publishers, San Francisco, CA, USA, 1996.

6. Serial attached SCSI // http://www.fcenter.ru/online.shtml?articles/hardware/hdd/11080

7. Shor P.W. Algorithms for Quamtum Computation: Disrete log and Factoring // Proceedings of the 35 th Annual Symposium on the Foundations of Computer Science, edited by S. Goldwasser, IEEE Computer Society Press, Los Alamitos, CA, 1994, p. 124.

8. Sterling T., Becker D., Savarese D., et al. Beowulf: A Parallel Workstation for Scientific Computation. Proceeding of the 1995 International Conference on Parallel Processing (ICPP). August 1995. Vol. 1. P. 11.

9. Yao A. C.-C. Quantum circuit complexity.//Proceedings of the 34 th Annual Symhosium on the Foundations of Computer Science, IEEE Computer Society Press, Los Alamitos, CA, 1993, p. 352.

10. Акулов Л.В., Борзенко Е.И., Новотельнов В.Н. и др. Теплофизические свойства криопродуктов: учебное пособие для вузов. СПб.: Политехника, 2001. – 243 с.

11. Амамия М., Танака Ю. Архитектура ЭВМ и искусственный интеллект. Пер. с яп. Махарадзе С.О. под ред. Волкова Н.Г. М.: Мир, - 1993. – 400 с.

12. Андрианов А.Н., Ефимкин К.Н., Задыхайло И.Б. Язык Норма. Препринт ИПМ им. М.В. Келдыша АН СССР № 165, 1985.

13. Архитектура портативных компьютеров // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2004, № 3(18). с.4.

14. Барановский В. Raid массивы начального уровня // http://www.citforum.ru/hardware/data/raid/

15. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: Радио и связь, - 1990. - 255 с.

16. Берман Г.П., Дулен Г.Д., Маньери Р., Цифринович В.И. Введение в квантовые компьютеры. Пер. с англ. Порсева В.Е. под ред. Кокина А.А. М.: Институт компьютерных исследований. 2004.

17. Борзенко А. Технология Super DLT // PCWeek/RE, 2000 г., № 45 (267), с. 26.

18. Бурцев В.С. Новые принципы организации вычислительных процессов высокого параллелизма // Труды Первой Всероссийской научной конференции «Методы и средства обработки информации». М.: МГУ им. М.В.Ломоносова, - 2003 г. С. 17.

19. В свете лазерного луча // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2005, № 5(24). с.27.

20. Валиев К.А. Квантовая информатика: компьютеры, связь и криптография // Вестник РАН, 2000, т.70, № 8. сс. 688-705.

21. Валиев К.А. Квантовые компьютеры // Открытые системы, № 5-6, 2000 г. http://www.osp.ru/text/302/178025

22. Валиев К.А., Кокин А.А. Из итогов ХХ века: От кванта к квантовым компьютерам.// Природа, 2002, № 12. сс. 28-34.

23. Васильковский В.А., Котов В.Е., Марчук А.Г., Миренков Н.Н. Автоматизация параллельного программирования. – М.: Радио и связь, - 1983. – 230 с.

24. Вводим изображение // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2005, № 5(24). с.59.

25. Виксне П., Фомин Д., Черников В. Однокристальный цифровой нейропроцессор с переменной разрядностью операндов. Изд-во вузов. Сер. Приборостроение. Т. 36, №7. – 1996, с. 13-21.

26. Власов А.И. Аппаратная реализация нейровычислительных управляющих систем // Приборы и системы управления. 1999. №2. с. 6165.

27. Власов А.И. Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты // Нейрокомпьютеры: разработка и применение. 2000. №1. с. 40-44.

28. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002 г. 600 с.

29. Воеводин Вл.В. Параллельная обработка данных. Курс лекций // http://www.parallel.ru/info/education/vvv_course.html

30. Воеводин Вл.В., Капитонова А.П. Методы описания и классификации вычислительных систем. М.: Издательство МГУ, - 1994.

31. Волков А.А., Угляренко В.П. Управление распределением вычислительной нагрузки в сетях ЭВМ // Механизация и автоматизация управления. - К.: 1982, - №3, с. 16-19.

32. Вычислительные машины, системы и сети / под. Ред. Пятибратова А.П. М.: Финансы и статистика, 1991. – 399 с.

33. Гаврилкевич М.В. Введение в нейроматематику // Обозрение прикладной и промышленной математики. М.: ТВП, 1994, сс. 377-388.

34. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы) // Нейрокомпьютер. 2000. №1. сс. 68-82.

35. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская издательская фирма РАН. 1996. 276 с.

36. Графические адаптеры: четвертое поколение // Upgrade: новый уровень ваших компьютеров. М: СК Пресс,- 2005, № 2(21). с.70.

37. Гузик В.Ф., Каляев В.А., Костюк А.И. Организация ЭВМ и систем. Учебное пособие. Таганрог: ТРТУ. – 1999. 144 с.

38. Гук М. Аппаратные средства IBM PC. Энциклопедия. Спб.: Питер. 2006 г. 1072 с.

39. Гуров В.В., Чуканов В.О. Архитектура и организация ЭВМ. Курс лекций // http://www.intuit.ru/department/hardware/archhard2

40. Гусев А.И. Наноматериалы, наноструктуры, нанотехнологии. М.: Изд-во «Физматлит», 2005. 416 с.

41. Дагаев А.А. Союз сильных: новые тенденции международного технологического развития // Рос. Предпринимательство. 2003, №4, сс. 65-70.

42. Денисов О., Нивников Д. Мультимедийные ПК // Компьютер сегодня № 2, 2006. сс. 36-46.

43. Евреинов Э.В., Косарев Ю.Г. Однородные универсальные вычислительные системы высокой производительности. Новосибирск: Наука, - 1966.

44. Егоров А. RAID-массив и резервное копирование // http://www.timcompany.ru/article5.html

45. Забродин А.В., Левин В.К., Сидоров А.Ф., Лацис А.О. и др. Семейство многопроцессорных вычислительных систем МВС-100. М.: ИПМ им. М.В.Келдыша РАН, НИИ «Квант», ИММ УрО РАН, - 1995.

46. Исихара С. Оптические компьютеры. Новый век науки. Пер. с англ. Богдасарова С.В. под ред. Воронцова М.А. М.: Наука, 1992.

47. Каган Б.М. Электронные вычислительные машины и системы. Учебное пособие для вузов. – 2-е издание, переработанное и дополненное. М.: Энергоатомиздат, 1985 г.

48. Кирсанов Э.Ю. Организация ЭВМ и систем. Учебное пособие. – Казань: ТИСБИ, 2002.

49. Кирсанов Э.Ю. Цифровые нейрокомпьютеры: Архитектура и схемотехника / Под ред. А.И. Галушкина. Казань: КГУ. 1995. 131 с.

50. Колисниченко Д. Оптические процессоры // http://dkws.narod.ru/linux/etc/optical/cpu.html

51. Колисниченко О.В., Шишигин И.В. Аппаратные средства PC. – 5‑е издание, переработанное и дополненное. – Спб.: БХВ-Петербург. 2004. - 1151 с.

52. Комарцева Л.Г., Максимов А.В. Нейрокомпьютеры. М.: МГТУ им. Н.Э. Баумана, 2004. 400 с.

53. Коновалов Н.А., Крюков В.А., Михайлов С.Н., Погребцов А.А. Fortran DVM - язык разработки мобильных параллельных программ // Программирование, - 1995. - №1.

54. Копейкин М.В., Спиридонов В.В., Шумова Е.О. Организация ЭВМ и систем (память ЭВМ). Учебное пособие. – Спб.: СЗТУ, 2004. 153 с.

55. Корнеев В.В. Вычислительные системы. – М: Гелиос АРВ, 2004. – 512 с.

56. Корнеев В.В. Параллельные вычислительные системы. – М: Нолидж, 1999. – 512 с.

57. Ларионов А.М., Майоров С.А., Новиков Г.И. Вычислительные комплексы, системы и сети. Ленинград: Энергоатомиздат, - 1987.

58. Лацис А.О. Как построить и использовать суперкомпьютер. М.: Бестселлер, - 2003. - 274 с.

59. Липаев В.В. Распределение ресурсов в вычислительных системах. М.: Статистика, - 1979. - 248 с.

60. Льюис Т. Мэйнфрейм умер. Да здравствует мэйнфрейм! // Открытые системы, 1999 г., № 9-10.

61. Малых Н. Интерфейс IDE // Электронная библиотека компании BiLiM Ltd, http://www.citforum.ru/hardware/

bookide/index.shtml

62. Манин Ю.И. Вычислимое и невычислимое. – М.: Советское радио, 1980.

63. Миренков Н.Н. Параллельное программирование для многомодуль- ных вычислительных систем. М.: Радио и связь, - 1989. - 320 с.

64. Миренков Н.Н. Управление памятью и процессорами в однородной вычислительной системе // Программирование, – 1976. - № 1. – с. 77‑86.

65. Михайлов В.И., Князев Г.И., Макарычев П.П.. Запоминающие устройства на оптических дисках. М.: Радио и связь, 1991, - 221 с.

66. Могилев А.В. и др. Информатика. Учебное пособие для вузов. – М.: Изд. Центр «Академия». 2000. – 816 с.

67. Неволин В.К. Зондовые технологии в электронике. М.: Изд-во «Техносфера», 2005. - 152 с.

68. Неизвестный И.Г. Квантовый компьютер и его полупроводниковая элементарная база // http://psj.nsu.ru/lector/neizvestniy

69. Никитич. А. Разработка устройства для ручного ввода символов в ЭВМ // http://neo-era.net/kb.a.xml

70. Основы вычислительных систем. Учебное пособие // http://256bit.ru/education/infor1/index.htm

71. Патий Е. Шина PCI Express: утопия или общая стандартизация? // Экспресс-электроника, 2005 г., № 1-2.

72. Поздняков Л.А., Храмцов М.Ю. Мобильная система программирования Фортран GNS для многопроцессорных систем с распределенной памятью // Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов, - 1996. - Вып.4. - с.38-42.

73. Проблемы построения и обучения нейронных сетей / Под ред. Галушкина А.И. и Шахнова В.А. М.: Машиностроение. 1999. 105 с.

74. Пул Ч., Оуэнс Ф. Нанотехнологии. Изд-во «Техносфера», 2004. 328 с.

75. Пьянзин К. Состояние рынка аппаратных средств резервного копирования и архивирования // LAN, 2000 г., № 4.

76. Радужная капель // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2005, № 5(24). с.4.

77. Рожденные обслуживать // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2004, № 1(16). с.4.

78. Рыбалкина М. Нанотехнологии для всех. Изд-во « Nanotechnology News Network». 2005 г. - 444 с.

79. Санько С. Квантовые вычисления: зачем это нужно? // Quanta et Qualia, №39, 2002 г. http://www.kv.by/index2002394601.htm

80. Суздалев И.П. Нанотехнология: физико-химия нанокластеров, наноструктур и наноматериалов. Изд-во «Эдиториал УРСС», 2006. – 592 с.

81. Таненбаум Э. Архитектура компьютера. 4-е издание. М.: Питер, -2002. – 698 с.

82. Таненбаум Э., ван Стеен М. Распределенные системы: принципы и парадигмы. М.: Питер, - 2003. – 876 с.

83. Технологии флэш-памяти // http://www.ixbt.com/storage/flash-tech.shtml

84. Типы современных ЖК-мониторов // Upgrade: новый уровень ваших компьютеров. М: СК Пресс,- 2004, № 2(17). с.102.

85. Тихонов В.А. Краткий очерк развития СВТ. Монография. М: в/ч 33965, - 2000. 284 с.

86. Тихонов В.А. Организация ЭВМ и систем (вводная лекция). М.: в/ч 33965. – 2005. – 72 с.

87. Тихонов В.А., Заикин В.В. Перспективные направления в развитии ЭВМ и вычислительных систем. Обзорные лекции. М.: в/ч 33965. – 184 с.

88. Тихонов В.А., Рудаков М.В. Оптические ЭВМ. Состояние и перспективы развития (обзорная лекция). М.: в/ч 33965. – 1999. – 72 с.

89. Тихонов В.А.. Молекулярные ЭВМ (обзорная лекция). М.: в/ч 33965. – 1999. – 37 с.

90. Трахтенгерц Э.А. Введение в теорию анализа и распараллеливания программ ЭВМ в процессе трансляции. – М.: Наука, - 1981. – 254 с.

91. Угрюмов Е.П. Цифровая схемотехника. – Спб.: БХВ. 2000. – 528 с.

92. Уинн Л. Рош. Библия по модернизации персонального компьютера. Минск: Мир науки, 2003. – 208 с.

93. Федичкин Л. Квантовые компьютеры.// «Наука и жизнь», № 1, 2001.

94. Федотов В. Обзор flash-памяти на технологии Intel StrataFlash. Часть 1 // http://www.ixbt.com/storage/flash-theory-p1.shtml

95. Фейнман Р. Моделирование физики на компьютерах. // Квантовый компьютер & квантовые вычисления, том 1, № 2. – Ижевск: ред. журн. регуляр. и хаотич. динам., 1999, с. 96-124.

96. Фортран 90. Международный стандарт. Пер. с англ. С.Г. Дробышевич. М.: Финансы и статистика, - 1998. - 416 с.

97. Французов Д. Оценка производительности вычислительных систем // Открытые системы, - 1996. - №6.

98. Хамахер К., Вранешич З., Заки С. Организация ЭВМ. Спб.: Питер. – 2003. 848 с.

99. Хехт-Нильсен Роберт. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. 1998. №4.

100. Хоар Ч. Взаимодействующие последовательные процессы: Пер. с англ. - М.: Мир, - 1989. – 264 с.

101. Цилькер Б.С., Орлов С.А. Организация ЭВМ и систем: учебник для вузов. – Спб: Питер, 2004. – 668 с.

102. Цифровой звук: реализация // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2005, № 1(20). с.20.

103. Цифровой звук: теория // Upgrade: новый уровень ваших компьютеров. М: СК Пресс, - 2005, № 1(20). с.4.

104. Чеботарев А. USB: вчера, сегодня и завтра // http://www.citforum.ru/hardware/articles/usb/

105. Чеканов Д. Реализация стандарта Serial ATA // http://www.3dnews.ru/storage/serial-ata

106. Черняк Л. Шины от ISA до PCI Express // Еженедельник «Computerworld», 2005 г., № 30.

107. Шарф С.В. Планирование прохождения задач на МВС-100 // 6-я конференция «Транспьютерные системы и их применение». Тезисы докладов. Домодедово, - 1996.

108. Щукин Д. Оптические компьютеры. // «Новые технологии». №5, 2001 г.

109. Энциклопедия flash-памяти // http://www.ak-cent.ru/?parent_id=9841

110. Ястребова Е.В. Параллельные алгоритмы и транспьютеры (учебно-методическое пособие). М.: УРСС, - 1997.- 164 с.

111. Яценков В.С.. Азбука CD и DVD: стандарты оптических дисков. Изд-во «Майор», - 2004. 176 с.

112. Ященко А. История развития IDE вплоть до ATA100 // http://www.ixbt.com/storage/ide-till-ata100.html

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

CD-ROM 118, 119, 133, 135

dataflow 179, 180, 182, 240

reduction 179, 180

VGA 161, 162, 166

автозагрузчик 138

виртуальный 97

исполнительный 63

физический 97

адресация 64

косвенная 65

непосредственная 64

по содержимому 75, 205

регистровая 65

адресное пространство 76

виртуальное 97

реальное 97

системы ввода-вывода 105

арбитраж 112

архитектура

NUMA 19, 180, 222

RISC 52, 56, 117

SMP 19, 180, 184, 221

гарвардская 11, 50

классическая 47

кластерная 184, 232

набора команд 10

памяти ЭВМ 75

параллельная 178

потоковая 237

принстонская 11

системы 12

систолическая 179, 243

традиционная 47

фон Неймана 47

банк памяти 85

безотказность ЭВМ или ВС 35

библиотека

коммуникационная 196

ленточная 138

биокристалл 251

бисекционная полнота 210

кэш-памяти 92

z-буфер 164

преобразования адресов 99

прерывания 72

состояния процессора 68

структурной живучести графа 217

векторизация программы 190

векторная обработка 190

ветвь параллельной программы 186

видеоадаптер 161

восстановления 38

дополнительное 76

доступа 121

доступа к памяти 75, 83

запуска обмена 209

наработки на отказ 37

обслуживания прерывания 69

ожидания 121

ответа 34, 103

отклика 158

передачи данных 76, 122

послесвечения 157

реакции системы прерывания 69

безотказной работы 38

цикла обращения 76

вычислительная сеть 11

вычислительная система 9

ассоциативная 205

векторно-конвейерная 200

гибридная оптоэлектронная 255

кластерная 231

массово-параллельная 183, 228

матричная 203

многопроцессорная 22

потоковая 237

сильносвязанная 220

вычислительный комплекс (ВК) 10

гамма-коррекция 159

глубина прерывания 69

головка 121

готовность ЭВМ или ВС 34, 39

зависимости 219

межмодульных связей 215, 219

потоков данных 239

дедлок 219

дейзи-цепочка 71

джойстик 143

диаметр графа 217

дигитайзер 144

дискретизация 166

дисплей 155

дорожка 121

ассоциативный 75, 89, 205

последовательный 75

произвольный 75, 80

прямой 75, 122

прямой к памяти 107

доступность ЭВМ или ВС 35

жесткий диск 120

зависимость по данным 191

задержка 75, 209

закон Амдала 173

обратная 223

сквозная 223

прерывания 67, 106

зерно параллелизма 170

иерархия

интенсивность восстановления 38

интенсивность отказов 37

интерфейс 11

большой 103, 116

малый 103, 118

искусственная нейронная сеть 266

ввода-вывода 105

мультиплексный 109

неразделенный 108

разделенный 108

селекторный 109

картридж 138

каскад коммутатора 211

квантование 166

квантовые вычисления 260

клавиатура 140

классификация

вычислительных систем 22

Дункана 178

карманных ПК 16

мониторов 160

накопителей на оптических дисках 133

ноутбуков 14

отказов 35

параллельных ВС 174

серверов 18

сканеров 146

Флинна 175

когерентность памяти 95, 222

операции 49, 50, 59

прерывания 73

Хэмминга 126

векторные 190

коммутатор

баньян-сети 214

простой 210

распределенный составной 215

составной 211

компьютер

квантовый 259

молекулярный 251

оптический 254

персональный 12

суперкомпьютер 21

конвейерная обработка 199

контроллер

ввода-вывода 105

прямого доступа к памяти 107

контрольная сумма 127

коэффициент

готовности 39

попаданий 77

распараллеливания 173

кэш-память 78, 91

дисковая 79

кэш-строка 92

латентность 76, 209

маршрутизация 218

прерывания 73

волновой 180

дисковый 124

систолический 179, 243

масштабируемость ЭВМ или ВС 41

МВС-100 186, 229

МВС-1000 186, 229, 230

быстрого реагирования 70

доступа к памяти 75

обратной записи 96

повышения быстродействия памяти 82

помеченного оператора (опорных точек) 70

сквозной записи 96

структурный повышения быстродействия памяти 85

механизм преобразования адресов 92

микропрограмма 49

многопроцессорная вычислительная система 10

модель параллельного

программирования 188

ввода-вывода 103

вычислительный 208, 228

монитор 155

мэйнфрейм 12, 20

надежность ЭВМ или ВС 34

накопитель

на гибких магнитных дисках 123

на жестких магнитных дисках 120

на магнитной ленте 138

на магнитооптических дисках 123

на оптических дисках 131

нанотехнология 248

нанотрубка 250

наработка на отказ 37

насыщение системы прерывания 70

нейрокомпьютер 266

нейрон 268

обработчик прерывания 67, 72

общая шина 105

организация

ввода-вывода

канальная 105, 108

шинная 105, 110

памяти блочная 86

параллельной обработки 170

отказоустойчивость ЭВМ или ВС 36

оценка стоимости ПО 43

ассоциативная 75, 89, 101, 205, 241

виртуальная 76, 97

вторичная 97

оптическая 257

основная (оперативная) 79

первичная 97

физическая 76

параграф 63

парадигма параллельного программирования 186

параллелизм

данных 187

задач 187, 196

скрытый 239

параллельная

архитектура 178

обработка 170

программа 186

перестановочная сеть 207

безусловный 57

вызов процедуры 59

условный 58

персептрон 271, 273

пиксел 157

показатель качества 25

польская запись 55

попадание 77

потоковая ВС 179, 237

прерывание 67, 106

прибор с зарядовой связью (ПЗС) 145

лазерный 152

линейно-матричный 151

матричный 150

струйный 151

термический 155

адресности 47

двоичного кодирования 47

иерархический организации памяти 77

координатный адресации ячеек памяти 80

локальности 77

однородности памяти 47

программного управления 48, 266

принципы

фон Неймана 47

приоритет 112

прерывания 70

программа

прерывающая 67

программный счетчик 47, 49, 57, 73, 237

производительность 26

коммуникационной среды 209

пиковая 28

реальная 29

промах 77, 96

пропускная способность 209

протокол

профилирование 198

процессор

ассоциативный 206

вычислительный 229

графический 162

звуковой 167

оптический 255

потоковый 243

связной 229

управляющий 203

элементарный 203, 269

распределение

множественно-ассоциативное 95

полностью ассоциативное 94

расслоение памяти 86

адреса памяти 87

аккумулятор 55

векторный 202

общего назначения (РОН) 55

редукционные ВС 179

ремонтопригодность ЭВМ или ВС 35

рендеринг 165

решающее поле 208, 228

световое перо 144

сегмент 63, 100

сектор 122

сервер 12, 18

сервер-лезвие 19

вычислительная 9

многопроцессорная 10

обработки данных (СОД) 9

обработки информации (СОИ) 9

прерываний 67

систолизация 245

сканер 144

слово состояния программы (ССП) 68, 73

совместимость и мобильность ПО 42

адресации 49, 51, 59, 63

стандарт

спецификация-99 13

стекер 138

столбец 80

страница 63, 98

стратегия

выборки 92

замещения 92, 96

обновления ОП 92

размещения 92

стример 138

структурирование буферного пула 219

схема параллелизма 186, 238

счетчик команд 47

векторов прерывания 72

страниц 99

текстурирование 165

прерывания 67

точность информации 36

транзакция 111

транспьютер 183, 228, 229

указатель команды 47

управление

вводом-выводом 105

вычислительными ресурсами 233

коммутаторами 218

прерывания 72

ускорение счета 173

устройство

арифметико-логическое 48

запоминающее 75

ассоциативное 89, 205

внешнее 120

оперативное (ОЗУ) 79

постоянное (ПЗУ) 80

сверхоперативное (СОЗУ) 78

управления 48

фирма-производитель

Acorn Computers 17

Analog Devices 231

Burroughs 55, 89, 203

Cray Research 22, 28, 183, 200, 229

DEC 27, 56, 119, 198

Fujitsu 221, 265

Hewlett Packard 55, 56, 152, 221

Hitachi 20, 221, 265

IBM 20, 27, 30, 42, 52, 53, 56, 91, 109, 116, 119, 161, 182, 221, 229, 265

Inmos 55, 183, 228, 229

Intel 15, 30, 53, 54, 61, 116, 119, 183, 221, 229

Microsoft 17, 119

NEC 14, 119, 221, 265

Nothern Telecom 119

Palm Computing 17

SGI 14, 117, 166, 221

Sun Microsystems 14, 53, 56, 221

Texas Instruments 54, 231

U.S. Robotics 17

Флэш-память 135

команды 59

команды 51

фотоэлектронный умножитель 145

фрагментация памяти 97

активации 269

готовности 39, 40

цветовая температура 159

цена обмена 209

центральная часть ЭВМ 47

графа межмодульных связей 219

команды 50

цилиндр 121

частота отказов 38

чередование адресов 86, 125

шейдер 165

USB 119, 122, 138

асинхронная 112

локальная 111

синхронная 112

системная 111

шпиндель 120

криогенная 263

молекулярная 251

настольная 12

настольная

персональная ЭВМ 12

настольная

рабочая станция 13

портативная 12, 14

карманный ПК 16

ноутбук 14

последовательного типа 47

супер-ЭВМ 12, 21

управляющая 228

эталонная 29

экономичность ЭВМ или ВС 43

электронно-лучевая трубка 155

запоминающий (ЗЭ) 80

процессорный (ПЭ) 203, 243

Эльбрус 185

энергонезависимость 76

эффективность ЭВМ или ВС 26

микросхемы памяти 80, 83

ярусно-параллельная форма программы 171

Детальный анализ зарубежных разработок нейрокомпьютеров позволил выделить основные перспективные направления современного развития нейрокомпьютерных технологий: нейропакеты, нейросетевые экспертные системы, СУБД с включением нейросетевых алгоритмов, обработка изображений, управление динамическими системами и обработка сигналов, управление финансовой деятельностью, оптические нейрокомпьютеры, виртуальная реальность. Сегодня разработками в этой области занимается более 300 зарубежных компаний, причем число их постоянно увеличивается. Среди них такие гиганты как Intel, DEC, IBM и Motorolla. Сегодня наблюдается тенденция перехода от программной эмуляции к программно-аппаратной реализации нейросетевых алгоритмов с резким увеличением числа разработок СБИС нейрочипов с нейросетевой архитектурой. Резко возросло количество военных разработок, в основном направленных на создание сверхбыстрых, "умных" супервычислителей.

Если говорить о главном перспективном направлении - интеллектуализации вычислительных систем, придания им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры - практически единственный путь развития вычислительной техники. Многие неудачи на пути совершенствования искусственного интеллекта на протяжении последних 30 лет связаны с тем, что для решения важных и сложных по постановке задач выбирались вычислительные средства, не адекватные по возможностям решаемой задаче, в основном из числа компьютеров, имеющихся под рукой. При этом как правило не решалась задача, а показывалась принципиальная возможность ее решения. Сегодня активное развитие систем MPP создало объективные условия для построения вычислительных систем, адекватных по возможностям и архитектуре практически любым задачам искусственного интеллекта.

В Японии с 1993 года принята программа "Real world computing program". Ее основная цель - создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления информационными потоками и роботами, которые способны адаптироваться к окружающей обстановке. Только в 1996 году было проведено около сотни международных конференций по нейрокомпьютерам и смежным проблемам. Разработки нейрокомпьютеров ведутся во многих странах мира и даже в Австралии создан свой образец коммерческого супернейрокомпьютера.

Теория нейронных сетей

В области теории нейронных сетей российская научная школа, которая развивается уже в течение 30 лет, имеет определенный приоритет по сравнению с зарубежными исследованиями. Теория нейронных сетей - алгоритмический базис нейрокомпьютеров, подобно тому как булева алгебра служила основой логики однопроцессорных и многопроцессорных компьютеров.

Общая методика синтеза многослойных нейронных сетей была разработана сотрудниками Научного центра нейрокомпьютеров еще в конце 60-х годов и постоянно развивалась в течение 30 лет. В результате в России сформировалось направление в области теории нейронных сетей, которое по ряду параметров превосходит уровень зарубежных работ. Например были разработаны методы адаптивной настройки нейронных сетей с произвольным видом нейрона и произвольным числом слоев; с различными видами связей между слоями; с различными видами критериев оптимизации; с различными ограничениями на весовые коэффициенты нейронных сетей.

Реализованные в известных зарубежных нейропакетах нейросетевые парадигмы имеют по крайней мере два серьезных недостатка:

они реализуют нейросетевой алгоритм, не адекватный выбранной задаче;
достигают локального эффекта на первомом этапе использования без возможности улучшения для повышения качества решения задачи.

В таблице 1 представлена сравнительная характеристика зарубежных и отечественных методов настройки многослойных нейронных сетей.

Таблица 1. Сравнение метода обратного распространения и российских методов адаптации в многослойных нейронных сетях.

NN	Признак	Российские методы адаптации в многослойных нейронных сетях	Метод обратного распространения	Примечание
1.	Срок разработки и опубликования	1965 - 1971, 1970 - 1974	1976 - 1984
Характеристики входных сигналов
2.	Число классов образов (градаций по уровню сигнала указаний учителя о принадлежности входных образов полученному классу	2, К, континуум	2
3.	Характеристика стационарности входных образов, как случайных сигналов	стационарные, нестационарные	стационарные
4.	Характеристика "квалификации" учителя	произвольная	обучение (в=1) редко самообуче ние (в=0)
5.	Собственное мнение учителя о своих способностях	+	-
6.	Априорные вероятности появления классов образов	произвольные	равные
Характеристика пространства решений
7.	Количество решений	2, К, континуум	2	для любого варианта числа классов
8.	Априорная информация об условной плотности распределения вероятностей относительно образов классов	может быть учтена	не учитывается
Критерии первичной оптимизации
9.	Класс критериев первичной оптимизации	средняя функция риска, без учета и при наличии ограничений на составляющие для различных классов, максимум апостериорной информации и другие критерии, соответствующие физике задач	энергетическая функция, сред неквадратическая ошибка	Российская методика: -min R (средней функции риска) -min R при (составляющей средней фун-ции риска) - min R при и др. критерии
10.	Матрица (функция) потерь	произвольная	диагональная симметричная
Структуры многослойных нейронных сетей
11.	Типы структур многослойных нейронных сетей	многослойные нейронные сети с полными, и неполными последовательными, перекрестными и обратными связями. Произвольные структуры, адекватные решаемым задачам	трехслойные сети с полными последовательными связями
Функционал вторичной оптимизации
12.	Метод выбора функционала вторичной оптимизации, соответствующего функционалу первичной оптимизации	+	-
Методы поиска экстремума функционала вторичной оптимизации
13.	Использование комбинированных (градиентных и случайных методов поиска)	+	-
14.	Использование метода стохастической аппроксимации	+	-
15.	Учет информации об ограничениях на настраиваемые коэффициенты (например, по величине или скорости изменения)	+	-
16.	Возможность использования поисковых колебаний	+	-
17.	Возможность фильтрации в контуре адаптации при оценке градиента функционала вторичной оптимизации	+	-
18.	Выбор начальных условий в контуре адаптации весовых коэффициентов	+	-
Типовые входные сигналы
19.	Выбор типовых входных сигналов	+	-

Определенная общность отечественных методов развития теории нейронных сетей позволила создать единый подход к разработке нейросетевых алгоритмов решения самых разнообразных задач, сформировав новое направление в вычислительной математике - нейроматематику. Эта область связана с разработкой алгоритмов решения математических задач в нейросетевом логическом базисе. Необходимо отметить, что передовая в этом направлении американская школа разработки нейрокомпьютеров уже трижды в истории развития вычислительной техники совершала принципиальные ошибки.

Первая из них была сделана в 60-е годы, когда создавались нейрокомпьютеры с ориентацией на элементную базу с адаптацией весовых коэффициентов. Российская школа приняла тогда концепцию разработки нейрокомпьютеров, в которых рабочая, распознающая часть, реализовывалась в виде аналогового блока с фиксированными или перестраиваемыми коэффициентами, а блок адаптации реализовывался на универсальных ЭВМ.

Вторая ошибка была связана с публикацией работы Минского и Пейперта "Персептроны", где показывалась, якобы, невозможность решения на двухслойной нейронной сети задачи реализации "исключающего или". Российские специалисты, владея в то время общей методикой настройки многослойных нейронных сетей, продолжая работы в этой области, наблюдали практически полное их отсутствие за рубежом вплоть до середины 80-х годов.

Третья ошибка связана с тем, что в работах американских ученых решение отдельных математических задач в нейросетевом логическом базисе ориентируется на частные нейросетевые парадигмы. В наших работах общий метод синтеза нейронных сетей позволил создать и развивать в дальнейшем единую методику решения любых математических задач, создавая нейроматематику - новый раздел вычислительной математики.

Нейроматематика

Всегда звучит вопрос: для какого класса задач наиболее эффективно применение того или иного вычислительного устройства, построенного по новым признакам. По отношению к нейрокомпьютерам ответ на него постоянно меняется в течение уже почти 50 лет.

Долгое время считалось, что нейрокомпьютеры эффективны для решения неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задач процесса обучения на реальном экспериментальном материале - распознавания образов. Конечно неформализуемые задачи являются важным аргументом использования нейрокомпьютеров. Однако необходимо помнить, что это всего лишь частная постановка аппроксимации функций, заданных некоторым множеством значений. При этом главное, что для аппроксимации используются не прежние статистические, в частности, регрессионные, а гибкие нелинейные нейросетевые модели.

Сегодня к этому классу задач добавляется второй класс задач, иногда не требующих обучения на экспериментальном материале, но хорошо представимых в нейросетевом логическом базисе - это задачи с ярко выраженным естественным параллелизмом: обработка сигналов и обработка изображений. В истории вычислительной техники всегда были задачи, не решаемые компьютерами текущего уровня развития и для них переход к нейросетевому логическому базису характерен в случае резкого увеличения размерности пространства решения или необходимости резкого сокращения времени. Различают три раздела нейроматематики: общая, прикладная и специальная.

Такие казалось бы простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и т.п. многие авторы пытаются решить с помощью нейрокомпьютеров. Действительно, при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно реализовать значительно эффективнее, чем на известных булевских элементах. В нейронных сетях это функции активации, поэтому сегодня много говорят о решении систем линейных уравнений и неравенств, обращении матриц, сортировки с помощью нейрокомпьютерных технологий.

Прикладная нейроматематика

Как правило множество задач прикладной нейроматематики не решается известными типами вычислительных машин.

Общие задачи

Это задачи, достаточно просто сводимые к обработке нейронной сетью многомерных векторов вещественных переменных, например:

контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;
система скрытого обнаружения веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется уже во многих аэропортах США при досмотре багажа для обнаружения наркотиков, взрывчатых веществ, ядерных и других материалов;
система автоматизированного контроля безопасного хранения ядерных изделий.

Обработка изображений

Наиболее перспективными задачами обработки изображений нейрокомпьютерами являются обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, контрастирование и обработка текстур), выделение на изображении движущихся целей, поиск и распознавание на нем объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.

Обработка сигналов

В первую очередь это класс задач, связанных с прогнозированием временных зависимостей:

прогнозирование финансовых показателей;
прогнозирование надежности электродвигателей;
упреждение мощности АЭС и прогнозирование надежности систем электропитания на самолетах;
обработка траекторных измерений.

При решении этих задач сейчас все переходят от простейших регрессионных и других статистических моделей прогноза к существенно нелинейным адаптивным экстраполирующим фильтрам, реализованным в виде сложных нейронных сетей.

При обработке гидролокационных сигналов нейрокомпьютеры применяются при непосредственной обработке сигнала, распознавании типа надводной или подводной цели, определении координат цели. Сейсмические сигналы по структуре весьма близки к гидролокационным. Обработанные нейрокомпьютером позволяют получить с достаточной точностью данные о координатах и мощности землетрясения или ядерного взрыва. Нейрокомпьютеры начали активно использовать при обработке сейсмических сигналов в нефтегазоразведке. В Международном обществе по нейронным сетям для этого создана специальнаягруппа.

Нейрокомпьютеры в системах управления динамическими объектами

Это одна из самых перспективных, областей применения нейрокомпьютеров. По крайней мере США и Финляндия ведут работы по использования нейрокомпьютеров для управления химическими реакторами. В нашей стране этим не занимались, в частности, по причине морального устаревания существующих реакторов и нецелесообразности совершенствования их систем управления.

Перспективной считается разработка нейрокомпьютера для управления двигательной установкой гиперзвукового самолета. Фактически единственным вариантом реализации высокопараллельной вычислительной системы управления зеркалами (100-400 зеркал) адаптивного составного телескопа сегодня является нейрокомпьютер. Адаптивные режимы управления этим сложным объектом по критерию обеспечения максимального высокого качества изображения и компенсации атмосферных возмущений может обеспечить мощный нейрокомпьютер, в свою очередь реализующий адаптивный режим собственного функционирования.

Весьма адекватной нейрокомпьютеру является задача обучения нейронной сети выработке точного маневра истребителя. Обучение системы с достаточно слабой нейронной сетью требовало 10 часов на ПК 386. Тоже можно сказать и о задаче управления роботами: прямая, обратная кинематические и динамические задачи, планирование маршрута движения робота. Переход к нейрокомпьютерам здесь связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.

Нейросетевые экспертные системы

Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика.

Нейрочипы и нейрокомпьютеры

В 1995 году была завершена разработка первого отечественного нейрокомпьютера на стандартной микропроцессорной элементной базе, а сегодня проводится разработка на базе отечественных нейрочипов, в том числе супернейрокомпьютера для решения задач, связанных с системами уравнений математической физики: аэро-, гидро-, и газодинамики.

Главный результат разработки нейростевого алгоритма решения задачи - возможность создания архитектуры нейрочипа, адекватного решаемой задаче. Можно с уверенностью сказать что программная эмуляция нейросетевых алгоритмов на вычислительных средствах, реализованных на элементной базе, не имеющей отношения к нейросетевому логическому базису, либо неэффективна, либо представляет собой временное явление. Для эмуляции нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективнее создать архитектуры, ориентированные на выполнение нейросетевых операций, чем использовать стандартные, ориентированные на модификацию однопроцессорных алгоритмов решения задач.

В отличие от других направлений развития сверхвысокопроизводительной вычислительной техники нейрокомпьютеры дают возможность вести отечественные разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:

это направление позволяет создать уникальные суперкомпьютеры на отечественной элементной базе, поскольку для них не так важен уровень развития технологии;
разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки к аналого-цифровой и аналоговой с целью резкого увеличения отношения производительность/цена при контролируемой точности вычислений;
для разработки нейрочипов больше подходит полузаказная технология, нежели заказная, из-за относительной "сырости" идей архитектуры алгоритмов и нейрочипов, нехватки времени и средств для проведения работ;
нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластине, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы;
возникает потребность в универсализации САПР нейрочипов. Сейчас основное внимание разработчиков нейрочипов сосредоточено на системах Компас и SPICE, которые становятся базовыми для таких предприятий как НИИ "Квант", АО "Ангстрем", "Ангстрем РТМ", НИИМЭ, НИИ "Научный центр", НИИМА "Прогресс";
рождение технологии систем на пластине и нанотехнологии приведет к появлению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине (американская и японская разработки). Поэтому попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, соответствующей однопроцессорным машинам, можно считать бесплодными. Начиная с нанонейроэлементов, мы вплотную подходим к другим принципиально новым архитектурным элементам, образующим сверхпараллельные высокопроизводительные вычислительные системы.

Оценка производительности нейрокомпьютеров

Иллюстрацией преимуществ нейрокомпьютеров по сравнению с другими типами суперкомпьютеров может быть диаграмма из рис. 1, подготовленная известным американским специалистом в области нейрокомпьютеров Хехт-Нильсеном.

Рис. 1. Сравнительная диаграмма по соотношению цена/производительность.

***

Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки, и при соответствующей поддержке, в ближайшее время станут интенсивно развиваться.

Основой активного развития нейрокомпьютеров является принципиальное отличие нейросетевых алгоритмов решения задач от однопроцессорных, малопроцессорных, а также транспьютерных. Для данного направления развития вычислительной техники не так важен уровень развития отечественной микроэлектроники, поэтому оно позволяет создать основу построения российской элементной базы суперкомпьютеров.

Сегодня начинает расширяться сфера коммерческой деятельности в области нейрокомпьютеров или подобных им систем, в частности: нейропакеты; нейроплаты (CNAPS и другие); нейрокомпьютеры (Sinapse и другие); видеокурсы; нейросетевые системы управления электроэррозионными станками; охранные системы с нейросетевыми алгоритмами выделения движущихся объектов; системы "электронного ключа" с распознаванием отпечатков пальцев, рисунка радужной оболочки глаза; экспертная система G2.

Несколько определений

Нейрокомпьютеры являются предметом исследований сразу нескольких дисциплин, поэтому единое определение нейрокомпьютера можно дать только с учетом различных точек зрения, адекватных разным направлениям науки.

Математическая статистика. Нейрокомпьютеры - это системы, позволяющие сформировать описания характеристик случайных процессов и совокупности случайных процессов, имеющих в отличие от общепринятого, сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.

Математическая логика и теория автоматов. Нейрокомпьютеры - это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида - нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, которые являются предметом отдельного рассмотрения.

Теория управления. В качестве объекта управления выбирается частный случай, хорошо формализуемый объект - многослойная нейронная сеть, а динамический процесс ее настройки представляет собой процесс решения задачи. При этом практически весь аппарат синтеза адаптивных систем управления переносится на нейронную сеть как частный вид объекта управления.

Вычислительная математика. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая другая их физическая реализация. Множество нейросетевых алгоритмов решения задач составляет новый перспективный раздел вычислительной математики, условно называемый нейроматематикой.

Вычислительная техника. Нейрокомпьютер - это вычислительная система с архитектурой MSIMD, в которой реализованы два принципиальных технических решения:

упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами;
программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.

Общее определение нейрокомпьютера может быть представлено в следующем виде. Нейрокомпьютер - это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе.

1. Введение

2. История нейрокомпьютеров.

2. История нейрокомпьютеров.

3.2. Практическое применение нейрокомпьютеров.

3.2.1. Сферы применения

3.2.2. Применение нейрокомпьютеров в финансовой и экономической деятельности.

5. Заключение.

Список используемой литературы.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Введение

Объектом исследования выступают нейрокомпьютерные системы. Предметом исследования является процессы способствующих развитию нейрокомпьютерных систем.

Таким образом, целью данного исследования является исследование состояния и перспектив развития нейрокомпьютерных систем.

Основные задачи , поставленные и решенные в данной работе, следующие.

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

Основным элементом сети является искусственный нейрон (далее нейрон) (приложение А).

1.2 Алгоритм обратного распространения

Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки нейронной сети является

(4)

где - реальное выходное состояние нейрона j выходного слоя n нейронной сети при подаче на ее входы p-го образа;

(5)

Где - весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n-1 с j-м нейроном слоя n, h - коэффициент скорости обучения, 0 < h < 1.

(6)

где под y j , подразумевается выход нейрона j, а под s j - взвешенная сумма его входных сигналов, т.е. аргумент активационной функции.

(7)

Третий множитель ¶ равен выходу нейрона предыдущего слоя

Первый множитель (2.7) раскладывается следующим образом:

(8)

где суммирование по k выполняется среди нейронов слоя n+1.

Введем переменную

(9)

Тогда получим рекурсивную формулу для расчетов величин слоя n

из величин более старшего слоя n+1.

(10)

Для выходного слоя

(11)

Запишем (5) в развернутом виде:

(12)

Для придания процессу коррекции весов инерционности,

сглаживающей резкие скачки при перемещении по поверхности целевой функции, (12) дополняется значением изменения веса на предыдущей итерации:

(13)

(14)

где f - сигмоидальная функция;

(15)

- q-я компонента вектора входного образа.

2 Рассчитать для выходного слоя по формуле (11), а также по формуле (12) или (13) изменения весов слоя n.

3 Рассчитать по формулам (10) и (13) (или (11) и (13))

Соответственно и для всех остальных слоев, n=N-1,.1.

4 Скорректировать все веса в нейронной сети

(16)

5 Если ошибка сети существенна, перейти на шаг 1. В противном случае - завершение обучения.

(17)

(18)

где N w - число подстраиваемых весов, N y - число нейронов в выходном слое.

Рис.16 Диаграмма сигналов при обучении нейронной сети по алгоритму обратного распространения

1.3 Нейронные сети Хопфилда и Хэмминга

Рис.17 Структурная схема сети Хопфилда

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом:

(19)

Здесь i и j - индексы, соответственно, предсинаптического и постсинаптического нейронов;

- i-ый и j-ый элементы вектора k-ого образца.

Алгоритм функционирования сети следующий (р - номер итерации):

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

2.1 Применение искусственных нейронных сетей в системах управления

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

Подобные документы

Теория нейронных сетей

Нейроматематика

Прикладная нейроматематика

Общие задачи

Обработка изображений

Обработка сигналов

Нейрокомпьютеры в системах управления динамическими объектами

Нейросетевые экспертные системы

Нейрочипы и нейрокомпьютеры

Оценка производительности нейрокомпьютеров

***

Несколько определений

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: