: 681. 5 А. М. Резник, М. Э. Куссуль, А. С. Сычов, Е. Г. Садовая, Е. А. Калина
|
Скачать 190.28 Kb.
|
УДК 621.8: 681.5А.М. Резник, М.Э. Куссуль, А.С. Сычов, Е.Г. Садовая, Е.А. КалинаСистема автоматизированного проектирования модульных нейронных сетей CAD MNN 1. Введение Модульный подход к решению сложных задач, давно используемый в различных областях человеческой деятельности, в последние годы все чаще применяется в нейронных сетях. Представляется естественным разбить сложную задачу на подзадачи, решить их по отдельности с использованием нейронных сетей одинаковой или различной архитектуры, а затем объединить результаты, используя еще одну нейронную сеть или модуль, реализующий иной принцип принятия решений. Кроме того, использование модульных сетей позволяет существенно сократить обучающую выборку без потери точности. Как указывают Р.Д. Рид и Р. Дж. Маркс, «…пусть задача имеет две входных переменных, x1 и x2, и ее можно разделить на две независимые подзадачи y1(x1) и y2(x2). Если на каждый вход можно подавать m значений, то O(m) примеров будут адекватно описывать каждую из функций. В то же время для обучения одной нейронной сети с целью решения обеих задач одновременно потребовалось бы O(m2) примеров, чтобы адекватно описать всю систему » [1]. Можно указать, по меньшей мере, на три предпосылки для применения принципа модульности в нейронных сетях: - неоднородность данных обучающей выборки, ведущая к неспособности одномодульной нейронной сети правильно аппроксимировать требуемую реакцию; -сложность алгоритма решаемой задачи, который требует многомодульной структуры; - различие характера функции стоимости ошибок на разных фрагментах обучающей выборки. Примером задачи, требующей применения модульной организации нейронной сети, может служить моделирование инверсной кинематики суставчатых манипуляторов роботов, описываемой многозначной разрывной функцией [2]. Другими примерами применения модульной организации могут служить сети, реализующие теорию адаптивной критики и иерархические сети «локальных экспертов» [3,4]. Для разделения задачи на подзадачи используются как внутренние свойства самой задачи (субъективно определяемое разделение), так и алгоритмы кластеризации, например, кластеризация с нечеткой логикой [5]. Другие примеры сочетаний модулей можно найти в разного рода ассоциативных машинах [6]. При решении реальных задач с помощью модульных сетей возникают следующие общие вопросы: как разбить задачу на подзадачи, какая модульная архитектура и какие именно модули наилучшим образом подходят для решения. Общих ответов на эти вопросы не существует, но поскольку известна структура модулей, наиболее широко используемых в многомодульных нейронных сетях, полезно было бы иметь конструктор, который позволил бы легко включать нейронные сети известных типов в многомодульную структуру. Разумеется, такой конструктор должен позволять включать в систему новые алгоритмы нейронных сетей, а также модули на основе других методов обработки данных. Рассматриваемая в данной работе система автоматизированного проектирования модульных нейронных сетей CAD MNN (Computer-Aided Development of Modular Neural Networks) изначально разрабатывалась для упрощения решения сложных задач с использованием нескольких нейронных сетей. В конечном итоге эта разработка привела к созданию мощного комплекса инструментальных средств, обеспечивающего проектирование и проведение экспериментальных исследований по обучению и тестированию мультимодульных прикладных нейросистем, доступного для использования специалистами, не являющимися профессиональными программистами. Апробация разработанной системы проводилась на примерах решения задач из области автомобильных систем безопасности. 2. Основные функции CAD MNN Одной из целей создания специального средства моделирования мультимодульных нейросетей является достижение надлежащей гибкости при решении задач классификации, интерполяции и управления в сложных технических системах. В ходе разработки таких систем многие их элементы, в частности, типы датчиков сигналов, их размещение, параметры электроники, используемой для ввода данных в нейронные сети, часто меняются. Каждое такое изменение влечет за собой необходимость проведения дополнительных работ, связанных с получением новых массивов данных, пересмотром архитектуры и переобучением применяемых в системе нейронных сетей. Применение CAD MNN позволяет упростить выполнение данных дополнительных работ. Это достигается благодаря возможности моделирования нейронных сетей различных типов и других алгоритмов обработки данных одновременно и в пределах единой архитектуры. Функциональные возможности CAD MNN определяются составом и свойствами включенных в нее модулей, модульной архитектурой и реализованными в ней принципами оптимизации нейронных сетей. Остановимся на предъявляемых к ним требованиях. Модули. Инструментальные средства, применяемые для выполнения анализа данных при классификации должны располагать набором алгоритмов для построения сложных границ между классами во входном пространстве. Например, если эти границы можно аппроксимировать набором гиперплоскостей, то рациональным выбором будет использование модулей типа многослойного персептрона, тогда как для более сложных границ более эффективным может оказаться применение модулей, реализующих алгоритмы радиальных базисных функций. При отсутствии заданного разделения классов следует применять алгоритмы кластеризации данных, например модули, реализующие сеть Кохонена. При необходимости сокращения размерности входного пространства могут использоваться модули на основе алгоритма выделения главных компонент. Наконец, для обработки зашумленных данных необходимо иметь в своем распоряжении модули фильтрации, реализующие алгоритмы сглаживания и нормализации. Для координации работы различных модулей, образующих технологические цепочки обработки данных, CAD MNN должна обрабатывать временные последовательности, включая обратные связи. При этом, поскольку существует практически неограниченное количество различных алгоритмов обработки данных, CAD MNN должна позволять, при наличии в ее составе модулей, реализующих основные, наиболее распространенные алгоритмы, включать в работу любые дополнительные модули и алгоритмы, отвечающие определенным требованиям интерфейса. Модульная архитектура. Задание архитектуры является самым важным и наименее формализованным этапом решения задач с помощью нейронных сетей. Обычно модульная сеть, предназначенная для решения практических задач, строится вручную, хотя известны и попытки создания алгоритмов для автоматического генерирования мультимодульных сетей, состоящих из однотипных модулей [7]. CAD MNN должна предоставлять возможность легко добавлять, удалять и заменять модули всех типов, изменять порядок их следования и связи между ними, а также включать ранее обученные модули или группы модулей в новые сети. Оптимизация. Как только требуемая архитектура нейронной сети вчерне определена, наступает этап ее оптимизации и модификации. На этом этапе очень важно обеспечить возможность оптимизации архитектуры самих модулей (количество слоев и нейронов), анализа обученных сетей на предмет достижения глобального (или как минимум допустимого) минимума функции ошибок, а также оценки значимости каждого модуля с точки зрения устойчивости созданной системы. Заключительным этапом оптимизации является представление обученной мультимодульной нейросети в виде, позволяющем ее применять автономно, вне CAD MNN, например, представление в виде кода на языке C. 3. Архитектура CAD MNN При создании CAD MNN использованы основные принципы, применяемые в распространенных системах автоматизированного проектирования электронных схем. Модульная нейронная сеть представляется в виде набора элементов (боксов). Боксы на чертеже сети представляют модули обработки данных. Модуль нейронной сети полностью реализует одну из нейропарадигм, включая алгоритм ее обучения. Другие модули преобразуют входные данные в выходные путем применения к ним заранее определенных или заданных пользователем функций. Основу CAD MNN составляет технология COM (Component Object Model). Каждый модуль представляет собой COM-объект для головного модуля CAD MNN, являющегося клиентом всех остальных объектов. Головной модуль взаимодействует с остальными модулями через заданные интерфейсы. CAD MNN имеет открытую архитектуру, реализованную посредством COM-технологии и строго фиксированных COM-интерфейсов. Каждый COM-объект (конкретный метод обработки данных) имеет вид файла динамически связываемой библиотеки (DLL – Dynamic Link Library). Набор DLL-модулей образует библиотеку готовых к работе модулей. При разработке CAD MNN учитывалось требование простоты подключения новых алгоритмов (модулей), создаваемых как разработчиками, так и пользователями. CAD MNN позволяет проектировать определяемые пользователем проблемно-ориентированные нейронные сети (включая сети с оригинальными парадигмами), а также включать в состав системы новые модули обработки данных, не требующие обучения. Архитектура CAD MNN показана на рис.1. Головной модуль CAD MNN представляет собой исполняемый файл, обеспечивающий связь между управляющими модулями системы. Для работы с модульной нейронной сетью необходимо наличие трех управляющих модулей: конструктор - CAD, графический интерфейс пользователя - GUI и ядро – Kernel. 1) CAD - модуль конструктора предназначен для создания многомодульной архитектуры сети. Он позволяет построить модульную сеть на экране компьютера, используя 2D - графические представления модулей обработки данных в виде боксов, соединенных линиями и шинами. Линия – это графическое представление связи между выходом одного модуля и входом или входами другого или того же самого модуля. Шина – это графическое представление набора линий, соединяющих несколько выходов с несколькими входами. Использование специального модуля для целей конструирования сети обусловлено тем, что архитектура должна полностью и однозначно определять модульную нейронную сеть. Необходимо отметить, что если модульная сеть содержит одну или несколько нейронных сетей, требующих обучения с учителем, то для каждого модуля необходимо строить две подсети: одну, используемую для обработки входных данных, и другую “обучающую” подсеть, учитывающую значения требуемых реакций модулей и реализующую методы обучения, например, сети с отдаленным учителем [8]. CAD позволяет выполнить такое построение, после чего он осуществляет проверку созданной архитектуры с целью не дать разработчику совершить ошибку, например, соединить между собой два выхода. 2) GUI - модуль графического интерфейса пользователя предназначен для контроля и управления процессом обучения. Это основной модуль работы с нейронной сетью, предоставляющий пользователю возможность выбрать модули для обучения и тестирования. Для этого создаются очереди, представляющие собой последовательности модулей с указанием функций, которые они должны выполнять. Функция наблюдения в интерфейсе пользователя реализована путем отображения статистики модуля, т.е. значений наблюдаемых параметров его алгоритма, например, функции ошибок. Любой параметр, имеющийся в статистике модуля, можно вывести в виде графика на инструментальной панели GUI. Статистика модулей также используется для обновления строк сообщений и генерирования файлов отчетов. Модуль интерфейса, как и модуль конструктора, предлагает пользователю операции создания, сохранения и загрузки модульных сетей, открытия окон свойств модулей, выбора файлов данных и т.д. На рис.2 показан внешний вид окна графического интерфейса с загруженной в него модульной сетью, предназначенной для решения задачи классификации ультразвуковых локационных сигналов, используемых для распознавания положения пассажира в салоне автомобиля. 3) Kernel - модуль ядра предназначен для осуществления обмена данными внутри модульной сети и с управляющими модулями программы в ходе работы с сетью. Ядро получает данные об архитектуре сети из модуля конструктора и группу очередей из модуля интерфейса и выполняет все требуемые операции над модулями сети. Запуск модульной нейронной сети на выполнение как раз и означает запуск на выполнение ядра. 4) Tools (инструментальные модули). Инструментальный модуль CAD MNN представляет собой управляющий модуль, предназначенный для работы с модулем или группой модулей, поддерживающих соответствующий COM-интерфейс. В число таких модулей входят: оптимизатор “Optimizer”, редактор сетей “Network Editor” и генератор кода C “C-code generator”. Оптимизатор предназначен для нахождения наилучшего модуля сети или группы таких модулей, которые решают в сети отдельные подзадачи. Это достигается использованием интерфейса с набором параметров модуля, влияющих на эффективность его работы. В их число могут входить количество нейронов, скорость обучения, функция активации и т.д., в зависимости от типа модуля. Оптимизатор производит повторное обучение и тестирование сетей с различными начальными значениями параметров, используя выбранный метод оптимизации, например, градиентного спуска, для нахождения оптимального соотношения значений параметров, гарантирующего достижение минимума функции ошибок. Интерфейс оптимизатора состоит из списка параметров, которые следует оптимизировать. Редактор сетей предназначен для просмотра и ручного редактирования внутренних параметров модулей нейронных сетей. Интерфейс редактора содержит архитектуру сети, матрицу связей и передаточные функции обрабатывающих элементов, а также вспомогательные средства, позволяющие отслеживать, например, изменения значений весовых коэффициентов. Редактор сетей позволяет пользователю вручную добавить или удалить обрабатывающие элементы, редактировать или маскировать веса связей и т.п. Генератор C-кода предназначен для выдачи кода обученной нейронной сети на языке C с целью его последующего использования за пределами CAD MNN. Этот инструментальный модуль можно использовать только в том случае, если каждый модуль нейронной сети поддерживает соответствующий интерфейс. 5 ) Системные модули представляют собой набор программных модулей CAD MNN, предназначенных для внутренних операций с модулями и модульными сетями в целом. К ним принадлежат модули, служащие для создания, сохранения и загрузки модульных сетей, для создания модулей (компонент) из ранее обученных сетей и выделения сетей из модулей, для загрузки модулей из одной сети в другую и т.п. 6) Data Modules (модули данных) предназначены для чтения/записи данных из/в соответствующих форматов хранения, а также для преобразования данных во внутренний формат и наоборот. Модули данных используются для обеспечения совместимости CAD MNN с распространенными форматами данных. Модули данных имеют открытый интерфейс, так что в систему можно добавить модуль для чтения/записи данных в любом существующем формате. 7) Processing Modules (модули обработки) реализуют алгоритмы обработки данных, в том числе и нейронные сети, которые могут использоваться в составе модульных нейронных сетей. Реализация модулей обработки более подробно будет рассмотрена позже. Для изображения выхода модульной нейронной сети используется условный значок “Output Box” (выходной элемент). В модульной сети может быть только один такой элемент. Данные, поступающие на его вход, можно сохранить как результат обработки исходных данных. 4. Координация процессов обучения в модульной сети Основным механизмом координации работы модульной нейронной сети при обучении и тестировании является очередь - последовательность модулей с указанием функций, которые они должны выполнять. Для каждого модуля существуют три функции: обучение (Training), тестирование (Test) и выполнение (Run). Функция Run определена для каждого модуля, тогда как Training и Test используются только для модулей нейронных сетей или других адаптивных модулей, алгоритмы которых подразумевают настройку параметров по входным данным. Разница между функциями Test и Run состоит лишь в том, что тестирование требует выдачи статистики, тогда как для функции Run это не обязательно. Каждая функция может выполняться в пакетном режиме, для чего необходимо одновременно задать группу очередей. Для описания совместного обучения нескольких модулей вводится термин “финальной сети”. Финальная сеть – это модуль, функция ошибок которого используется для принятия решения о том, необходимо ли обучение для текущего входного вектора. В качестве финальной сети может выступать любой модуль, вычисляющий функцию ошибок. Финальная сеть задается для каждой очереди. Использование очередей модулей и их функций позволяет задавать произвольный поток данных для обучения модульной сети. В CAD MNN реализованы два основных способа формирования потоков данных. Это модульный (“Modular”) и одиночный (“Single”) методы, которые соответственно означают, что CAD MNN должна работать либо сразу со всеми модулями нейронной сети, либо с некоторыми из них, выбранными оператором. В модульном режиме очередь формируется автоматически, в зависимости от выбранного алгоритма совместного обучения, и все модули, помеченные как необученные, будут проходить обучение. CAD MNN позволяет вести обработку массивов данных, сохраняя их естественный порядок, в частности, обрабатывать временные последовательности. Эта возможность реализована путем использования таймеров (“Clocks”). Таймер отсчитывает количество векторов, поступающих на вход нейронной сети. Таймер модуля показывает, сколько векторов должно поступить в модульную сеть до того момента, когда модуль начнет генерировать выходные данные. Каждый бокс нейронной сети имеет соответствующий таймер. Таймер выходного элемента показывает общую задержку нейронной сети. Таймеры применяются только при обработке временных рядов. 5. Внутреннее представление данных CAD MNN оперирует с внутренним представлением данных. Для преобразования внешнего представления служат модули данных. Внутреннее представление вектора (паттерна) подразделяется на порции, называемые буферами данных. Поскольку данные для решаемой задачи могут иметь различную физическую природу, каждый буфер может содержать данные в виде нескольких логических частей – блоков (Partition). Разные блоки буфера данных могут отличаться по количеству элементов, а сами элементы могут иметь разные форматы данных. Однако в пределах одного блока все элементы имеют один численный тип. Входной вектор данных, формируемый одним из модулей нейронной сети, состоит из трех буферов данных: входов (Inputs), шаблонов или требуемых выходов (Patterns или Required Outputs) и дополнительных данных (Additional). Входы являются обязательной частью вектора и представляют сами данные. Шаблоны являются необязательной частью: они используются для обучения с учителем или сбора статистики и предназначены для хранения требуемых значений выхода всей модульной сети для каждого входного вектора. Буфер дополнительных данных также не обязателен. В нем хранится вспомогательная информация о векторе, например, требуемое значение выхода модуля для подзадачи. Последовательность буферов во внутреннем входном векторе строго фиксирована: первым всегда следует буфер входов, и он обязателен для всех векторов; вторым идет буфер шаблонов, и последним – необязательный дополнительный буфер. Для обработки временных последовательностей векторов используется следующее соглашение: последний блок дополнительного буфера содержит только один элемент, равный “1” в первом векторе временного ряда и “0” в остальных, причем последовательность векторов, подаваемая на вход модульной сети, должна соответствовать последовательности данных во времени. При этом модуль подготовки данных устанавливает специальный флажок, сигнализирующий о том, что входной файл состоит из временных рядов. Основные преимущества такого представления данных: а) данные различной природы можно подавать в модульную сеть, явно подразделяя их на блоки; б) информацию, необходимую для обучения с учителем или сбора статистики как для сети в целом, так и для ее модулей, можно включать в вектор данных с помощью буферов шаблонов и дополнительных буферов; в) источник данных может содержать несколько временных рядов, что позволяет автоматически выполнять обучение несколько модулей на основе одного и того же источника. Этим одним источником может быть набор одновременно выбранных файлов данных. 6. Реализация модулей Каждый модуль CAD MNN реализует законченный алгоритм обработки данных вместе с алгоритмом обучения, если таковой используется в данном модуле. Каждый модуль представляет собой COM-объект, удовлетворяющий ряду требований: - модуль должен поддерживать до трех функций: Run (прогонка) – вычисление выходов по входам (необходимая функция), Test (тестирование) – вычисление выходов и статистики (по крайней мере, функции ошибок, если таковая предусмотрена) и Training (обучение) – настройка параметров модуля, если таковая предусмотрена; - модуль должен поддерживать буферы для обмена данными. Модуль должен иметь входы и выходы, а также может иметь шаблоны (Patterns) и управляющие входы (Control inputs). Шаблоны используются для хранения требуемого значения выхода при заданных значениях входов модуля, а управляющие входы могут использоваться для ввода данных для управляющего алгоритма модуля. Разница между шаблонами и управляющими входами состоит в том, что управляющие входы используются как для обучения модульной сети, так и в процессе работы обученной сети, тогда как шаблоны предназначены для обучения с учителем. Управляющие входы используются также как шаблоны для динамического обучения нейронных сетей в процессе работы; - модуль должен поддерживать две настроечные функции: GetProperty, которая призвана считывать из модуля информацию, какие буферы данных требуются для работы алгоритма (входы, управляющие и т.д.), размеры всех требуемых буферов и задержку, измеряемую в векторах, для обработки временных рядов; SetProperty используется для автоматической установки размера буфера данных, хотя модуль вправе отвергнуть этот запрос. Внешний вид различных модулей на схеме сети в CAD MNN показан на рис.3, где (а) представляет простейший модуль, а (в) – полный вариант со всеми функциональными возможностями. Стандартный алгоритм обучения с учителем, например, с алгоритмом обратного распространения, изображается модулем (б). При изображении модулей используются следующие условные обозначения: на рис.3 в верхней части бокса показано имя модуля, в центре жирным шрифтом показан номер модуля в сети, присвоенный системой, входы показаны слева, а выходы справа. Число рядом с ножкой показывает количество элементов буферов (количество входов). Бокс на рис.3(б) имеет также входы шаблона и вход разрешения со стрелкой, обозначенной буквой Е (“Enable”). CAD MNN использует этот вход для модулей, которые можно обучать, но этот вход не является частью самого модуля. Обучение модуля на каком-либо входном векторе будет пропущено, если на ножку поступит логическая единица. Модуль со всеми функциональными возможностями показан на рис.3(в), где в дополнение к предыдущей схеме входы и выходы состоят из двух блоков (Partitions), а управляющие входы изображаются элементом шины со стрелкой. Эти соглашения по реализации модулей позволяют представить практически любой алгоритм обработки данных в виде модуля многомодульной нейронной сети. 7. Применение CAD MNN в автомобильной системе безопасности CAD MNN была применена при проектировании нейронной сети, выполняющей классификацию ультразвуковых локационных сигналов, используемых автомобильной системой управления надувными мешками безопасности, для определения положения пассажира в салоне. Задача ставилась следующим образом. В пределах области пространства, отведенной пассажиру в автомобиле, определяются три зоны: безопасная (S), небезопасная (U) и опасная (D), разделенные воображаемыми плоскостями. Объем этих зон зондируется сигналами четырех ультразвуковых датчиков, установленными вокруг места пассажира. Вектор данных представляет около 30 импульсных отсчетов каждого датчика. Пассажир не ограничен в движениях, то есть он может совершать произвольные движения руками, головой и ногами. Необходимо определить зону, в которой находится голова пассажира, используя сигналы датчиков. Таким образом, задача состояла в классификации поступающих векторов данных на три класса. При ее решении использовались данные, предоставленные фирмой Automotive Technologies International (ATI Inc., Дэнвилл, Нью-Джерси). Данные были собраны для различных размеров тела пассажиров и одежды с различными отражательными свойствами, для различных климатических условий. Массив данных для обучения содержал 212 тысяч векторов, независимо отобранный тестовый набор данных включал 57 тысяч векторов, а набор данных, использовавшийся для верификации, состоял из 24 тысяч векторов. Используемые для решения этой задачи модули имели архитектуру многослойного персептрона (MLP), и для их обучения применялся улучшенный алгоритм обратного распространения Extended Delta-bar-delta [1]. Предварительно была построена одномодульная сеть. Ее архитектура вместе со значениями параметров алгоритма (скорость обучения, момент) была оптимизирована. При этом из 120 вариантов обученной сети был выбран наилучший. Этот оптимизированный вариант архитектуры был использован для реализации шести модулей типа “локальный эксперт”, обозначенных как B4-B9 на общей схеме многомодульной сети, приведенной на рис.2. Каждый из “локальных экспертов” был обучен на выделение двух классов из трех: (S vs UD), (SU vs D), (SD vs U), (S vs U), (S vs D) и (U vsD). Результаты обучения показаны в табл.1, где MLP(O) обозначает процент ошибок классификации для оптимизированного персептрона, MNN(N) и MNN(O) – показатели для модульных сетей без оптимизации и с оптимизацией соответственно. Более высокий показатель для тестовой выборки объясняется использованием режима “Save Best”, при котором одновременно обучаются несколько нейронных сетей, из которых затем отбирается наилучшая. Модульные сети также обучались для нахождения оптимальных “локальных экспертов” двумя способами: отдельно и с использованием функции ошибок для финальной сети. Оба способа дали примерно одинаковые результаты, но интересно отметить, что в то время как для отдельно обученных “локальных экспертов” ошибки классификации составляли 1–3%, при обучении тех же экспертов с использованием функции ошибок конечной сети количество совершаемых ими ошибок достигало 10–30%. Таблица 1. Количество ошибок классификации для трех вариантов сети
8. Заключение Приведенные результаты экспериментов по применению CAD MNN для классификации сложных ультразвуковых локационных сигналов показывают, что разработанный комплекс можно успешно использовать для решения реальных задач, а также, что применение мультимодульных сетей позволяет существенно улучшить результаты по сравнению с теми, которые удается получить с помощью более простых одномодульных нейронных сетей. Следует отметить, что широкие возможности, предоставляемые CAD MNN для выбора структуры и состава модулей сети, создают не только удобства, но и порождают определенные трудности при организации и проведении экспериментов, связанных с поиском оптимальных проектных решений. Включенные с состав в CAD MNN средства оптимизации параметров нейронных модулей позволяют автоматизировать наиболее трудоемкие процессы поиска оптимальных решений. Тем не менее особенно при использовании нейронных модулей, сильно отличающихся по архитектуре и способам обучения, поиск и сравнительный анализ вариантов состава проектируемой нейросистемы остается весьма трудоемкой задачей. Успешность ее решения во многом зависит от опыта применения нейронных сетей в данной прикладной области, наличия соответствующей нейротехнологии. Формирование таких нейротехнологий сейчас происходит во многих областях, связанных со сферой высоких технологий, и создание CAD MNN отражает развитие этого процесса. СПИСОК ЛИТЕРАТУРЫ 1. Reed R.D and Marks R.J. II Neural Smithing. - MIT Press. - 1999. 2. Oyama E., Agah A., MacDorman K.F., Maeda T. and Tachi S. A modular neural network architecture for inverse kinematics model learning / / Neurocomputing. - 2001. - Vol. 38-40. - Р. 797-805. 3. Wunsch D.C., Kussul N.N. and Kussul M.E. Adaptive critic design for optimization of micromechanical factory neural control systems // 5th European Congress on Intelligent Techniques and Soft Computing "EUFIT '97". - Aachen, Germany: 1997. 4. Jordan M.I.and Jacobs R.A. Hierarchical mixture of experts and the EM algorithm / / Neural Computation. - 1994. - Vol. 6. - Р. 181-214. 5. Yao-Wu Chen, Le-Yu Wang and Hong-Yu Long Short-term load forecasting with modular neural networks // Proceedings of the CSEE. - 2001. - Vol. 21:4. - Р. 79-82. 6. Haykin S. Neural Networks A Comprehensive Foundation // 2nd ed. Englewood Cliffs – NJ, Prentice-Hall, 1999. 7. Hsin-Chia Fu, Yen-Po Lee, Cheng-Chin Chiang and Hsiao-Tien Pao Divide-and-Conquer Learning and Modular Perceptron Networks // IEEE Transactions on neural networks. - 2001. - Vol.12: 2. - Р. 250-263. 8. Jordan M.I. and Rumelhart D.E. Forward models: Supervised learning with a distal teacher // Cognitive Science. - 1992. - Vol. 16:3. - Р. 307-354. 28 Резник А.М., Куссуль М.Э, Сычов А.С., Садовая Е.Г., Калина Е.А. 2002 ISSN 1028-9763. Математичні машини і системи, 2002, № 3 |
Добавить документ в свой блог или на сайт
Похожие:
 |
Анжелика Анатольевна Резник Ксения Евгеньевна Меньшикова «Сила женской природы. Счастье быть женщиной / Ксения Меньшикова, Анжелика Резник.»: Центрполиграф; Москва; 2011 |
|
Анжелика Анатольевна Резник Ксения Евгеньевна Меньшикова «Как стать Хозяйкой собственной судьбы. Заблуждения, которые портят тебе жизнь / Ксения Меньшикова, Анжелика Резник.»: Центрполиграф;... |
|
Н. Ф. Калина Основы психоанализа "Рефл-бук" "Ваклер" 2001 Н. Ф. Калина, 2000 © Издательство «Рефл-бук», оформление, 2000 © Издательство «Ваклер», серия,2000 |
|
Умный сад в подробностях Садовая успехология для дачников и дачниц Краснодар Умный сад в подробностях: Садовая успехология для дачников и дачниц.— Краснодар: «Советская Кубань», 1999,- 271 с.: ил |
|
Методические указания Волгоград 2 008 удк 681. 3 Рецензент д-р техн... Кафедра «сИстемы автоматизированного проектирования и поискового конструирования» |