Нейросеревые модели. Курсовая работа (т). Информационное обеспечение, программирование.
👉🏻👉🏻👉🏻 ВСЯ ИНФОРМАЦИЯ ДОСТУПНА ЗДЕСЬ ЖМИТЕ 👈🏻👈🏻👈🏻
Информационное обеспечение, программирование
Вы можете узнать стоимость помощи в написании студенческой работы.
Помощь в написании работы, которую точно примут!
Похожие работы на - Нейросеревые модели
Нужна качественная работа без плагиата?
Не нашел материал для своей работы?
Поможем написать качественную работу Без плагиата!
. Основы
из высшей математики
3. Биологический
нейрон и его кибернетическая модель
.3 Структура
простой рефлекторной нейронной сети
.4
Биологическая изменчивость и обучение нейронных сетей
.6 Обучение
нейрона детектированию границы «черное - белое»
.2 Линейная
разделимость и персептронная представляемость
. Принцип
WTA в модели Липмана-Хемминга
. Карта
самоорганизации Кохонена
. Нейронная
сеть встречного распространения
. Когнитрон
и неокогнитрон Фукушимы
.1 Когнитрон
- самоорганизующаяся многослойная нейросеть
.3
Неокогнитрон и инвариантное распознавание образов
.1 Дилемма
стабильности-пластичности восприятия
. Сжатие
данных и ассоциативная память
. Распознавание
образов, классификация, категоризация
. Современность
нейросетевых технологий
· Компьютеры с высокой степенью параллелизма обработки
информации, которые могут разделить ту или иную задачу на части и обрабатывать
их одновременно, тем самым значительно сокращая общее время вычислений;
· Компьютеры, в которых вместо электронных сигналов для
передачи информации используется оптика. Оптические сигналы уже начали
использоваться для передачи данных между компьютерами;
· Компьютеры с нейронными сетями, представляющие собой машины,
работающие аналогично тому, как по нашим современным представлениям, функционирует
мозг.
Третье направление представляет наибольший интерес, так как нейронные
сети - мощный и на сегодня, пожалуй, наилучший метод для решения задач
распознавания образов в ситуациях, когда в экспериментальных данных отсутствуют
значительные фрагменты информации, а имеющаяся информация предельно зашумлена.
Высокая степень параллельности, допускаемая при реализации нейросистем,
обеспечивает обработку недоступных оператору объемов информации за времена,
меньшие или сравнимые с допустимыми временами измерений.
Свой вклад в становление нейронауки внесли биология и физиология высшей
нервной деятельности, психология восприятия, дискретная математика,
статистическая физика и синергетика, и, конечно, кибернетика и, конечно,
компьютерное моделирование. Нейронаука в современный момент переживает период
перехода от юного состояния к зрелости. Развитие в области теории и приложений
нейронных сетей идет в самых разных направлениях: идут поиски новых нелинейных
элементов, которые могли бы реализовывать сложное коллективное поведение в
ансамбле нейронов, предлагаются новые архитектуры нейронных сетей, идет поиск
областей приложения нейронных сетей в системах обработки изображений,
распознавания образов и речи, робототехники и др. Значительное место в данных
исследованиях традиционно занимает математическое моделирование.
Традиционно используемым для описания нейронных сетей математическим
языком является аппарат векторной и матричной алгебры, кроме них
дифференциальные уравнения, применяемые для анализа нейронных сетей в
непрерывном времени, а также для построения детальных моделей нейрона;
Фурье-анализ для описания поведения системы при кодировании в частотной
области; теория оптимизации как основа для разработки алгоритмов обучения; математическая
логика и булева алгебра - для описания двоичных сетей, и другие.
Основным структурным элементом в описании способов обработки информации
нейронной сетью является вектор - упорядоченный набор чисел, называемых
компонентами вектора.
В предлагаемом рассмотрении не будем делать разницы в понятиях вектор
(упорядоченная совокупность компонент) и образ (совокупность черт или признаков
образа). Способы выбора совокупности признаков и формирования информационного
вектора определяются конкретными приложениями.
Примеры
векторов: а) булев вектор с 25 компонентами, нумеруемыми по строкам, б)
действительный вектор из пространства R 4 .
Множество
векторов с действительными компонентами является частным случаем более общего
понятия, называемого линейным векторным пространством V, если для его элементов
определены операции векторного сложения "+" и умножения на
скаляр" . ", удовлетворяющие перечисленным ниже соотношениям
(здесь x, y, z - вектора из V, а a, b - скаляры из R):
1. x + y = y + x, результат принадлежит V (свойство коммутативности)
2. a . (x + y) = a . x + a . y, результат принадлежит V (свойством
дистрибутивности)
. (a + b) . x = a . x + b . x, результат
принадлежит V (свойством дистрибутивности)
. ( x + y) + z = x + (y + z), результат принадлежит V (свойством
ассоциативности введенных операций.)
. ( a .
b ) . x = a . ( b . x ), результат
принадлежит V
6. $ o из V: " x из V => o + x = x (существует нулевой элемент)
. для скаляров 0 и 1, " x из V имеем 0 . x = o, 1 . x = x
Для математического описания степени сходства векторное пространство
может быть снабжено скалярной метрикой - расстоянием d(x,y) между всякими двумя
векторами x и y. Пространства, с заданной метрикой называют метрическими. Для
метрики должны выполняться условия неотрицательности, симметричности, а также
неравенство треугольника:
. d ( x, y ) >= 0, причем d ( y, x ) = 0 <=> x = y
3. " y, d ( x, z ) <= d ( x, y ) + d ( y, z )
Далее будем использовать в основном две метрики - Евклидово расстояние и
метрика Хемминга. Евклидова метрика для прямоугольной системы координат
определяется формулой:
Хеммингово
расстояние d H используется обычно для булевых векторов (компоненты
которых равны 0 или 1), и равно числу различающихся в обоих векторах компонент.
Для
векторов вводится понятие нормы ||x|| - длины вектора x. Пространство в котором
определена норма векторов называется нормированным. Норма должна обладать
следующими свойствами:
1. ||x|| >= 0, причем ||x|| = 0 <=> x = o
. ||x + y|| <= ||x|| + ||y||
Для образов, состоящих из действительных признаков мы будем в дальнейшем
иметь дело именно с Евклидовым пространством. В случае булевых векторов
размерности n рассматриваемое пространство представляет собой множество вершин
n-мерного гиперкуба с Хемминговой метрикой. Расстояние между двумя вершинами
определяется длиной кратчайшего соединяющего их пути, измеренной вдоль ребер.
Важным для нейросетевых приложений случаем является множество векторов,
компоненты которых являются действительными числами, принадлежащими отрезку
[0,1]. Множество таких векторов не является линейным векторным пространством,
так как их сумма может иметь компоненты вне рассматриваемого отрезка. Однако
для пары таких векторов сохраняются понятия скалярного произведения и
Евклидового расстояния. Вторым интересным примером, важным с практической точки
зрения, является множество векторов одинаковой длины (равной, например,
единице). Образно говоря, "кончики" этих векторов принадлежат
гиперсфере единичного радиуса в n-мерном пространстве. Гиперсфера также не
является линейным пространством (в частности, отсутствует нулевой элемент). Для
заданной совокупности признаков, определяющих пространство векторов, может быть
сформирован такой минимальный набор векторов, в разной степени обладающих этими
признаками, что на его основе, линейно комбинируя вектора из набора, можно
сформировать все возможные иные вектора. Такой набор называется базисом пространства.
2.2 Матрицы и линейные преобразования векторов
Равно тому, как был рассмотрен вектор - объект, определяемый одним
индексом (номером компоненты или признака), может быть введен и объект с двумя
индексами, матрица. Эти два индекса определяют компоненты матрицы A ij ,
располагаемые по строкам и столбцам, причем первый индекс i определяет номер
строки, а второй j - номер столбца. Приведем некоторые тождества для операций
над матрицами. Для всяких A,B и C и единичной матрицы I имеет место:
3. Биологический нейрон и его кибернетическая модель
Биологический фундамент при изучении функций, таких как распознавание
образов (зрительных, слуховых, сенсорных и других), память и устойчивое
управление движением тела является крайне важным, природное многообразие дает
исключительно богатый исходный материал для направленного создания
искусственных моделей.
К предмету нейробиологии относится изучение нервной системы и ее главного
органа - мозга. Принципиальным вопросом для этой науки является выяснение
соотношения между строением нервной системы и ее функцией. При этом
рассмотрение проводится на нескольких уровнях: молекулярном, клеточном, на
уровне отдельного органа, организма в целом, и далее на уровне социальной
группы. Таким образом, классический нейробиологический подход состоит в
последовательном продвижении от элементарных форм в направлении их усложнения.
Начнем рассмотрение с клеточного уровня. По современным представлениям,
именно на нем совокупность элементарных молекулярных химико-биологических
процессов, протекающих в отдельной клетке, формирует ее как элементарных
процессор, способный к простейшей переработке информации.
Элементом клеточной структуры мозга является нервная клетка - нейрон.
Нейрон в своем строении имеет много общих черт с другими клетками биоткани:
тело нейрона окружено плазматической мембраной, внутри которой находится
цитоплазма, ядро и другие составляющие клетки. Однако нервная клетка
существенно отличается от иных по своему функциональному назначению. Нейрон
выполняет прием, элементарное преобразование и дальнейшую передачу информации
другим нейронам. Информация переносится в виде импульсов нервной активности,
имеющих электрохимическую природу. Нейроны крайне разнообразны по форме,
которая зависит от их местонахождения в нервной системе и особенностей
функционирования. Тело клетки содержит множество ветвящихся отростков двух
типов. Отростки первого типа, называемые дендритами за их сходство с кроной
раскидистого дерева, служат в качестве входных каналов для нервных импульсов от
других нейронов. Эти импульсы поступают в сому или тело клетки размером от 3 до
100 микрон, вызывая ее специфическое возбуждение, которое затем
распространяется по выводному отростку второго типа - аксону. Длина аксонов
обычно заметно превосходит размеры дендритов, в отдельных случаях достигая
десятков сантиметров и даже метров. Тело нейрона, заполненное проводящим ионным
раствором, окружено мембраной толщиной около 75 ангстрем, обладающей низкой
проводимостью. Между внутренней поверхностью мембраны аксона и внешней средой
поддерживается разность электрических потенциалов. Это осуществляется при
помощи молекулярного механизма ионных насосов, создающих различную концентрацию
положительных ионов K + и Na + внутри и вне клетки.
Проницаемость мембраны нейрона селективна для этих ионов. Внутри аксона клетки,
находящейся в состоянии покоя, активный транспорт ионов стремится поддерживать
концентрацию ионов калия более высокой, чем ионов натрия, тогда как в жидкости,
окружающей аксон, выше оказывается концентрация ионов Na + . Пассивная
диффузия более подвижных ионов калия приводит к их интенсивному выходу из
клетки, что обуславливает ее общий отрицательный относительно внешней среды
потенциал покоя, составляющий около -65 милливольт.
Общая
схема строения биологического нейрона.
Под
воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически
изменяет свою проводимость. Мембрана на короткое время, составляющее около 2
миллисекунд, изменяет свою полярность (деполяризуется) и достигает потенциала
действия около +40 мв. В дальнейшем, по мере выхода ионов калия, положительный
заряд с внутренней стороны мембраны меняется на отрицательный, и наступает так
называемый период рефрактерности, длящийся около 200 мс. В течении этого
времени нейрон является полностью пассивным, практически неизменно сохраняя
потенциал внутри аксона на уровне около -70 мв. Импульс деполяризации клеточной
мембраны, называемый спайком, распространяется вдоль аксона практически без
затухания, поддерживаясь локальными ионными градиентами. Возбуждение нейрона в
виде спайка передается другим нейронам, которые таким образом объединены в
проводящую нервные импульсы сеть. Участки мембраны на аксоне, где размещаются
области контакта аксона данного нейрона с дендритами другими нейронов,
называются синапсами. В области синапса, имеющего сложное строение, происходит
обмен информацией о возбуждении между нейронами. Механизмы синаптической
передачи могут иметь химическую и электрическую природу. В химическом синапсе в
передаче импульсов участвуют специфические химические вещества -
нейромедиаторы, вызывающие изменения проницаемости локального участка мембраны.
В зависимости от типа вырабатываемого медиатора синапс может обладать
возбуждающим (эффективно проводящим возбуждение) или тормозящим действием.
Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор,
и поэтому нейрон в целом функционально является тормозящим или возбуждающим.
Это важное наблюдение о наличии нейронов различных типов существенно
используется при проектировании искусственных систем.
Взаимодействующие между собой посредством передачи через отростки
возбуждений нейроны формируют нейронные сети. Переход от рассмотрения
отдельного нейрона к изучению нейронных сетей является естественным шагом в
нейробиологической иерархии. Выделяют несколько (обычно три) основных типов
нейронных сетей, отличающихся структурой и назначением. Первый тип составляют
иерархические сети, часто встречающиеся в сенсорных и двигательных путях.
Информация в таких сетях передается в процессе последовательного перехода от
одного уровня иерархии к другому.
3.3 Структура простой рефлекторной нейронной сети
Нейроны образуют два характерных типа соединений - конвергентные, когда
большое число нейронов одного уровня контактирует с меньшим числом нейронов
следующего уровня, и дивергентные, в которых контакты устанавливаются со все
большим числом клеток последующих слоев иерархии. Сочетание конвергентных и
дивергентных соединений обеспечивает многократное дублирование информационных
путей, что является решающим фактором надежности нейронной сети. При гибели
части клеток, сохранившиеся нейроны оказываются в состоянии поддерживать
функционирование сети. Ко второму типу нейронных сетей относятся локальные
сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных
сетей производят переработку информации в пределах одного уровня иерархии. При
этом функционально локальная сеть представляет собой относительно изолированную
тормозящую или возбуждающую структуру. Важную роль также играют так называемые
дивергентные сети с одним входом. Командный нейрон, находящийся в основании
такой сети может оказывать влияние сразу на множество нейронов, и поэтому сети
с одним входом выступают согласующим элементом в сложном сочетании нейросетевых
систем всех типов. Сигнал внешнего раздражителя воспринимается сенсорными
нейронами, связанными с чувствительными клетками-рецепторами. Сенсорные нейроны
формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются
нейронам локальной сети, содержащим множество прямых и обратных связей с
сочетанием дивергентных и конвергентных соединений. Характер преобразованного в
локальных сетях сигнала определяет состояние возбуждения моторных нейронов. Эти
нейроны, составляющие верхний в рассматриваемой сети уровень иерархии, образно
говоря, "принимают решение", которое выражается в воздействии на
клетки мышечной ткани посредством нервно-мышечных соединений.
3.4 Биологическая изменчивость и обучение нейронных сетей
нейронный сеть кибернетический линейный вектор
Структура основных типов нейронных сетей генетически предопределена.
Однако детерминированные нейронные структуры демонстрируют свойства
изменчивости, обуславливающие их адаптацию к конкретным условиям
функционирования. Генетическая предопределенность имеет место также и в отношении
свойств отдельных нейронов, таких, например, как тип используемого
нейромедиатора, форма и размер клетки. Изменчивость на клеточном уровне
проявляется в пластичности синаптических контактов. Характер метаболической
активности нейрона и свойства проницаемости синаптической мембраны могут
меняться в ответ на длительную активизацию или торможение нейрона.
Синаптический контакт "тренируется" в ответ на условия
функционирования.
Специфическая изменчивость нейронных сетей и свойств отдельных нейронов
лежит в основе их способности к обучению - адаптации к условиям
функционирования - при неизменности в целом их морфологической структуры.
Следует заметить, однако, что рассмотрение изменчивости и обучаемости малых
групп нейронов не позволяет в целом ответить на вопросы об обучаемости на
уровне высших форм психической деятельности, связанных с интеллектом,
абстрактным мышлением, речью.
Основными действующими элементами нервной системы являются отдельные
клетки, называемые нейронами. Активность нейронов при передаче и обработке
нервных импульсов регулируется свойствами мембраны, которые могут меняться под
воздействием синаптических медиаторов. Биологические функции нейрона могут
меняться и адаптироваться к условиям функционирования. Нейроны объединяются в
нейронные сети, основные типы которых, а также схемы проводящих путей мозга
являются генетически запрограммированными. В процессе развития возможно
локальное видоизменение нейронных сетей с формированием новых соединений между
нейронами. Следует заметить, что нервная система содержит помимо нейронов
клетки других типов.
Функциональная
схема формального нейрона МакКалока и Пиитса.
С
современной точки зрения, формальный нейрон представляет собой математическую
модель простого процессора, имеющего несколько входов и один выход. Вектор
входных сигналов (поступающих через "дендриты") преобразуется
нейроном в выходной сигнал (распространяющийся по "аксону") с
использованием трех функциональных блоков: локальной памяти, блока суммирования
и блока нелинейного преобразования. Вектор локальной памяти содержит информацию
о весовых множителях, с которыми входные сигналы будут интерпретироваться
нейроном. Эти переменные веса являются аналогом чувствительности пластических синаптических
контактов. Выбором весов достигается та или иная интегральная функция нейрона.
В блоке суммирования происходит накопление общего входного сигнала (обычно
обозначаемого символом net), равного взвешенной сумме входов:
В
модели Маккалока и Питтса отсутствуют временные задержки входных сигналов,
поэтому значение net определяет полное внешнее возбуждение, воспринятое
нейроном. Отклик нейрон далее описывается по принципу "все или
ничего", т. е. переменная подвергается нелинейному пороговому
преобразованию, при котором выход (состояние активации нейрона) Y
устанавливается равным единице, если net > Q, и Y=0 в
обратном случае. Значение порога Q (часто полагаемое
равным нулю) также хранится в локальной памяти.
Важным
развитием теории формального нейрона является переход к аналоговым
(непрерывным) сигналам, а также к различным типам нелинейных переходных
функций. Опишем наиболее широко используемые типы переходных функций Y=f(net).
· Пороговая функция (рассмотренная Маккалоком и Питтсом):
· Линейная функция, а также ее вариант - линейная функция с
погашением отрицательных сигналов:
· Сигмоидальная функция:
Сигмоидальная
функция обладает избирательной чувствительностью к сигналам разной
интенсивности, что соответствует биологическим данным. Наибольшая чувствительность
наблюдается вблизи порога, где малые изменения сигнала net приводят к ощутимым
изменениям выхода. Напротив, к вариациям сигнала в областях значительно выше
или ниже порогового уровня сигмоидальная функция не чувствительна, так как ее
производная при больших и малых аргументах стремится к нулю.
3.6 Обучение нейрона детектированию границы «черное-белое»
Способность формального нейрона к обучению проявляется в возможности
изменения значений вектора весов W, соответствующей пластичности синапсов биологических
нейронов. Пусть имеется образ, составленный из одномерной цепочки черных и
белых клеток. Зачерненные клетки соответствуют единичному сигналу, а белые
клетки - нулевому. Сигнал на входах формального нейрона устанавливается равным
значениям пар примыкающих клеток рассматриваемого образа. Нейрон обучается
всякий раз возбуждаться и выдавать единичный выходной сигнал, если его первый
вход соединен с белой клеткой, а второй (правый) - с черной. Таким образом,
нейрон должен служить детектором границы перехода от светлого к темному тону
образа.
Формальный
нейрон с двумя входами, занятый обработкой образа в виде одномерной цепочки
черных и белых клеток. Функция, выполняемая нейроном, определяется следующей
таблицей:
Аналоговые нейронные сети (используют информацию в форме действительных
чисел);
двоичные нейронные сети (оперируют с информацией, представленной в
двоичном виде).
Обучение с учителем - выходное пространство решений нейронной сети
известно;
Обучение без учителя - нейронная сеть формирует выходное пространство
решений только на основе входных воздействий. Такие сети называют
самоорганизующимися;
Обучение с подкреплением - система назначения штрафов и поощрений от
среды.
III .
по характеру настройки синапсов:
Сети с фиксированными связями (весовые коэффициенты нейронной сети
выбираются сразу, исходя из условий задачи, при этом: где W - весовые
коэффициенты сети);
сети с динамическими связями (для них в процессе обучения происходит
настройка синаптических связей, то есть, где W - весовые коэффициенты сети).
В ряде нейронных сетей активирующая функция может зависеть не только от
весовых коэффициентов связей wij, но и от времени передачи импульса (сигнала)
по каналам связи τij. По этому в общем виде активирующая (передающая)
функция связи cij от элемента ui к элементу uj имеет вид: . Тогда синхронной
сетью называют такую сеть, у которой время передачи τij
каждой связи равно либо
нулю, либо фиксированной постоянной τ. Асинхронной называют такую сеть у
которой время передачи τij для каждой связи между элементами ui и uj свое, но
тоже постоянное.
сети прямого распространения (персептрон Розенблатта и т.д.);
рекуррентные нейронные сети(сеть Хопфилда, сеть Коско и т.д.)ý.
Другие известные типы связей: многослойный персептрон; сеть Джордана,
сеть Элмана, сеть Хэмминга, сеть Ворда, сеть Кохонена, нейронный газ,
когнитрон, неокогнитрон, хаотическая нейронная сеть, осцилляторная нейронная
сеть, сеть встречного распространения, RBF-сеть, сеть обобщенной регрессии,
вероятностная сеть, сиамская нейронная сеть, сети адаптивного резонанса.
Одной из первых искусственных сетей, способных к перцепции (восприятию) и
формированию реакции на воспринятый стимул, явился PERCEPTRON Розенблатта
(F.Rosenblatt, 1957). Персептрон рассматривался его автором не как конкретное
техническое вычислительное устройство, а как модель работы мозга.
Элементарный
персептрон Розенблатта.
Простейший
классический персептрон содержит нейроподобные элементы трех типов, назначение
которых в целом соответствует нейронам рефлекторной нейронной сети,
рассмотренной в предыдущей лекции. S-элементы формируют сетчатку сенсорных
клеток, принимающих двоичные сигналы от внешнего мира. Далее сигналы поступают
в слой ассоциативных или A-элементов (для упрощения изображения часть связей от
входных S-клеток к A-клеткам не показана). Только ассоциативные элементы,
представляющие собой формальные нейроны, выполняют нелинейную обработку
информации и имеют изменяемые веса связей. R-элементы с фиксированными весами
формируют сигнал реакции персептрона на входной стимул. Представленная сеть
обычно называется однослойной, так как имеет только один слой нейропроцессорных
элементов. Однослойный персептрон характеризуется матрицей синаптических связей
W от S- к A-элементам. Элемент матрицы отвечает
связи, ведущей от i-го S-элемента к j-му A-элементу.
4.1 Теорема об обучении персептрона
Обучение сети состоит в подстройке весовых коэффициентов каждого нейрона.
Пусть имеется набор пар векторов (x a , y a ), a =
1..p, называемый обучающей выборкой. Будем называть нейронную сеть обученной на
данной обучающей выборке, если при подаче на входы сети каждого вектора x a на выходах всякий раз получается
соответствующий вектор y a .
Алгоритм обучения включает несколько шагов:
Начальные значения весов
всех нейронов полагаются случайными.
Сети предъявляется входной
образ x , в результате формируется выходной образ
Вычисляется вектор ошибки , делаемой сетью на выходе. Дальнейшая идея состоит
в том, что изменение вектора весовых коэффициентов в области малых ошибок
должно быть пропорционально ошибке на выходе, и равно нулю если ошибка равна
нулю.
Вектор весов модифицируется
по следующей формуле: . Здесь - темп
обучения.
Шаги 1-3 повторяются для
всех обучающих векторов. Один цикл последовательного предъявления всей
выборки называется эпохой. Обучение завершается по истечении нескольких эпох,
а) когда итерации сойдутся, т.е. вектор весов перестает изменяться, или б)
когда полная просуммированная по всем векторам абсолютная ошибка станет
меньше некоторого малого значения.
Используемая на шаге 3 формула учитывает следующие обстоятельства: а)
модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям
входов; б) знак приращения веса соответствует знаку ошибки, т.е. положительная
ошибка (d > 0, значение выхода меньше
требуемого) проводит к усилению связи; в) обучение каждого нейрона происходит
независимо от обучения остальных нейронов, что соответствует важному с
биологической точки зрения, принципу локальности обучения.
Данный метод обучения был назван “методом коррекции с обратной передачей
сигнала ошибки”. Позднее более широко стало известно название “d-правило”. Представленный алгоритм
относится к широкому классу алгоритмов обучения с учителем, поскольку известны
как входные вектора, так и требуемые значения выходных векторов (имеется
учитель, способный оценить правильность ответа ученика). Доказанная теорема
говорит о том, что персептрон способен обучится любому обучающему набору,
который он способен представить.
4.2 Линейная разделимость и персептронная представляемость
Каждый нейрон персептрона является формальным пороговым элементом,
принимающим единичные значения в случае, если суммарный взвешенный вход больше
некоторого порогового значения:
Таким
образом, при заданных значениях весов и порогов, нейрон имеет определенное
значение выходной активности для каждого возможного вектора входов. Множество
входных векторов, при которых нейрон активен (y=1), отделено от множества
векторов, на которых нейрон пассивен (y=0) гиперплоскостью, уравнение которой
есть, суть:
Следовательно,
нейрон способен отделить (иметь различный выход) только такие два множества
векторов входов, для которых имеется гиперплоскость, отсекающая одно множество
от другого. Такие множества называют линейно разделимыми. Рассмотрим пример.
Пусть имеется нейрон, для которого входной вектор содержит только две булевые
компоненты ( Х1.Х2 ), определяющие плоскость. На данной плоскости
возможные значения векторов отвечают вершинам единичного квадрата. В каждой
вершине определено требуемое значение активности нейрона 0 (белая точка) или 1
(черная точка). Требуется определить, существует ли такое такой набор весов и порогов
нейрона, при котором этот нейрон сможет отделить точки разного цвета.
Белые
точки не могут быть отделены одной прямой от черных. Требуемая активность
нейрона для этого рисунка определяется таблицей, в которой не трудно узнать
задание логической функции “исключающее или”.
Линейная неразделимость множеств аргументов, отвечающих различным
значениям функции означает, что функция “исключающее или”, столь широко
использующаяся в логических устройствах, не может быть представлена формальным
нейроном. При возрастании числа аргументов относительное число функций, которые
обладают свойством линейной разделимости резко уменьшается. А значит и резко
сужается класс функций, который может быть реализован персептроном (так
называемый класс функций, обладающий свойством персептронной представляемости).
Соответствующие данные приведены в следующей таблице:
Полное число возможных
логических функций Из них линейно разделимых функций
Видно, что однослойный персептрон крайне ограничен в своих возможностях
для точного представления наперед заданной логической функции.
5. Принцип WTA в модели Липмана-Хемминга
WTA - winner take all (Победитель забирает все).
Рассмотрим
задачу о принадлежности образа x некоторому классу X k ,
определяемому заданными библиотечными образами x k . Каждый из
заданных образов обучающей выборки непосредственно определяет свой собственный
класс, и таким образом, задача сводится к поиску "ближайшего" образа.
В случае двух двоичных (0-1) образов расстояние между ними может быть
определено по Хеммингу, как число несовпадающих компонент. Теперь после вычисления
всех попарных расстояний искомый класс определяется по наименьшему из них.
Нейросетевое
решение этой задачи может быть получено на основе архитектуры Липпмана-Хемминга
(Lippman R., 1987). Сеть имеет один слой одинаковых нейронов, число которых
равно количеству классов. Таким образом, каждый нейрон "отвечает" за
свой класс. Каждый нейрон связан с каждым из входов, число которых равно
размерности рассматриваемых библиотечных образов. Веса связей полагаются
равными нормированным библиотечным образам:
-
значение веса связи от n-го входа к m-му нейрону. Процесс поступления
информации о векторе x в нейронную сеть является безитерационным. При этом
входной вектор сначала нормируется:
и нейроны
принимают начальные уровни активности:
(x)
- переходная функция (функция активации) нейрона, котора
2.1
Векторные пространства Курсовая работа (т). Информационное обеспечение, программирование.
Реферат На Тему Инфекция
Реферат по теме Учет готовой продукции, ее отгрузка и реализация
Реферат: The Foundation Of Islam Essay Research Paper
Курсовая Работа На Тему Значение И Использование Интернета В Маркетинге
Дипломная работа по теме Особенности разговорной речи в автобиографических повестях И.С. Шмелева
Дипломная работа по теме Лексико-семантические особенности английских усечений
Сочинение Про Дружбу 2 Класс По Литературе
Реферат: Утверждена постановлением правительства Белгородской области от «24» ноября 2022 года
Курсовая Работа По Экономической Теории 1 Курс
Концепция фз рф «о крестьянском (фермерском) хозяйстве»
Практическое задание по теме Машинно-зависимая и машинно-независимая оптимизация кода ассемблера
Курсовая работа по теме Криминалистическая взрывотехника
Название Сочинения Про Бабушку
Реферат: Законність проведення слідчих дій – гарантія прав і свобод учасників кримінального процесу
Реферат по теме Десятилетие массовых коммуникаций
Эссе По Психологии На Тему Семья
Диссертация На Тему Комплексная Эколого-Геохимическая Оценка Урболандшафтов Волгоградской Агломерации
Недавно Прочитал Статью Своего Коллеги Сочинение
Что Делала Летом На Каникулах Сочинение
Курсовая работа: Феномен управления в истории. Скачать бесплатно и без регистрации
Похожие работы на - История создания ядерного оружия и его влияние на дипломатию и внешнюю политику
Похожие работы на - Технология технического осмотра и ремонта автомобиля КамАЗ-5460 с восстановлением коленчатого вала
Курсовая работа: Розробка дизайну та друкування оригінал-макету брошюри спеціальності "Монтаж і експлуатація гідроенергетичних установок"