Главная
страница 1

Лабораторная работа 3. Процедуры настройки параметров персептронных нейронных сетей. Правила настройки

Цель лабораторных занятий


Изучение процедуры настройки параметров персептронных нейронных сетей и реализация правил настройки в системе MATLAB.

Краткие сведения из теории


Определим процесс обучения персептрона как процедуру настройки весов и смещений с целью уменьшить разность между желаемым (целевым) и истинным сигналами на его выходе, используя некоторое правило настройки (обучения). Процедуры обучения делятся на 2 класса: с учителем и без учителя.

При обучении с учителем задается множество примеров требуемого поведения сети, которое называется обучающим множеством



. (1)

Здесь p1, p2, …, pQ – входы персептрона, а t1, t2 ,…, tQ – требуемые (целевые) выходы.

При подаче входных сигналов выходы персептрона сравниваются с целями. Правило обучения используется для настройки весов и смещений персептрона так, чтобы приблизить значения выхода к це- левому значению. Алгоритмы, использующие такие правила обучения, называются алгоритмами обучения с учителем. Для их успешной реализации необходимы эксперты, которые должны предварительно сформировать обучающие множества. Разработка таких алгоритмов рассматривается как первый шаг в создании систем искусственного интеллекта.

В этой связи ученые не прекращают спора на тему, можно ли считать алгоритмы обучения с учителем естественными и свойственными природе, или они созданы искусственно. Например, обучение человека, на первый взгляд, происходит без учителя: на зрительные, слуховые, тактильные и прочие рецепторы поступает информация извне, и внутри мозга происходит некая самоорганизация. Однако нельзя отрицать и того, что в жизни человека немало учителей – и в буквальном, и в переносном смысле, которые координируют реакции на внешние воздействия. Вместе с тем как бы ни развивался спор приверженцев этих двух концепций обучения, представляется, что обе они имеют право на существование. И рассматриваемое нами правило обучения персептрона относится к правилу обучения с учителем.

При обучении без учителя веса и смещения изменяются только в связи с изменениями входов сети. В этом случае целевые выходы в явном виде не задаются. Главная черта, делающая обучение без учителя привлекательным, это его самоорганизация, обусловленная, как правило, использованием обратных связей. Что касается процесса настройки параметров сети, то он организуется с использованием одних и тех же процедур. Большинство алгоритмов обучения без учителя применяется при решении задач кластеризации данных, когда необходимо разделить входы на конечное число классов.

Правила настройки персептронных нейронных сетей


Настройка параметров (обучение) персептрона осуществляется с использованием обучающего множества. Обозначим через p вектор входов персептрона, а через t – вектор соответствующих желаемых выходов. Цель обучения – уменьшить погрешность e = a t , которая равна разности между реакцией нейрона a и вектором цели t.

Правило настройки (обучения) персептрона должно зависеть от величины погрешности e. Вектор цели t может включать только зна- чения 0 и 1, поскольку персептрон с функцией активации hardlim может генерировать только такие значения.

При настройке параметров персептрона без смещения и с единственным нейроном возможны только три ситуации:

1.Для данного вектора входа выход персептрона правильный (a = t и e = t a = 0), и тогда вектор весов w не претерпевает изменений.

2.Выход персептрона равен 0, а должен быть равен 1 ( a = 0, t = 1 и e = t 0 = 1). В этом случае вход функции активации wТp отрицательный и его необходимо скорректировать. Добавим к вектору весов w вектор входа p , и тогда произведение (wT + pT) p = wT p + pT p изменится на положительную величину, а после нескольких таких шагов вход функции активации станет положительным и вектор входа будет классифицирован правильно. При этом изменяется настройка весов.

3.Выход персептрона равен 1, а должен быть равен 0 (a = 1, t = 0 и e = t – 1 = –1 ). В этом случае вход функции активации wТp поло- жительный и его необходимо скорректировать. Вычтем из вектора весов w вектор входа p, и тогда произведение (wT pT) p = wT p pT p изменится на отрицательную величину, а после нескольких таких шагов вход функции активации станет отрицательным и вектор входа будет классифицирован правильно. При этом изменяется настройка весов.

Теперь правило настройки (обучения) персептрона можно записать, связав изменение вектора весов Δw с погрешностью e = t a :

Все три случая можно описать одним соотношением



Δw = (t a) pT = e pT.

Можно получить аналогичное выражение для изменения смещения, учитывая, что смещение можно рассматривать как вес для единичного входа:



Δb = (t a) 1 = e.

В случае нескольких нейронов эти соотношения обобщаются следующим образом:



Тогда правило настройки (обучения) персептрона можно записать в следующей форме:



Описанные соотношения положены в основу алгоритма настройки параметров персептрона, который реализован в Neural Network Toolbox в виде функции learnp. Каждый раз при выполнении функции learnp будет происходить перенастройка параметров персептрона, и, если решение существует, то процесс обучения персептрона сходится за конечное число итераций. Если смещение не используется, то функция learnp ищет решение, изменяя только вектор весов w. Это приводит к нахождению разделяющей линии, перпендикулярной вектору w, которая должным образом разделяет векторы входа.

Рассмотрим простой пример персептрона с единственным нейроном и двухэлементным вектором входа
clear, net = newp([-2 2;-2 2],1);

Определим смещение b равным 0, а вектор весов w равным [1 –0.8]


net.b{1} = 0;

w = [1 -0,8]; net.IW{1,1} = w;

Обучающее множество зададим следующим образом:
p = [1; 2]; t = [1];

Моделируя персептрон, рассчитаем выход и ошибку на первом шаге настройки:

a = sim(net,p), e = t-a

a =


0

e =


1

Используя функцию настройки параметров learnp, найдем требуемое изменение весов:

dw = learnp(w,p,[ ],[ ],[ ],[ ],e,[ ],[ ],[ ])

dw =


1 2

Тогда новый вектор весов примет вид


w = w + dw

w =


2.0000 1.2000

Описанные выше правило и алгоритм настройки (обучения) персептрона гарантируют сходимость за конечное число шагов для всех задач, которые могут быть решены с использованием персептрона. Это в первую очередь задачи классификации векторов, которые относятся к классу линейно отделимых, когда все пространство входов можно разделить на две области некоторой прямой линией, в многомерном случае – гиперплоскостью.


Индивидуальное задание


  1. Для заданного преподавателем варианта задания (таблица) вы- полнить ручной расчет настройки весов и смещений персептронной нейронной сети.

  2. Разработать алгоритм создания и моделирования персептронной нейронной сети.

  3. Реализовать разработанный алгоритм в системе MATLAB.

  4. Определить параметры созданной нейронной сети (веса и смещение) и проверить правильность работы сети для последовательности входных векторов (не менее 5).

  5. Сравнить результаты ручных расчетов и расчетов, выполненных в системе MATLAB.

Содержание отчета


  • тема лабораторной работы;

  • структурная схема нейронной сети;

  • алгоритм, текст программы и график;

  • индивидуальное задание;

  • выводы.



Номер

варианта


Количество входов – 2; количество нейронов – 1

Диапазоны

значений входов



Входы

персептрона



Целевые

выходы


1

–4…+4

{[–3; 1] [2; –1] [2; 2] [3; –1]}

{1 1 0 0}

2

–3…+3

{[–2; –1] [1; –1] [0; 1] [2; 0]}

{1 0 1 0}

3

–2…+2

{[0; 0] [1; 1] [–1; 1] [–1; 0]}

{0 0 1 1}

4

–4…+4

{[–2; 2] [1; 2] [0; 0] [3; –2]}

{0 1 0 1}

5

–3…+3

{[–1; 1] [–2; –1] [1; –2] [2; 0]}

{1 0 0 1}

6

–2…+2

{[0; 0] [–1; 1] [–1; 0] [1; 1]}

{0 1 1 0}

7

–4…+4

{[–2; 1] [1; –2] [3; –1] [2; 2]}

{0 0 0 1}

8

–3…+3

{[–2; 1] [0; 1] [2; –1] [–2; –1]}

{0 0 1 0}

9

–2…+2

{[–1; –1] [0; 0] [1; –1] [1; 1]}

{1 1 1 0}

10

–4…+4

{[0; 0] [2; –2] [1; –2] [–2; –1]}

{0 1 0 0}


Смотрите также:
Лабораторная работа Процедуры настройки параметров персептронных нейронных сетей. Правила настройки
76.71kb.
1 стр.
Настройка производительности sap r/3
51.39kb.
1 стр.
Standart cmos features нас мало интересует, т к не содержит ничего относящегося к разгону (настройки даты, времени, включение дисководов и прочая лабуда). А вот следующее меню Advanced bios features
13.08kb.
1 стр.
Лабораторная работа 11. Обмен сообщениями в Интернете
103.13kb.
1 стр.
Практическая работа№7 (1 часть). «Изучение принципов настройки и оптимизации системы с помощью реестра»
97.21kb.
1 стр.
Вы переустановили Windows или Подробное описание настройки сети
193.27kb.
1 стр.
Джампер Положение Микропереключателей
56.35kb.
1 стр.
Инструкция написана на примере настройки Palm Tungsten E2 и телефона Nokia 6021
18.69kb.
1 стр.
Настройки статического айпи на Windows Vista
7.5kb.
1 стр.
Инструкция по эксплуатации велорикши ep15
57.35kb.
1 стр.
Настройка интернет соединения (pppoE) для Mac os для настройки pppoE подключения в Macos необходимо открыть меню Apple (значок яблока в верхнем левом углу) и перейти в «Системные настройки»
9.43kb.
1 стр.
Рабочая программа по дисциплине «Сетевое администрирование» Направление подготовки 050100 «Педагогическое образование»
181kb.
1 стр.