Формальный нейрон

Естественной начальной задачей в моделировании нервной системы является формализация основной ее структурной единицы. Следует понять, от каких деталей функционирования биологического нейрона мы готовы отказаться, чтобы не потерять в целом возможности сети. Как правило, не учитывают временные задержки, характерные процессу распространения нервного импульса. Исходя из этого формальный нейрон можно определить следующим образом:

Множество входных связей, определяемых как вектор W вещественных чисел - весов.

Сумматор, который «собирает» в нейрон все входные воздействия. Если входные воздействия обозначить как вектор X той же размерности что и вектор W, то сумматор может вычислять скалярное произведение X на W

x1w1 + x2w2 + … + xnwn

В этом случае каждое слагаемое - это адекватный биологическому прототипу вклад каждого дендрита в формирование общего импульса, передаваемого в тело нейрона - здесь учитывается и сила входного сигнала xi и его проводимость в виде веса wi. Накопленную таким образом сумму часто обозначают как NET.

Последний компонент формального нейрона - активационная функция, которая преобразует накопленный сомой импульс в выходной импульс, передаваемый по аксону. Такой выход нейрона часто обозначают как OUT. В результате, схематическое изображение формального нейрона часто выглядит следующим образом (Рис.1.2.)

Рис.1.2. Формальный нейрон: xi - компоненты вектора входа, wi - компоненты вектора весов связей, å - сумматор, F - активационная функция.

В теории ИНС используют различные активационные функции. Так, в начале своего развития преобладали ИНС с пороговыми активационными функциями.(Рис.1.3). Такие сети обычно называли персептронами. Зависимость, определяемая пороговой функцией содержит порог - вещественный параметр q:

= 1, если NET >q,

= 0 в остальных случаях,

Рис. 1.3. Пороговая активационная функция (жесткая ступенька)

Пороговая функция неплохо воспроизводит характерную особенность нейрона, имеющего порог насыщения - пока суммарный импульс не превышает заданного порога, нейрон бездействует, при превышении этого порога нейрон достигает критической точки возбуждения и выдает во внешнюю среду через аксон импульс. Логистическая функция (сигмоид, Рис.1.4.) задается формулой

:

Важное отличие от разрывной пороговой функции - непрерывность, что позволяет использовать ее в многослойных сетях, обучение которых основано на градиентном или другом методе, использующем производную активационной функции (например, метод обратного распространения ошибки). К тому же значение производной легко выражается через саму функцию. Такой быстрый расчет производной ускоряет обучение.

Другая характерная особенность сигмоида - это сжимающая функция: аргумент может принимать произвольные значения, а выход функции - в диапазоне [0, 1]. Благодаря этому удается избежать эффекта насыщения - безудержного роста значений весов сети в процессе обучения.

Рис.1.4. Логистическая функция (сигмоид)

Аналогичен сигмоиду, но имеет симметричную область значений [-1, 1] гиперболический тангенс (Рис.1.5.).

Рис.1.5. Гиперболический тангенс