Вид функции активации во многом определяет функциональные возможности нейронной сети. В таблице приведены некоторые виды функций активации, применяемые при конструировании нейронных сетей.
№ п/п | Название | Формула | Область применения |
линейная | (-∞; +∞) | ||
полулинейная | (0; +∞) | ||
логистическая (сигмоидальная) | (0; 1) | ||
гиперболический тангенс | (-1; 1) | ||
экспоненциальная | (0; +∞) | ||
пороговая | (-1; 1) | ||
линейная с насыщением | (-1; 1) |
Классификация нейронных сетей
Классификация нейронных сетей по виду топологии (по виду распространения сигнала в процессе функционирования НС):
Под топологией нейронной сети понимается графическая иллюстрация соединения нейронов между собой в этой сети.
Однослойная НС (персептрон) | Многослойная НС | |
НС с прямыми связями | ||
НС с перекрёстными связями. | NONE | |
НС с обратными связями (рекуррентные). | ||
НС с латеральными связями (с латеральным торможением) | NONE |
В нейронных сетях с перекрёстными связями обеспечивается более тонкое влияние каждого из слоёв на выход сети. Структура является более оптимальной (минимизированной) по сравнению с НС с последовательными связями, что увеличивает скорость работы сети.
Рекуррентные нейронные сети используются для моделирования динамических процессов.
Классификация нейронных сетей по типу связи:
1. Полносвязные нейронные сети:
2. Нейронные сети с последовательными связями:
3. Слабосвязанные структуры:
а) прямоугольная б) гексагональная???
Классификация нейронных сетей по способу решения задачи:
1. Формируемые сети: проектируются для формализуемых задач, имеющих чётко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.
2. Сети с формируемой матрицей связей: применяются для трудно формализуемых задач. Как правило, имеют одинаковую структуру и различаются лишь матрицей связей (сеть Хопфилда). Достоинство: наглядность в работе.
3. Обучаемые сети: используются для решения неформализуемых задач. В процессе обучения сети автоматически изменяются такие её параметры, как коэффициенты синаптической связи, а в некоторых случаях и топология. Недостаток: большое время обучения сети.
4. Комбинированные (смешанные) сети: сочетают в себе признаки двух, а то и трёх видов. Как правило, сети многослойные, каждый слой которых представляется различной топологией и обучается по определённому алгоритму. Получают наибольшее распространение, так как дают широкие возможности разработчику.
Функции активации (передаточные функции) нейрона могут иметь самый различный вид. Функция активации f
, как правило, принадлежит к классу сигмоидальных функций
с аргументом n
и выходом a
.
Рассмотрим три наиболее распространенные формы функции активации.
Единичная функция активации с жестким ограничениям hardlim. Эта функция описывается соотношением a = hardlim(n ) = 1(n ) и показана на рис. 2.2. Она равна 0, если n < 0, и 1, если n ³ 0.
В состав ППП Neural Network Toolbox входит М-функция hardlim, реализующая функцию активации с жесткими ограничениями. Теперь можно построить график этой функции, применяя операторы языка MATLAB:
plot(n,hardlim(n),"c+:");
В результате получим график функции hardlim в диапазоне значений входа от –5 до + 5 (рис. 2.2).
Линейная функция активации
purelin. Эта функция описывается соотношением
a
= purelin(n
) = n
и показана на рис. 2.3.
Рис. 2.3.
Логистическая функция активации
logsig.Эта функция описывается соотношением
a
= logsig(n
) = 1/(1 + exp(–n
)) и показана на рис. 2.4. Она принадлежит к классу сигмоидальных функций, и ее аргумент может принимать любое значение в диапазоне от –¥ до +¥, а выход изменяется в диапазоне от 0 до 1. В ППП Neural Network Toolbox она представлена М-функцией logsig. Благодаря свойству дифференцируемости эта функция часто используется в сетях с обучением на основе метода обратного распространения ошибки.
Рис. 2.4.
Символ в квадрате в правом верхнем углу графика характеризует функцию активации. Это изображение используется на структурных схемах нейронных сетей.
В ППП Neural Network Toolbox включены и другие функции активации. Используя язык MATLAB, пользователь может создавать и свои собственные уникальные функции.