Глубокая сеть доверия (ГСД, англ. deep belief network, DBN) — это порождающая графическая модель , или, иначе, один из типов глубинных нейронных сетей , состоящая из нескольких скрытых слоев , в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя .

При обучении на наборе примеров спонтанным образом ГСД может обучаться вероятностно отстраивать свои входы. Слои в этом случае выступают в роли детекторов признаков входов . По окончании обучения ГСД может быть обучена с учителем для осуществления классификации .

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ) или автокодировщики , в которой скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя , в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоев (на видимый слой которой подается тренировочный набор примеров ).

Наблюдение, сделанное англ. Yee-Whye Teh , учеником Джеффри Хинтона , говорит о том, что ГСД может быть обучена способом жадного послойного обучения , что стало одним из первых действенных алгоритмов глубинного обучения ^{:6 :6} .

Алгоритм обучения

Алгоритм тренировки ГСД работает следующим образом . Пусть ${\displaystyle X}$ будет матрицей входов, что рассматривается как набор признаков .

1. Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных ${\displaystyle X}$ и получить матрицу её весовых коэффициентов ${\displaystyle W}$ , которая будет описывать связи между двумя нижними слоями сети.
2. Пропустить через обученную машину Больцмана входные данные ${\displaystyle X}$ и получить данные скрытого слоя ${\displaystyle X'}$ на выходе после активации узлов первого скрытого слоя.
3. Повторять эту процедуру с ${\displaystyle X\leftarrow X'}$ для каждой следующей пары слоёв, пока не будут обучены два самых верхних слоя сети.
4. Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).

См. также

• Байесовская сеть
• Глубинное обучение

Примечания

Ссылка

• LISA Lab. (неопр.) . Дата обращения: 10 октября 2016. Архивировано из 19 ноября 2016 года. (англ.)
• (неопр.) . Дата обращения: 10 октября 2016. Архивировано из 3 октября 2016 года. (англ.)