Neural networks are a deep confidence in comparison with the multilayer perceptron
- Authors: Tatyankin V.M.1, Dyubko I.S1
-
Affiliations:
- Yugra State University
- Issue: Vol 11, No 2 (2015)
- Pages: 87-89
- Section: Articles
- URL: https://vestnikugrasu.org/byusu/article/view/7328
- DOI: https://doi.org/10.17816/byusu201511287-89
- ID: 7328
Cite item
Full Text
Abstract
The article discusses the results of learning neural networks are deeply trust and training of multilayer perceptron. As a learning and test sample database is used MNIST.
Keywords
Full Text
Введение
В настоящее время нейронные сети глубокого доверия входят в список 10 наиболее перспективных высоких технологий, которые в ближайшее время изменят человеческую жизнь. Большинство современных систем интеллектуальной обработки данных, разрабатываемых такими компаниями как Google, Microsoft, используют нейронные сети глубокого доверия, что подтверждает их высокий потенциал развития [1].
В России данная технология малоизвестна, поэтому в статье будет показаны значительные преимущества нейронных сетей глубокого доверия по сравнению с классическим подходом [2].
Постановка задачи
Обучить многослойный персептрон и нейронную сеть глубокого доверия. После обучений сетей, проверит качество работы на тестовой выборке.
Обучения нейронных сетей
В качестве обучающей и тестовой выборки выступает база изображений рукописных цифр MNIST [3]. Размер обучающей выборки – 60000 изображений, а тестовой – 10000 изображений. Данные изображения представляют собой картинку размером 28 на 28 пикселей, сам образ (цифра) на картинке не превышает размеров 20 на 20 пикселей. После отбора изображений, где образ соответствует размеру 20 на 20 пикселей, размер обучающей выборки составит 9700 изображений, а тестовой 1500 изображений.
Для обучений многослойного персептрона выберем архитектуру сети, представленную на рисунке 1.
Рисунок 1 – Архитектура многослойного персептрона
Входной слой представленного на рисунке 1 многослойного персептрона имеет 400 нейронов, то есть каждый нейрон отвечает за каждый пиксель изображения. Обрабатывающий слой содержит 1000 нейронов, это значение получено при использовании алгоритма описанного в [4]. Выходной слой содержит 10 нейронов, которые соответствуют цифрам от нуля до девяти. При обучении весовых коэффициентов будет использоваться модифицированный алгоритм обратного распространения ошибки, описанный в [5].
График ошибки обучения многослойного персептрона представлен на рисунке 2.
Рисунок 2 – Ошибка обучения персептрона
Используя архитектуру нейронной сети, соответствующей минимальной ошибке, определим количество верно идентифицированных образов: для обучающей выборки это 92 %, для тестовой 82 %. Эти результаты являются хорошими, если учитывать, что идентифицируются рукописные цифры, которые даже человеку затруднительно распознать. Пример таких цифр приведён на рисунке 3, которые взяты из тестовой выборки.
Рисунок 3 – Рукописные цифры
Для обучения нейронных сетей глубокого доверия с архитектурой 400-300-200-10, используется алгоритм, описанный в [1]:
- Предобучаем нейронные сети методом послойного обучения, используя автоэкодерный подход: обучаем каждый нейронный слой как авто ассоциативную нейронную сеть с целью минимизации суммарной ошибки реконструкции информации. Для обучения используется алгоритм обратного распространения ошибки.
- Осуществляется точная настройка с использованием алгоритма обратного распространения ошибки:
- Конструируется авто ассоциативная сеть с входным слоем X, скрытым слоем Y и выходным слоем X.
- Обучается автоассоциативная сеть, например, при помощи алгоритма обратного распространения ошибки (как правило не более 100 эпох) и фиксируются синаптические связи первого слоя W
- Берется следующий слой и формируется автоассоциативная сеть аналогичным образом.
- Используя настроенные синаптические связи предыдущего слоя W1, подаем входные данные на вторую автоассоциативную сеть и обучаем ее аналогичным образом. В результате получаются весовые коэффициенты второго слоя W
- Процесс продолжается до последнего слоя нейронной сети.
- Берется последний слой нейронной сети и обучается с учителем.
- Обучается вся сеть для точной настройки параметров при помощи алгоритма обратного распространения ошибки.
Обрабатывающие слои нейронной сети глубокого доверия выбраны случайным образом. После обучения нейронная сеть глубокого доверия верно идентифицировала 99 % обучающей выборки и 90 % тестовой выборки.
Заключение
Как показал численный эксперимент, нейронная сеть глубокого доверия способна запоминать почти всю обучающую выборку, при этом сохраняя обобщающие свойства, которые позволили верно идентифицировать 90 % неизвестных изображений. В то же время у многослойного персептрона результаты ниже, в среднем на 10 %. В связи с этим, подтверждается преимущество нейронных сетей глубокого доверия в сравнении с многослойным персептроном.
About the authors
Vitaly M. Tatyankin
Yugra State University
Author for correspondence.
Email: bambar@bk.ru
Senior lecturer of the Department of Automated Information Processing Systems and Management, Institute of Control Systems and Information Technology, Yugra State University
Russian Federation, 16, Chehova street, Khanty-Mansiysk, 628012Irina S Dyubko
Yugra State University
Email: irishka_dyubko@mail.ru
Post-graduate student of the Department of Theory and Methodology of Physical Education, Institute of Humanities, Yugra State University
Russian Federation, 16, Chehova street, Khanty-Mansiysk, 628012References
- Головко, В. А. Применение нейронных сетей глубокого доверия для выделения семантически значимых признаков [Электронный ресурс] / В. А. Головко. – Режим доступа : http://libeldoc.bsuir.by/bitstream/123456789/4138/1/Применение%20нейронных%20сетей.PDF (дата обращения: 13.01.2015).
- Головко, В. А. Нейронные сети: обучение, организация и применение : учеб. пособие для вузов [Текст] / В. А. Головко ; под общ. ред. А. И. Галушкина. – Кн. 10. – М. : ИПРЖР, 2000.
- База изображений рукописных цифр MNIST [Электронный ресурс]. – Режим доступа : http://yann.lecun.com/exdb/mnist/ (дата обращения: 13.01.2015).
- Татьянкин, В. М. Алгоритм формирования оптимальной архитектуры многослойной нейронной сети [Текст] / В. М. Татьянкин // Новое слово в науке: перспективы развития : материалы II междунар. науч.-практ. конф.– 2014. – С. 187–188.
- Татьянкин, В. М. Модифицированный алгоритм обратного распространения ошибки [Текст] / В. М. Татьянкин // Приоритетные направления развития науки и образования : материалы III междунар. науч.-практ. конф. (Чебоксары, 04 декабря 2014 г.). – Чебоксары : ЦНС «Интерактив плюс», 2014 ; [Электронный ресурс]. – Режим доступа : http://interactive-plus.ru/e-articles/collection-20141204/collection-20141204-5263.pdf (дата обращения: 01.06.2015).