База данных MNIST (сокращение от «Modified National Institute of Standards and Technology» ) — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения в первую очередь на основе нейронных сетей . Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование систем . База данных была создана после переработки . Создатели базы данных NIST, в свою очередь, использовали набор образцов из Бюро переписи населения США , к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов . Образцы из набора NIST были нормализированы, прошли сглаживание и приведены к серому полутоновому изображению размером 28x28 пикселей .

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования . Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина — из набора NIST для тестирования .

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию свёрточных нейронных сетей , уровень ошибки был доведён до 0,23 % . Сами создатели базы данных предусмотрели несколько методов тестирования . В оригинальной работе указывается, что использование метода опорных векторов позволяет достичь уровня ошибки 0,8 % .

Качество результата и развитие подходов

В некоторых работах отмечают высокие результаты систем, построенных на ансамблях из нескольких нейронных сетей; при этом качество распознавания цифр для базы MNIST оказывается сравнимым с уровнем человека, а для других задач распознавания, в частности, для дорожных знаков — даже в два раза лучше .

На оригинальных страницах создателей отмечаются ошибки в 12 % при использовании простых линейных классификаторов без предварительной обработки .

В 2004 году система LIRA, использующая трёхслойный перцептрон Розенблатта , получила уровень ошибки 0,42 % .

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования . Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0,39 % .

В 2011 был достигнут уровень ошибок 0,27 % при использовании нейронных сетей . В 2013 появились публикации о достижении ошибки 0,21 %, используя регуляризацию нейронных сетей (через разрывы соединений ) .

Позднее применение одиночной свёрточной нейронной сети позволило улучшить качество до уровня ошибки 0,31 % . Самый лучший результат на одиночной свёрточной нейронной сети показала система, полученная после 74 эпох обучения — 0,27 % . Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0,21%-го уровня ошибок . В 2018 году исследователи, использующие Random Multimodel Deep Learning (RMDL), сообщили об ошибке в размере 0,18 процента, улучшив предыдущий наилучший результат: новый ансамбль, метод глубокого обучения для классификации .

Сопоставление систем

В таблице собраны примеры результатов машинного обучения в различных системах классификации изображений:

Тип	Структура	Искажения	Предварительная обработка	Ошибка (%)
Линейный классификатор	Одноуровневый перцептрон	Нет	Нет	12
Линейный классификатор	Попарный линейный классификатор	Нет	Выравнивание	7.6
Метод k ближайших соседей	K-NN с нелинейной деформацией (P2DHMDM)	Нет	Shiftable edges	0.52
	Обработка остатков на базе признаков Хаара	Нет	Признаки Хаара	0.87
Нелинейный классификатор	40 PCA + квадратичный классификатор	Нет	Нет	3.3
Метод опорных векторов	Виртуальная система опорных векторов , deg-9 poly, 2-pixel jittered	Нет	Выравнивание	0.56
Нейронная сеть	2-уровневая сеть 784-800-10	Нет	Нет	1.6
Нейронная сеть	2-уровневая сеть 784-800-10	Упругие деформации	Нет	0.7
Глубокая нейронная сеть	6-уровневая сеть 784-2500-2000-1500-1000-500-10	Упругие деформации	Нет	0.35
Свёрточная нейронная сеть	6-уровневая сеть 784-40-80-500-1000-2000-10	Нет	Расширение данных для обучения	0.31
Свёрточная нейронная сеть	6-уровневая сеть 784-50-100-500-1000-10-10	Нет	Расширение данных для обучения	0.27
Свёрточная нейронная сеть	Ансамбль из 35 CNN-сетей, 1-20-P-40-P-150-10	Упругие деформации	С нормализацией	0.23
Свёрточная нейронная сеть	Ансамбль из 5 CNN-сетей, 6-уровней 784-50-100-500-1000-10-10	Нет	Расширение данных для обучения	0.21
	30 моделей случайного глубокого обучения (RDL) (10 CNN, 10 RNN и 10 DNN)	Нет	Нет	0.18

См. также

• Caltech 101
• ImageNet

Примечания

Литература

• Ciresan, Dan; Meier, Ueli; Schmidhuber, Jürgen. (англ.) // 2012 (англ.) ( : journal. — New York, NY: Institute of Electrical and Electronics Engineers (IEEE), 2012. — June. — P. 3642—3649 . — ISBN 9781467312264 . — doi : . — arXiv : .

Ссылки

• — The home of the database
• — A JavaScript implementation of a neural network for handwritten digit classification based on the MNIST database