Исключение или дропаут (от англ. dropout) — метод регуляризации искусственных нейронных сетей, предназначен для уменьшения переобучения сети за счет предотвращения сложных коадаптаций отдельных нейронов на тренировочных данных во время обучения[1].
Термин «dropout» (выбивание, выбрасывание) характеризует исключение определённого процента (например 30 %) случайных нейронов (находящихся как в скрытых, так и видимых слоях) на разных итерациях (эпохах) во время обучения нейронной сети. Это очень эффективный способ усреднения моделей внутри нейронной сети. В результате более обученные нейроны получают в сети больший вес[2][3]. Такой приём значительно увеличивает скорость обучения, качество обучения на тренировочных данных, а также повышает качество предсказаний модели на новых тестовых данных[1].
Для задания исключений в различных библиотеках машинного обучения необходимо выбрать значение гиперпараметра, который указывает вероятность зануления элемента нейронной сети. В результате генерируется маска, состоящая из 0 и 1, которая указывает какие элементы будут убраны. Как правило, маска генерируется независимо на каждом шаге градиентного спуска. Важно отметить, что на этапе предсказания dropout ничего не меняет. На этапе предсказания dropout «выключается»: внутренние представления используются как есть, без умножения на маску. А чтобы слой знал, обучается он сейчас или предсказывает, в нейросетевых библиотеках в классе слоя обычно реализовано переключение между этими режимами (например, булев флаг training в pytorch-модулях)[4].
Энциклопедичный YouTube
-
1/3Просмотров:9 39432 656107 824
-
Dropout - метод борьбы с переобучением нейронной сети | #11 нейросети на Python
-
Создаем нейронную сеть на Keras с нуля ➤ Искусственный интеллект на Python.
-
ИИ, машинное обучение, НЕЙРОСЕТИ, Что есть что? | БОЛЬШОЙ РАЗБОР
Субтитры
См. также
Ссылка
- Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research. — 2014. — Т. 15.
Примечания
- ↑ 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Improving neural networks by preventing co-adaptation of feature detectors, arΧiv:1207.0580 [cs.NE].
- ↑ Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Дата обращения: 26 июля 2015. Архивировано 5 декабря 2019 года.
- ↑ Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), An empirical analysis of dropout in piecewise linear networks, arΧiv:1312.6197 [stat.ML].
- ↑ Тонкости обучения. academy.yandex.ru. Дата обращения: 5 марта 2023. Архивировано 5 марта 2023 года.
Эта страница в последний раз была отредактирована 16 сентября 2023 в 11:35.
Обычно почти сразу, изредка в течении часа.