Оптимізаційний метод AMSGrad в багатошарових нейронних мережах
Анотація
Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки.
Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3].
Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції.
Завантажити
Посилання
Bordes A., Bottou L., Gallinari P. SGD-QN: Careful quasi-Newton stochastic gradient descent. Journal of Machine Learning Research. 2009. Vol. 10. P. 1737-1754. URL: https://www.jmlr.org/papers/volume10/bordes09a/bordes09a.pdf.
Olenych Y. et all. Features of deep study neural network. OPENREVIEWHUB. URL: https://openreviewhub.org/lea/paper-2019/features-deep-study-neural-network#.
Rudenko O., Bodianskyy E. Artificial neural networks. Kharkiv, Ukraine: SMIT Company, 2006. (Ukrainian).
Ruder S. An overview of gradient descent optimization algo-rithms. arXiv preprint arXiv:1609.04747. 2016. URL: https://ruder.io/optimizing-gradient-descent/index.html#adamax.
Subotin S. Neural networks: theory and prac-tice Zhytomyr, Ukraine: Publisher О. О. Evenok, 2020. URL: http://eir.zp.edu.ua/handle/123456789/6800 (Ukrainian).
Sveleba S. et al. Хаотичні стани багатошарової нейронної мережі. Збірник наукових праць" Електроніка та інформаційні технології". 2021. №. 16. C. 20-35. http://dx.doi.org/10.30970/eli.16.3.
Sveleba, S. et all Multilayer neural networks – as determined systems. Computational Problems of Electrical Engineering. 2021. Vol. 11. №2, P. 26–31. https://doi.org/10.23939/jcpee2021.02.026.
Taranenko Yu. Information entropy of chaos. URL: https://habr.com/ru/post/447874/.
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2024 Виклики та проблеми сучасної науки
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Всі статті, опубліковані в журналі Challenges and Issues of Modern Science, ліцензовані за ліцензією Creative Commons Attribution 4.0 International (CC BY). Це означає, що ви можете:
- Поширювати, копіювати та передавати статтю
- Адаптувати, реміксувати та створювати похідні роботи на основі статті
за умови, що ви надаєте належне посилання на оригінальну роботу, вказуєте ім'я авторів, назву статті, журнал та наявність ліцензії CC BY. Будь-яке використання матеріалів не повинно припускати схвалення авторами або журналом використаного матеріалу.
