Метод градієнтного спуску
Анотація
Градієнтний спуск – це алгоритм оптимізації. Він використовується для покращення продуктивності нейронної мережі шляхом налаштування параметрів мережі так, щоб різниця між прогнозами мережі та фактичними / очікуваними значеннями мережі (що називаються втратою) була якомога меншою. Градієнтний спуск приймає початкові значення параметрів і використовує операції, засновані на численні, щоб налаштувати їх значення до значень, які зроблять мережу максимально точною [2]. Інакше кажучи, це один із методів оптимізації, який дає змогу нейронній мережі вчитися, а кінцева мета оптимізації – знайти такі значення параметрів, за яких функція помилки досягне свого мінімуму.
Посилання
Градієнтний спуск: алгоритм та приклад на Python. Robotdreams. URL: https://robotdreams.cc/uk/blog/331-gradiyentniy-spusk-algoritm-ta-priklad-na-python (дата звернення 28.04.2024).
Нельсон Д. Що таке градієнтний спуск? UniteAI. Серпень 23, 2020. URL: https://www.unite.ai/uk/what-is-gradient-descent/ (дата звернення 28.04.2024).
Лекції з дисципліни «Обчислювальна математика та програмування» для студентів денної та заочної форм навчання напряму підготовки 6.051301 «Хімічна технологія» / укл. Г. М. Дмитрієнко. Східноукраїнський національний університет імені Володимира Даля, 2010. 88 с.
