Уважаемые коллеги!

Математический центр в Академгородке приглашает вас принять участие  в работе интернет-семинара

"Актуальные проблемы прикладной математики".
Руководители:  И.А. Тайманов, С.И. Кабанихин, А.Е. Миронов, М.А. Шишленин.

11.06.2021, 17:00 по новосибирскому времени (13:00 мск)

Стохастический градиентный спуск и анализ данных

Докладчик А.В. Гасников, Московский физико-технический институт, Институт проблем передачи информации им. А.А. Харкевича РАН

Один из самых популярных сюжетов на стыке анализа данных и оптимизации в последнее время - это как обучать глубокие нейронные сети. Математически задача сводится к задаче стохастической оптимизации, которая, в свою очередь, с помощью метода Монте Карло сводится к задаче минимизации суммы большого числа функций. Важно отметить, что похожий сюжет присущ в целом почти всем задачам, приходящим из анализа данных. Почти все задачи анализа данных (машинного обучения) сводятся к задачам оптимизации, а точнее стохастической оптимизации. В математической статистике с известным вероятностным законом (но неизвестными параметрами), а в машинном обучении - с неизвестным вероятностным законом. Одним из наиболее популярных способов решения таких оптимизационных задач и их вариантов, полученных с помощью метода Монте-Карло, является метод стохастического градиентного спуска и его вариации. Методы был известен еще в 50-е годы прошлого века. Однако по-настоящему значимость этого метода была оценена в последние двадцать лет в связи с отмеченными приложениями. В данном докладе планируется сделать небольшой обзор развития указанного направления в последнее время (адаптивный выбор шага, размера батча, федеративное обучение и т.д.).

 

Страница семинара: www.mca.nsu.ru/apam

(https://www.nsu.ru/n/mca/researchgroups/nauchno-obrazovatelnye-seminary/)

Секретарь семинара: Н.М. Прохошин (n.prokhoshin@g.nsu.ru)

Ссылка на Zoom https://us02web.zoom.us/j/89776462466?pwd=WFBrZFJDTDdzNUtUN1VEeFhHREpmQT09
Идентификатор конференции: 897 7646 2466
Код доступа: 549526