Обучение искусственных нейронных сетей с подкреплением

Автоматика, связь, информатика. 2024. № 10. С. 18–21

Automation, communications, informatics. 2024. № 10. Р. 18–21

ЦИФРОВЫЕ ТЕХНОЛОГИИ

Научная статья

УДК 004.7: 656.21(07)+06

DOI: 10.62994/AT.2024.11.11.003

Обучение искусственных нейронных сетей с подкреплением

Булавин Юрий Павлович¹, Игнатьева Олеся Владимировна²

¹Ростовский государственный университет путей сообщения, доцент, канд. техн. наук, г. Ростов-на-Дону, Россия,

²Ростовский государственный университет путей сообщения, заведующий кафедрой, доцент, канд. техн. наук, г. Ростов-на-Дону, Россия,

Аннотация. Представленные в статье исследования направлены на разработку системы управления процессом пропуска поездов по железнодорожному участку с применением искусственных нейронных сетей (ИНС). Рассматривается постановка задачи, выбор архитектуры и способ обучения нейронной сети, а также результаты обучения с подкреплением нескольких вариантов ИНС.

Ключевые слова: нейронная сеть, обучение с подкреплением, классификация, модель, станция, архитектура, признаки, управление

Для цитирования: Булавин Ю.П., Игнатьева О.В. Обучение искусственных нейронных сетей с подкреплением // Автоматика, связь, информатика. 2024. № 11. С. 18–21. DOI: 10.62994/AT.2024.11.11.003

DIGITAL TECHNOLOGIES

Original article

Reinforcement training in the task of managing the passage

of trains through the site

Yuri P. Bulavin¹, Olesya V. Ignatieva²

¹Rostov State Transport University (RSTU), associate professor, PhD in Engineering sciences, Rostov-on-Don, Russia, i@ibulavin.ru, SPIN-код: 5233-0901

²Rostov State Transport University (RSTU), head of department, associate professor, PhD in Engineering sciences, Rostov-on-Don, Russia, lesjaignateva@rambler.ru, SPIN-код: 9321-1520

Abstract. The aim of this work is to solve problems associated with de-veloping a neural network-based control system for train traffic on railway sections. The paper considers the training problem formulation, the choice of ANN architecture, and the training method. Reinforcement learning of various ANN models has been implemented.

Keywords: neural network, train traffic control, railway, reinforcement learning, ANN architecture, control system, transportation

For citation: Bulavin Yu.P., Ignatieva O.V. Reinforcement training in the task of managing the passage of trains through the site // Automation, communications, informatics. 2024. № 11. P. 18–21. DOI: 10.62994/AT.2024.11.11.003

Список источников

1. Матюхин В.Г., Уманский В.И., Шабунин А.Б. О текущем состоянии проекта ИСУЖТ и реализации технологии интервального регулирования на его платформе // Интеллектуальные системы управления на железнодорожном транспорте. Компьютерное и математическое моделирование (ИСУЖТ-2019) : труды восьмой научно-технической конференции. М.: НИИАС, 2019. С. 3–7.

2. Бочков А.В. О некоторых актуальных задачах и направлениях научно-технологического развития АО “НИИАС”. Июнь-декабрь 2023 г. // Наука и технологии железных дорог. 2023. Т. 7, № 4 (28). С. 3–17.

3. Российские разработчики научили нейросеть оптимизировать ж/д движение // РИА-Новости : портал. 2022. 21 мая.. URL: https://ria.ru/20220521/neyroset-1789873044.html?ysclid=luzil0d02j24939321.

4. РЖД доверила управление расписанием поездов искусственному интеллекту // 3D News : портал. 2023. 19 янв. URL: https://3dnews.ru/1080514/rgd-doverila-upravlenie-marshrutami-poezdov-iskusstvennomu-intellektu?ysclid=luzioif3dl16270280.

5. Особенности построения методики деловых игр на виртуальной железной дороге, при взаимодействии персонала дирекции управления движением и тяги / В.Д. Верескун, Д.В. Романова, Д.Е. Притыкин, Н.Н.. Мусиенко // Вестник Ростовского государственного университета путей сообщения. 2021. № 4 (84). С. 83–90.

6. Принципы имитационного моделирования реального участка железной дороги с точки зрения разработки его топологической структуры и ее связи с цифровыми моделями объектов инфраструктуры / В.Д. Верескун, Д.Е. Притыкин, Б.Д. Даглдиян, Д.В. Романова // Вестник Ростовского государственного университета путей сообщения. 2022. № 4 (88). С. 177–183.

7. Разработка подсистемы имитации движения поездов в режиме исполнения нормативного графика движения в рамках учебно-лабораторного комплекса “Виртуальная железная дорога” / В.Д. Верескун, Д.Е. Притыкин, Б.Д. Даглдиян, А.В. Решетов, А.В. Мищенко // Вестник Ростовского государственного университета путей сообщения. 2023. № 2 (90). С. 231–239.

8. An overview of agent-based traffic simulators / J. Nguyen, S.T. Powers, N. Urquhart,  Th. Farenkopf, M. Guckert // Transportation research interdisciplinary perspectives. 2021. Vol. 12. N 12. 100486. DOI: https://doi.org/ 10.1016/ j.trip. 2021.100486.

9. Asynchronous methods for deep reinforcement learning / Mnih, V., Badia, A. P., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver D., Kavukcuoglu, K. // ICML’16 : Proceedings of the 33rd International Conference on International Conference on Machine Learning. 2016. Vol. 48. P. 1928-1937.

10. Stable-Baselines 3: reliable reinforcement learning implementations / Raffin, A., Hill, A., Gleave, A., Kanervisto, A., Ernestus, M., Dormann, N. // Journal of machine learning research. 2021. Vol. 22 (268). P. 1–8.

© Москва «Автоматика, связь, информатика» 2024