Событийно-ориентированная модель в обучении с подкреплением

Автоматика, связь, информатика. 2026. № 2. С. 26–29

Automation, communications, informatics. 2026. № 1. Р. 26–29

ЦИФРОВЫЕ ТЕХНОЛОГИИ

Научная статья

УДК 004.7: 656.21(07) + 06

DOI: 10.62994/AT.2026.2.2.006

Событийно-ориентированная модель в обучении с подкреплением

БУЛАВИН Юрий Павлович¹, ИГНАТЬЕВА Олеся Владимировна²

¹Ростовский государственный университет путей сообщения, доцент, канд. техн. наук, г. Ростов-на-Дону, Россия, i@ibulavin.ru

²Ростовский государственный университет путей сообщения, заведующий кафедрой «Вычислительная техника и автоматизированные системы управления», доцент, канд. техн. наук,

г. Ростов-на-Дону, Россия, lesjaignateva@rambler.ru

Аннотация. В статье рассмотрен событийно-ориентированный подход к моделированию среды для обучения с подкреплением DRL-агентов диспетчерского управления на железнодорожных станциях. Предложенный подход решает проблему неэффективного исследования пространства действий, присущую моделям с синхронным временем. На основе цифровой модели реального железнодорожного участка проведено обучение DRL-агентов для станций с различной операционной сложностью. Подтверждена работоспособность модели и проанализировано влияние гиперпараметров алгоритма PPO на качество итоговой политики, что закладывает основу для создания более робастных интеллектуальных систем управления.

Ключевые слова: станция, Марковский процесс принятия решений (MDP), алгоритм PPO, искусственная нейронная сеть

Для цитирования: Булавин Ю.П., Игнатьева О.В. Событийно-ориентированная модель в обучении с подкреплением // Автоматика, связь, информатика. 2026. № 2. С. 26–29. DOI: 10.62994/AT.2026.2.2.006

DIGITAL TECHNOLOGY

Original article

Event-driven model in reinforcement learning

Yuri P. BULAVIN¹, Olesya V. IGNATIEVA²

¹Rostov State Transport University (RSTU), associate professor, PhD in Engineering sciences, Rostov-on-Don, Russia, i@ibulavin.ru, SPIN-код: 5233-0901

²Rostov State Transport University (RSTU), head of department, associate professor, PhD in Engineering sciences, Rostov-on-Don, Russia, lesjaignateva@rambler.ru, SPIN-код: 9321-1520

Abstract. This paper discusses an event-driven approach to environment modeling for training Deep Reinforcement Learning (DRL) agents for railway station dispatching. The proposed approach addresses the issue of inefficient action space exploration inherent in time-synchronous models. DRL agents were trained for stations of varying operational complexity using a digital model of a real-world railway section. The viability of the model is confirmed, and the impact of PPO algorithm hyperparameters on the quality of the resulting policy is analyzed, laying the groundwork for the development of more robust intelligent control systems.

Keywords: reinforcement learning, event-driven model, dispatching control, railway station, Markov Decision Process (MDP), PPO algorithm, artificial neural network

For citation: Bulavin Y.P., Ignatieva O.V., Event-driven model in reinforcement learning // Automation, communications, Informatics. 2026. № 2. Р. 26–29. DOI: 10.62994/AT.2026.2.2.006

Список источников

1. Булавин Ю.П., Игнатьева О.В. Обучение искусственных нейронных сетей с подкреплением // Автоматика, связь, информатика. 2024. № 11. С. 18–21. DOI: 10.62994/AT.2024.11.11.003. EDN: ORZJCD.

2. Neural network control of the transportation process in railway transport: problems and future tasks / E. Mamaev, Y.P. Bulavin, O. Ignatieva, E. Chebotareva // Proceedings of the Eighth International Scientific Conference «Intelligent Information Technologies for Industry» (IITI’24). Vol. 1. Cham: Springer Nature Switzerland, 2024. P. 91–107. DOI:10.1007/978-3-031-77688-5_10.

3. Булавин Ю.П., Игнатьева О.В. Модели нейронных сетей для управления пропуском поездов // Автоматика, связь, информатика. 2025. № 2. С. 24–26. DOI: 10.62994/AT.2025.2.2.005. EDN: WKOQGT.

4. Veres M., Moussa M. Deep learning for intelligent transportation systems : a survey of emerging trends // IEEE Transactions on Intelligent Transportation Systems. 2020. Vol. 21, № 8. P. 3152–3168. DOI: 10.1109/TITS.2019.2929020.

5. A systematic survey on big data and artificial intelligence algorithms for intelligent transportation system / S. Abirami, M. Pethuraj, M. Uthayakumar, P. Chitra // Case Studies on Transport Policy. 2024. Vol. 17, N 9. Art N. 101247. DOI: https://doi.org/10.1016/j.cstp.2024.101247.

6. A literature review of artificial intelligence applications in railway systems / Tang R. etc. / Transportation Research. Part C: Emerging Technologies. 2022. Vol. 140, N 7. Art N. 103679. DOI: https://doi.org/10.1016/j.trc.2022. 103679.

7. Верескун В.Д. и др. Особенности построения методики деловых игр на виртуальной железной дороге при взаимодействии персонала дирекции управления движением и тяги / В.Д. Верескун, Д.В. Романова, Д.Е. Притыкин, Н.Н. Мусиенко // Вестник РГУПС. 2021. № 4 (84). С. 83–90. DOI: EDN: WQWWFK.

8. Принципы имитационного моделирования реального участка железной дороги с точки зрения разработки его топологической структуры и ее связи с цифровыми моделями объектов инфраструктуры / В.Д. Верескун, Д.Е. Притыкин, Б.Д. Даглдиян, Д.В. Романова// Вестник РГУПС. 2022. № 4(88). С. 177–183. EDN: FGNKRQ.

9. Разработка подсистемы имитации движения поездов в режиме исполнения нормативного графика движения в рамках учебно-лабораторного комплекса «Виртуальная железная дорога» / В.Д. Верескун, Д.Е. Притыкин, Б.Д. Даглдиян, А.В. Решетов, А.В. Мищенко / Вестник РГУПС. 2023. № 2(90). С. 231–239. EDN: LHOMFC.

10. Elfwing S., Uchibe E., Doya K. Sigmoid-weighted linear units for neural network function approximation in reinforcement learning // Neural Networks. 2018. Vol. 107, N 11. P. 3-11. DOI: https://doi.org/10.1016/j.neunet. 2017.12.012.

11. Proximal policy optimization algorithms / J. Schulman J. etc. // arXiv:1707.06347v2. 2017. 20 Jul.

12. RLlib Flow: distributed reinforcement learning is a dataflow problem / E. Liang etc // Conference on Neural Information Processing Systems : 35th Conference on Neural Information Processing Systems (NeurIPS 2021). 2021. (Advances in Neural Information Processing Systems; Vol. 34).

© Москва «Автоматика, связь, информатика» 2026