МОДЕЛЮВАННЯ ТА ОПТИМІЗАЦІЯ ДИНАМІЧНОГО КОНТРОЛЮ В СТОХАСТИЧНИХ СИСТЕМАХ НА ОСНОВІ МАШИННОГО НАВЧАННЯ

Анотація

Розглядається проблема оптимізації функціонування в’їзної групи контейнерного термінала, що функціонує в умовах стохастичної невизначеності транспортних потоків, спричиненої глобальними логістичними тенденціями і випадковими зовнішніми факторами. Актуальність обраного напряму зумовлена необхідністю скорочення часу очікування вантажівок, мінімізації операційних видатків та нівелювання негативного екологічного впливу від надлишкової емісії під час простою транспорту в чергах. Вочевидь, просте розширення фізичної інфраструктури часто є економічно недоцільним. Пропонується перехід до інтелектуальної гібридної моделі динамічного управління, яка базується на парадигмі навчання з підкріпленням (RL – Reinforcement Learning), що дозволяє системі адаптивно регулювати кількість активних каналів обслуговування. В основу розробленої моделі покладено марковський процес прийняття рішень. Для адекватного відтворення реальної динаміки прибуття вантажівок застосовано Пуассонівський розподіл. В’їзна група представлена через дискретну апроксимацію класичної моделі масового обслуговування. Використання Q-learning забезпечує знаходження оптимальної політики керування навіть за умов відсутності вичерпної апріорної інформації, дозволяючи агенту «навчатися» безпосередньо в ході взаємодії з середовищем. У дослідженні проілюстровано еволюцію навчання агента та підтверджено його збіжність до теоретично обґрунтованої оптимальної стратегії. Результати моделювання свідчать, що впровадження методів RL сприяє ефективному згладжуванню пікових навантажень, суттєвому скороченню довжини черг та загальному зростанню пропускної здатності термінала. Розглянуто можливості масштабування моделі через інтеграцію глибоких нейронних мереж, що дозволяє оперувати великими масивами даних та складними просторами станів. Рівняння Гамільтона– Якобі–Беллмана, яке визначає межі оптимальності в задачах неперервного керування, є теоретичною верифікацією отриманих стратегій. Запропонований підхід має практичну значущість для розвитку логістичних систем, оскільки дозволяє інтегрувати гібридні інтелектуальні алгоритми в управління інфраструктурою та забезпечує оптимізацію економічних показників.