ІНТЕЛЕКТУАЛЬНЕ БАЛАНСУВАННЯ НАВАНТАЖЕННЯ В МІКРОСЕРВІСНІЙ АРХІТЕКТУРІ

Анотація

У статті запропоновано інтелектуальний метод балансування навантаження в мікросервісних архітектурах, що поєднує паралельну маршрутизацію запитів (hedging) із багаторуким бандитом на основі вибірки Томпсона (Thompson Sampling MAB). Мета підходу – подолати «хвостові» затримки (tail latency) та змінність продуктивності, які не усуваються традиційними політиками (Round Robin, Least Connections) за неоднорідних і вибухових навантажень. Архітектура складається зі шлюзу API на базі YARP, що виконує зважене дублювання запитів, AI-балансувальника (FastAPI), який навчає ймовірності маршрутизації за поточною телеметрією, та моніторингового стеку Prometheus–Grafana, що забезпечує безперервний зворотний зв’язок для адаптації. Спостережувані метрики (перцентилі затримки, частка помилок) перетворюються на «нагороду», якою оновлюються апостеріорні розподіли для кожної репліки за Thompson Sampling, завдяки чому система збалансовує «дослідження ↔ експлуатацію» та уникає фіксації на тимчасово швидких, але нестабільних вузлах. Проведено оцінювання чотирьох стратегій: статичний round-robin (k=1), статичний hedging (k=2), адаптивний hedging з MAB (k=2) та адаптивний hedging з MAB (k=3). За умов до 1000 паралельних клієнтів адаптивний hedging з Thompson Sampling зменшив P99 приблизно на 65% і частку помилок – на ≈45% порівняно з базовим варіантом, не знижуючи пропускну здатність і лише помірно підвищуючи використання CPU. Збільшення k понад 2 дає мінімальний додатковий ефект, що підтверджує доцільність «малого k» за наявності ймовірнісних ваг і гарантій ідемпотентності. Результати демонструють, що поєднання спекулятивного дублювання та баєсівського прийняття рішень є легким і хмароорієнтованим шляхом до стійкої до «хвостів» продуктивності. Рішення є модульним і відтворюваним, придатним до розгортання в Kubernetes, а також до IoT/кіберфізичних сценаріїв, де потрібні адаптивна координація та висока надійність у реальному часі.