МЕТОД ФОРМУВАННЯ ГРУП A/B-ТЕСТІВ ІЗ МІНІМАЛЬНИМ ВЗАЄМНИМ ВПЛИВОМ ІЗ ЗАСТОСУВАННЯМ АЛГОРИТМУ СТОЕРА–ВАГНЕРА
Анотація
У статті розглядаються сучасні методи формування експериментальних груп для A/B-тестів у цифрових продуктах з урахуванням мінімізації взаємного впливу між учасниками та запобігання spillover-ефектам. Проблема неконтрольованої взаємодії користувачів стає особливо актуальною в умовах масштабних соціальних платформ і висококонективних графів, де поведінка одного індивіда може непрямо впливати на поведінку інших, спотворюючи результати експерименту та знижуючи достовірність висновків. У статті здійснено огляд ключових підходів, що застосовуються у практиці A/B-тестування, включно з кластерною рандомізацією, географічними експериментами та методами стабілізації оцінок у мережевих структурах. Додатково проаналізовано практичні рішення, які використовують Meta та Google для зменшення міжкористувацьких перетинів та покращення чистоти експериментів, зокрема формування стійких кластерів взаємодії та застосування багаторівневого рандомізаційного дизайну. У роботі запропоновано метод, що ґрунтується на поданні користувачів як графа взаємодій та подальшому формуванні експериментальних груп на основі знаходження мінімального розрізу. Для обчислення оптимального розбиття використано алгоритм Стоера–Вагнера, який забезпечує глобально мінімальний розріз неорієнтованого графа та дозволяє автоматично визначати групи з найменшим можливим міжгруповим впливом. Такий підхід природно відображає реальну структуру соціальних взаємодій і придатний для застосування в системах із мільйонами користувачів. Наведено приклади ваг ребер взаємодій та інтерпретації отриманих кластерів у контексті оцінки spillover-ефектів. Запропонований метод поєднує строгий математичний апарат і практичну релевантність, узгоджуючись із сучасними індустріальними практиками провідних технологічних компаній та забезпечуючи підвищення точності й надійності A/B-експериментів у мережевих середовищах.
Посилання
2. Holmström Olsson H. Experimentation that Matters: A Multi-case Study on the Challenges with A/B Testing. Holmström Olsson H., Bosch J., Fabijan A. 2017. URL: https://link.springer.com/chapter/ 10.1007/978-3-319-69191-6_12
3. Vaver J. Measuring Ad Effectiveness Using Geo Experiments. Vaver J., Koehler J. Google. URL: https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/38355.pdf
4. Kerman J. Estimating Ad Effectiveness using Geo Experiments in a Time-Based Regression Framework. Kerman J., Wang P., Vaver J. Google. URL: https://static.googleusercontent.com/media/research.google.com/en// pubs/archive/45950.pdf
5. Karrer B. Network experimentation at scale. Karrer B., Shi L., Bhole M., Goldman M., Palmer T., Gelman C., Konutgan M., Sun F. Cornell University, 2020. URL: https://arxiv.org/abs/2012.08591
6. Karypis G. A Fast and High Quality Multilevel Scheme for Partitioning Irregular Graphs. Karypis G., Kumar V. SIAM Journal on Scientific Computing. 1998. Т. 20, № 1. С. 359–392. https://doi.org/10.1137/ S1064827595287997
7. Blondel V. D. Fast Unfolding of Communities in Large Networks. Blondel, V. D., & Guillaume, J. L. Journal of Statistical Mechanics. 2008. Режим https://doi.org/10.1088/1742-5468/2008/10/P10008
8. How Meta tests products with strong network effects. URL: https://medium.com/%40AnalyticsAtMeta/ how-meta-tests-products-with-strong-network-effects-96003a056c2c.
9. Testing Product Changes with Network Effects. URL: https://research.facebook.com/blog/2021/8/testing- product-changes-with-network-effects
10. Stoer M. A simple min-cut algorithm. / Stoer M., Wagner F. Journal of the ACM. 1997. Т. 44, № 4. С. 585–591. https://doi.org/10.1145/263867.263872
ISSN 



