Методологічні проблеми виявлення викидів у метрології з використанням моделей машинного навчання
DOI:
https://doi.org/10.24027/2306-7039.3.2025.340615Ключові слова:
метрологія; стандартна невизначеність; машинне навчання; викиди; аномалії; обробка результатів вимірюваньАнотація
У статті розглядаються проблеми, пов’язані із застосуванням моделей машинного навчання для виявлення викидів у метрологічних вибірках. Попри здатність таких моделей ідентифікувати складні відхилення у структурі вибірки без необхідності попередніх статистичних припущень, вони не забезпечують нормативно обґрунтованих критеріїв оцінки достовірності прийнятих рішень. Зокрема, відсутні інтерпретовані показники довіри, метрологічна простежуваність і формалізовані порогові значення, які б дозволяли однозначно визначити, чи є те чи інше значення справжнім викидом. Одним із запропонованих рішень є оцінка впливу виключення аномальних значень, виявлених за допомогою моделі Isolation Forest, на стандартну невизначеність типу А за умови збереження початкового обсягу вибірки шляхом повторних вимірювань. Такий підхід було апробовано на основі реальних результатів вимірювань витрати рідини з використанням коріолісових витратомірів різних діаметрів. Отримані результати підтвердили ефективність підходу в тих випадках, коли видалення значень, що спотворювали результат, призводило до суттєвого зменшення варіативності вимірювань. Водночас було виявлено низку обмежень, зокрема чутливість моделі до малих вибірок, практичну неможливість проведення повторних вимірювань у багатьох реальних ситуаціях і відсутність об’єктивного критерію, який би визначав “суттєвість” зменшення невизначеності. Зазначені результати підкреслюють необхідність подальших досліджень щодо формалізації критеріїв довіри при виявленні аномалій у метрології, особливо в контексті відповідності міжнародним стандартам, таким як ISO/IEC 17025.
Попри зазначені обмеження, застосування моделей машинного навчання відкриває нові можливості для автоматизації аналізу метрологічних даних і вказує на потребу у створенні узгоджених підходів до інтеграції таких рішень у нормативне середовище.
Посилання
DSTU GOST ISO 5725-1:2005. Accuracy (trueness and precision) of measurement methods and results. Part 1. General principles and definitions (GOST ISO 5725-1-2003, IDT) (in Ukrainian).
Ashchepkov V., Byallovych D., Skliarov V. Vplyv porogovykh znachen na standartnu nevyznachenist typu A pry vymiryuvannyakh masovoyi vytraty ridyny [The influence of threshold values on Type A standard uncertainty in mass flow rate measurements for liquids]. Ukrainian Metrological Journal, 2024, no. 3 (in Ukrainian). doi: https://doi.org/10.24027/2306-7039.3.2024.312469
Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey. ACM Computing Surveys, 2009, vol. 41, issue 3, pp. 1–58. doi: https://doi.org/10.1145/1541880.1541882
Aggarwal C.C. Outlier Analysis. 2nd ed. Springer, 2017. 446 p. doi: https://doi.org/10.1007/978-3-319-47578-3
Breunig M.M., Kriegel H.-P., Ng R.T., Sander J. LOF: Identifying density-based local outliers. ACM SIGMOD Record, 2000, vol. 29, issue 2, pp. 93–104. doi: https://doi.org/10.1145/335191.335388
Schölkopf B., Platt J., Shawe-Taylor J., Smola A.J., Williamson R.C. Estimating the Support of a High-Dimensional Distribution. Neural Computation, 2001, no 13 (7), pp. 1443–1471. doi: https://doi.org/10.1162/089976601750264965
Ruff L., Vandermeulen R.A., Görnitz N., Deecke L. et al. Deep One-Class Classification. Proceedings of the 35th International Conference on Machine Learning (ICML), 2018, vol. 80, pp. 4393–4402.
Liu F.T., Ting K.M., Zhou Z.-H. Isolation Forest. Proceedings of the IEEE International Conference on Data Mining (ICDM), 2008, pp. 413–422. doi: https://doi.org/10.1109/ICDM.2008.17
Hinton G.E., Salakhutdinov R.R. Reducing the Dimensionality of Data with Neural Networks. Science, 2006, vol. 313, no. 5786, pp. 504–507. doi: https://doi.org/10.1126/science.1127647
Ahmed M., Mahmood A.N., Hu J. A survey of network anomaly detection techniques. Journal of Network and Computer Applications, 2016, vol. 60, pp. 19–31. doi: https://doi.org/10.1016/j.jnca.2015.11.016
DSTU EN ISO/IEC 17025:2019. General requirements for the competence of testing and calibration laboratories (EN ISO/IEC 17025:2017, IDT; ISO/IEC 17025:2017, IDT) (in Ukrainian).
Ashchepkov V.O. Vykorystannya modeli Isolation Forest dlya vyyavlennya anomaliy u danykh vymiryuvan [The use of the Isolation Forest model for anomaly detection in measurement data]. Innovative technologies and scientific solutions for industries, 2024, no. 1(27), pp. 98–113 (in Ukrainian). doi: https://doi.org/10.30837/ITSSI.2024.27.236
##submission.downloads##
Опубліковано
Версії
- 2025-10-03 (2)
- 2025-09-30 (1)
Номер
Розділ
Ліцензія
ПОЛІТИКА, ЯКА РЕКОМЕНДУЄТЬСЯ ЖУРНАЛАМ, ЩО ПРОПОНУЮТЬ ВІДКРИТИЙ ДОСТУП З ЗАТРИМКОЮ
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи, яка через 12 місяців з дати публікації автоматично стає доступною на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
