Актуальність теми. Виявлення дефектів завжди було і буде актуальною задачею. Несвоєчасне і недостатньо достовірне виявлення дефектів може призвести до незадоволення користувачів, втрати доходу, збільшення витрат, загрози безпеці та впливу на конкурентоспроможність організації. Поверхневі дефекти металевих виробів, такі як тріщини, плями, вм'ятини, корозія тощо, можуть негативно впливати на якість та міцність виробів. Розробка та застосування удосконалених алгоритмів сегментації дозволить вчасно виявляти потенційно небезпечні дефекти та приймати відповідні заходи для їх усунення, забезпечуючи безпеку та надійність виробів. Сегментація зображень поверхневих дефектів металевих виробів може бути використана для автоматизації процесу контролю якості виробництва. Автоматизована система виявлення дефектів дозволить зменшити залежність від роботи людини та підвищити швидкість та достовірність виявлення дефектів, що позитивно вплине на ефективність виробництва та знизить витрати. Для цього перспективно використовувати методи машинного навчання.

Мета роботи: автоматизація процесу сегментації зображень поверхневих дефектів металевих виробів отриманих в ході візуально-оптичної дефектоскопії із застосуванням нейромережевих технологій.

Для реалізації мети необхідно виконати наступні завдання:
1. Проаналізувати сучасний стан розвитку методів виявлення поверхневих дефектів виробів із металу та визначити основні проблеми візуальної дефектоскопії. Визначити напрямки їх удосконалення.
2. Проаналізувати існуючі методи сегментації зображень з розпізнаванням дефектів на зображеннях. Обґрунтувати використання нейронних мереж для покращення якості детектування дефектів та вибрати необхідний тип мережі.
3. Розробити алгоритмічне та програмне забезпечення.
4. Провести тестування на реальних даних та отримати кількісні оцінки якості роботи системи.
5. Проаналізувати роботу системи з використанням різних бекбонів та різних порогів бінаризації масок.

Об’єкт дослідження: процес візуально-оптичної дефектоскопії виробів із металу.
Предмет дослідження: методи автоматизованого виявлення дефектів металу з використанням нейронних мереж.

Наукова новизна: Удосконалено алгоритми сегментації зображень поверхневих дефектів металевих виробів шляхом використання новітніх моделей нейронних мереж з глибинним навчанням, що дозволило підвищити достовірність автоматизованого виявлення дефектів.

Практична цінність: розроблено програмне забезпечення для автоматизованої сегментації дефектів та програмні алгоритми, які дозволяють автоматизувати цей процес та підвищити достовірність. Розроблено рекомендації щодо вибору бекбонів та порогів бінаризації масок.

Керівник: проф., д.п.н., проф. Протасов А.Г.; ст. викладач, PhD. Момот А.С.

Повний текст дисертації (.pdf)

Повний перелік магістерських дисертацій

Перелік літературних посилань

[1] Сторожик Д. В. Технології опрацювання зображень на основі комплексування даних (Огляд) / Д.В. Сторожик, А.Г. Протасов // Технічна діагностика та неруйнівний контроль. – 2022. – № 4. – С. 17–26.
[2] Петрик, В. Ф. Бездротові технології в автоматизації неруйнівного контролю / В. Ф. Петрик, А. Г. Протасов, Р. М. Галаган, О. В. Муравйов, А. С. Момот // Вчені записки ТНУ імені В. І. Вернадського. Серія: технічні науки. – 2021. – Том 32 (71), № 5. – C. 25-29.
[3] Application of YOLOX deep learning model for automated object detection on thermograms / I. O. Skladchykov [та ін.] // Information extraction and processing. – 2022. – № 50. – С. 69–77.

[4] Єрмоленко В. А. Глобалізація і безпека розвитку : навч. посіб. / В. А. Єрмоленко. – Черкаси : Вертикаль, 2012. – 336 с.
[5] A review of non-destructive testing (NDT) techniques for defect detection: application to fusion welding and future wire arc additive manufacturing processes / Masoud Shaloo [та ін.] // Materials. – 2022. – Том. 15, № 10. – С. 3697.
[6] Живкович А. В. Современные технологии бесконтактного измерения температуры / А. В. Живкович, А. В. Муравьёв // Материалы XVI Международной научно-практической конференции «Динамика научных исследований - 2020», 07-15 июля 2020, Пшемысль, Польша. – Przemyśl : Nauka i studia, 2020. – Том. 7. – С. 110-115.
[7] Кучеренко О. К. Ахроматизація та атермалізація об'єктивів інфрачервоної техніки / О. К. Кучеренко, О. В. Муравйов, В. М. Тягур // Наукові вісті НТУУ «КПІ». – 2012. – вип. №5. – С. 114-117.
[8] Муравьёв А. В. Композиции атермализованных трехкомпонентных инфракрасных объективов / А. В. Муравьёв, О. К. Кучеренко // Наука и техника. – 2015. – № 4. – С. 32-37.
[9] Mazur I. Quality Control system for a hot-rolled metal surface / I. Mazur, T. Koinov // Frattura ed integrità strutturale. – 2016. – Том. 10, № 37. – С. 287–296.
[10] Detection of surface defects on sheet metal parts by using one-shot deflectometry in the infrared range / Zoltán Sárosi [та ін.] // Inframation 2010 : IWF, ETH Zurich. – [S. l.], 2010.
[11] Sun Q. Detection of surface defects on steel strips based on singular value decomposition of digital image / Qianlai Sun, Jianghui Cai, Zhiyi Sun //Mathematical problems in engineering. – 2016. – С. 1–12.
[12] Automated visual inspection of rolled metal surfaces / Timo Piironen [та ін.] //Machine vision and applications. – 1990. – № 3. – С. 247–254.
[13] Segmentation of rust defects on painted steel surfaces by intelligent image analysis [Електронний ресурс] / Roman Vorobel [та ін.] // Automation in construction. – 2021. – № 123. – С. 103515.
[14] Localization and segmentation of metal cracks using deep learning [Електронний ресурс] / Yasir Aslam [та ін.] // Journal of ambient intelligence and humanized computing. – 2020.
[15] Sharma M. The Amalgamation of the Object Detection and Semantic Segmentation for Steel Surface Defect Detection [Електронний ресурс] /Mansi Sharma, Jongtae Lim, Hansung Lee // Applied Sciences. – 2022. – Том. 12, № 12. – С. 6004.
[16] Neogi N. Review of vision-based steel surface inspection systems [Електронний ресурс] / Nirbhar Neogi, Dusmanta K. Mohanta, Pranab K. Dutta // EURASIP journal on image and video processing. – 2014. – № 1.
[17] Steger C. Machine vision algorithms and applications / Carsten Steger, Markus Ulrich, Christian Wiedemann. – [S. l.] : Wiley & Sons, Incorporated, John, 2017. – 516 p.
[18] Hornberg A. Handbook of machine and computer vision: the guide for developers and users / Alexander Hornberg. – [S. l.] : Wiley & Sons, Limited, John, 2017. – 860 p.
[19] Deep-Learning-Based small surface defect detection via an exaggerated local variation-based generative adversarial network [Електронний ресурс] / Jian Lian [та ін.] // IEEE transactions on industrial informatics. – 2020. – Том. 16, № 2. – С. 1343–1351.
[20] Improved Sobel algorithm for defect detection of rail surfaces with enhanced efficiency and accuracy [Електронний ресурс] / Tian Shi [та ін.] // Journal of central south university. – 2016. – Том. 23, № 11. – С. 2867–2875.
[21] Lin H.-I. Image data assessment approach for deep learning-based metal surface defect-detection systems [Електронний ресурс] / Hsien-I. Lin, Fauzy Satrio Wibowo // IEEE access. – 2021. – № 9. – С. 47621–47638.
[22] Shreya S. R. Design of machine vision system for high speed manufacturing environments [Електронний ресурс] / S. R. Shreya, C. Sahiti Priya, G. S. Rajeshware // 2016 IEEE annual india conference (INDICON), Bangalore, India, 16–18 December 2016. – [S. l.], 2016.
[23] Long J. Fully convolutional networks for semantic segmentation [Електронний ресурс] / Jonathan Long, Evan Shelhamer, Trevor Darrell // 2015 IEEE conference on computer vision and pattern recognition (CVPR), Boston, MA, USA, 7–12 June 2015. – [S. l.], 2015.
[24] DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs [Електронний ресурс] / Liang-Chieh Chen [та ін.] // IEEE transactions on pattern analysis and machine intelligence.
– 2018. – Том. 40, № 4. – С. 834–848.
[25] Chaurasia A. LinkNet: exploiting encoder representations for efficient semantic segmentation [Електронний ресурс] / Abhishek Chaurasia, Eugenio Culurciello // 2017 IEEE visual communications and image processing (VCIP), St. Petersburg, FL, 10–13 December 2017. – [S. l.], 2017.
[26] Ronneberger O. U-Net: convolutional networks for biomedical image segmentation [Електронний ресурс] / Olaf Ronneberger, Philipp Fischer, Thomas Brox // Lecture notes in computer science. – Cham, 2015. – С. 234–241.
[27] Стешенко Я.В. Огляд ефективності архітектур нейронних мереж для автоматизованої сегментації зображень / Стешенко Я.В., Момот А.С. // Ефективність та автоматизація інженерних рішень у приладобудуванні. – 2022. – № 18. – С. 226-229.
[28] Esophagus segmentation in computed tomography images using a u-net neural network with a semiautomatic labeling method [Електронний ресурс] / Xiao Lou [та ін.] // IEEE access. – 2020. – № 8. – С. 202459–202468.
[29] Сторожик Д. В. Комплексування мультиспектральних зображень, як метод підвищення їх інформативності при бінарній сегментації / Д. В. Сторожик, О. В. Муравйов, А. Г. Протасов, В. Г. Баженов, Г. А. Богдан //Наукові вісті КПІ. – 2020. № 2. – С. 82-87.
[30] UNet++: a nested u-net architecture for medical image segmentation [Електронний ресурс] / Zongwei Zhou [та ін.] // Deep learning in medical image analysis and multimodal learning for clinical decision support. – Cham, 2018. – С. 3–11.
[31] DoubleU-Net: a deep convolutional neural network for medical image segmentation [Електронний ресурс] / Debesh Jha [та ін.] // 2020 IEEE 33rd international symposium on computer-based medical systems (CBMS), Rochester, MN, USA, 28–30 July 2020. – [S. l.], 2020.
[32] Hu J. Squeeze-and-Excitation networks [Електронний ресурс] / Jie Hu, Li Shen, Gang Sun // 2018 IEEE/CVF conference on computer vision and pattern recognition (CVPR), Salt Lake City, UT, 18–23 June 2018. – [S. l.], 2018.
[33] Ibtehaz N. MultiResUNet : Rethinking the U-Net architecture for multimodal biomedical image segmentation [Електронний ресурс] / Nabil Ibtehaz, M. Sohel Rahman // Neural networks. – 2020. – № 121. – С. 74–87.
[34] LeCun Y. Deep learning [Електронний ресурс] / Yann LeCun, Yoshua Bengio, Geoffrey Hinton // Nature. – 2015. – Том. 521, № 7553. – С. 436–444.
[35] Efficient and visualizable convolutional neural networks for COVID-19 classification using Chest CT [Електронний ресурс] / Aksh Garg [та ін.] //Expert systems with applications. – 2022. – № 195. – С. 116540.
[36] Densely connected convolutional networks [Електронний ресурс] / Gao Huang [та ін.] // 2017 IEEE conference on computer vision and pattern recognition (CVPR), Honolulu, HI, 21–26 July 2017. – [S. l.], 2017.
[37] Semi-CNN architecture for effective spatio-temporal learning in action recognition [Електронний ресурс] / Mei Chee Leong [та ін.] // Applied sciences. – 2020. – Том. 10, № 2. – С. 557.
[38] Deep residual learning for image recognition [Електронний ресурс] / Kaiming He [та ін.] // 2016 IEEE conference on computer vision and pattern recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016. – [S. l.], 2016.
[39] Joseph F. J. J. Keras and TensorFlow: A Hands-On Experience [Електронний ресурс] / Ferdin Joe John Joseph, Sarayut Nonsiri, Annop Monsakul //Advanced deep learning for engineers and scientists. – Cham, 2021. – С. 85–111.
[40] Ketkar N. Introduction to keras [Електронний ресурс] / Nikhil Ketkar // Deep learning with python. – Berkeley, CA, 2017. – С. 97–111.
[41] Momot A. Deep learning automated data analysis of security infrared cameras /
A. Momot, I. Skladchykov // Slovak international scientific journal. – 2021. –№52. – pp. 13–16.
[42] Momot A. Automation of ultrasound breast cancer images classification using deep neural networks / A. Momot, R. Galagan, M. Zaboluieva // Sciences of Europe. – 2022. – №96. – pp. 38–41.
[43] Severstal: steel defect detection | kaggle [Електронний ресурс] // Kaggle: Your Machine Learning and Data Science Community. – Режим доступу: https://www.kaggle.com/competitions/severstal-steel-defect-detection/data
[44] Haibo He. Learning from imbalanced data [Електронний ресурс] / Haibo He, E. A. Garcia // IEEE transactions on knowledge and data engineering. – 2009. –Том. 21, № 9. – С. 1263–1284.
[45] Semantic segmentation deep learning for extracting surface mine extents from historic topographic maps [Електронний ресурс] / Aaron E. Maxwell [та ін.] //Remote sensing. – 2020. – Том. 12, № 24. – С. 4145.
[46] Haibo He. Learning from imbalanced data [Електронний ресурс] / Haibo He, E. A. Garcia // IEEE transactions on knowledge and data engineering. – 2009. – Том. 21, № 9. – С. 1263–1284.
[47] Data-Efficient domain adaptation for semantic segmentation of aerial imagery using generative adversarial networks [Електронний ресурс] / Bilel Benjdira [та ін.] // Applied sciences. – 2020. – Том. 10, № 3. – С. 1092.
[48] Муравйов О. В. Автоматизація методу термографічної діагностики патологій організму людини / О. В. Муравйов, В. Ф. Петрик, Ю. Ю. Лисенко, Г. А. Богдан, А. В. Наконечная // Таврійський науковий вісник. Серія: Технічні науки. – 2022. – №1. – С. 47-53.
[49] Розроблення стартап-проекту [Електронний ресурс] : Методичні рекомендації до виконання розділу магістерських дисертацій для студентів інженерних спеціальностей / За заг. ред. О.А. Гавриша. – Київ : НТУУ «КПІ», 2016. – 28 с.
[50] Гавриш, О. А. Розробка стартап-проектів. Конспект лекцій [Електронний ресурс] : навчальний посібник для студентів спеціальностей 151 – «Автоматизація та комп’ютерно-інтегровані технології» та 152 – «Метрологія та інформаційно-вимірювальна техніка» / О. А. Гавриш, К. О. Бояринова, К. О. Копішинська ; КПІ ім. Ігоря Сікорського. – Електронні 95 текстові данні (1 файл: 2,88 Мбайт). – Київ : КПІ ім. Ігоря Сікорського, 2019. – 188 с. – Назва з екрана.
[51] Галаган Р.М. Тестування нейромережевих модулів системи теплової дефектометрії за допомогою імітаційного моделювання / [Р. М. Галаган, А. С. Момот, А. Г. Протасов та ін.]. // Вчені записки ТНУ імені В.І. Вернадського. Серія: Технічні науки. – 2022. – №6. – с. 49–55.
[52] Гавриш, О. А. Розробка стартап-проектів: практикум: навчальний посібник для студентів спеціальностей 151 – «Автоматизація та комп’ютерно-інтегровані технології» та 152 – «Метрологія та інформаційно-вимірювальна техніка» / О. А. Гавриш, К. О. Бояринова, К. О. Копішинська ; КПІ ім. Ігоря Сікорського. – Електронні текстові данні (1 файл: 2,11 Мбайт). – Київ : КПІ ім. Ігоря Сікорського, 2019. – 116 с.