Актуальность. В 2019 г. Правительство Москвы приняло решение о проведении масштабного научного исследования – Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения столицы (www.mosmed.ai).
Цель исследования – систематизировать первые результаты Эксперимента с позиции вовлеченности врачей-рентгенологов.
Материал и методы. Эксперимент представляет собой проспективное научное исследование, получившее одобрение Независимого этического комитета и зарегистрированное в Clinicaltrails.gov (ID NCT04489992). Пациенты подписывали информированное добровольное согласие. На момент подготовки статьи (01.10.2020) в Эксперименте принимают участие 10 сервисов, обеспечивающих автоматизированный анализ результатов лучевых исследований: компьютерная томография и рентгенография органов грудной клетки, маммография. В исследование включены количественные показатели Эксперимента с 18.06.2020 по 01.10.2020. Использованы методы социального опроса, описательной статистики, оценки метрик диагностической точности.
Результаты и обсуждение. В течение первых четырех месяцев активной фазы Эксперимента, по состоянию на 01.10.2020, в ЕРИС ЕМИАС интегрированы 10 сервисов компьютерного зрения, которые успешно проанализировали 497155 результатов лучевых исследований. На анализ направляются исследования, выполненные на 884 диагностических устройствах в 293 медицинских организациях; из этих учреждений активно участвуют в Эксперименте 272. Вовлеченность медицинских организаций составляет 82%. Медианное время автоматического анализа 1 исследования составило 8 минут; в целом быстрее 15 минут было проанализировано 63% исследований. В начале Эксперимента результаты работы сервисов были доступны на рабочих местах в ЕРИС ЕМИАС 538 врачей-рентгенологов. В течение 4 месяцев Эксперимента количество подключенных врачей неуклонно возрастало и составило 899 к 01.10.2020. Вовлеченность врачей составила 24%, что несколько превышает общемировые показатели. По результатам социологического опроса отношение к технологиям ИИ московских врачей-рентгенологов можно охарактеризовать как выжидательное, умеренно-оптимистичное. Врачи-рентгенологи определили полное соответствие результатов работы сервисов компьютерного зрения реальной рентгенологической картине в 64% случаев. В 36% зафиксированы несоответствия; из этого числа значимые расхождения имели место в 6%, незначимые – в 23%.
Выводы . Результаты первых четырех месяцев активной фазы Московского Эксперимента по применению компьютерного зрения в лучевой диагностике можно считать успешными. Фиксируется достаточно высокий уровень вовлеченности врачей-рентгенологов. На дальнейших этапах Эксперимента будут реализованы мероприятия по повышению вовлеченности врачей- рентгенологов, а также комплексная сравнительная оценка работы сервисов.
Ключевые слова: искусственный интеллект, компьютерное зрение, лучевая диагностика, компьютерная томография, маммография, рентгенография, грудная клетка, злокачественные новообразования.
Цель исследования – систематизировать первые результаты Эксперимента с позиции вовлеченности врачей-рентгенологов.
Материал и методы. Эксперимент представляет собой проспективное научное исследование, получившее одобрение Независимого этического комитета и зарегистрированное в Clinicaltrails.gov (ID NCT04489992). Пациенты подписывали информированное добровольное согласие. На момент подготовки статьи (01.10.2020) в Эксперименте принимают участие 10 сервисов, обеспечивающих автоматизированный анализ результатов лучевых исследований: компьютерная томография и рентгенография органов грудной клетки, маммография. В исследование включены количественные показатели Эксперимента с 18.06.2020 по 01.10.2020. Использованы методы социального опроса, описательной статистики, оценки метрик диагностической точности.
Результаты и обсуждение. В течение первых четырех месяцев активной фазы Эксперимента, по состоянию на 01.10.2020, в ЕРИС ЕМИАС интегрированы 10 сервисов компьютерного зрения, которые успешно проанализировали 497155 результатов лучевых исследований. На анализ направляются исследования, выполненные на 884 диагностических устройствах в 293 медицинских организациях; из этих учреждений активно участвуют в Эксперименте 272. Вовлеченность медицинских организаций составляет 82%. Медианное время автоматического анализа 1 исследования составило 8 минут; в целом быстрее 15 минут было проанализировано 63% исследований. В начале Эксперимента результаты работы сервисов были доступны на рабочих местах в ЕРИС ЕМИАС 538 врачей-рентгенологов. В течение 4 месяцев Эксперимента количество подключенных врачей неуклонно возрастало и составило 899 к 01.10.2020. Вовлеченность врачей составила 24%, что несколько превышает общемировые показатели. По результатам социологического опроса отношение к технологиям ИИ московских врачей-рентгенологов можно охарактеризовать как выжидательное, умеренно-оптимистичное. Врачи-рентгенологи определили полное соответствие результатов работы сервисов компьютерного зрения реальной рентгенологической картине в 64% случаев. В 36% зафиксированы несоответствия; из этого числа значимые расхождения имели место в 6%, незначимые – в 23%.
Выводы . Результаты первых четырех месяцев активной фазы Московского Эксперимента по применению компьютерного зрения в лучевой диагностике можно считать успешными. Фиксируется достаточно высокий уровень вовлеченности врачей-рентгенологов. На дальнейших этапах Эксперимента будут реализованы мероприятия по повышению вовлеченности врачей- рентгенологов, а также комплексная сравнительная оценка работы сервисов.
Ключевые слова: искусственный интеллект, компьютерное зрение, лучевая диагностика, компьютерная томография, маммография, рентгенография, грудная клетка, злокачественные новообразования.
Литература
1. Гусев А. В., Плисс М. А., Левин М. Б., Новицкий Р. Э. Тренды и прогнозы развития медицинских информационных систем в России. // Врач и информационные технологии. – 2019. – № 2. – С. 38–49.
2. Гусев А. В., Зарубина Т. В. Поддержка принятия врачебных решений в медицинских информационных системах медицинской организации. // Врач и информационные технологии. 2017. – № 2. – С. 60–72.
3. Морозов С. П., Владзимирский А. В., Гомболевский В. А., Кузьмина Е. С., Ледихова Н. В. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований. // Вестник рентгенологии и радиологии. – 2018. – Т. 99. – № 5. – С. 253–258.
4. Морозов С. П., Владзимирский А. В., Ледихова Н. В., Соколина И. А., Кульберг Н. С., Гомболевский В. А. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта. // Туберкулез и болезни легких. 2018. – Т. 95. – № 8 – С. 42–49.
5. Морозов С. П., Владзимирский А. В., Гомболевский В. А., Кляшторный В. Г., Федулова И. А., Власенков Л. А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. // Туберкулез и болезни легких – 2020. – Т. 98. – № 8. – С. 24–31.
6. Морозов С. П., Владзимирский А. В., Кляшторный В. Г. с соавт. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) / Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М., 2019. – 51 с.
7. Морозов С. П., Владзимирский А. В., Черняева Г. Н., Бажин А. В., Пимкин А. А., Беляев М. Г., Кляшторный В. Г., Горшкова Т. Н., Курочкина Н. С., Якушева С. Ф. Валидация диагностической точности алгоритма «искусственного интеллекта» для выявления рассеянного склероза в условиях городской поликлиники. // Лучевая диагностика и терапия. – 2020. – № 2 (11). – С. 58–65.
8. Морозов С. П. Решения на базе искусственного интеллекта – новый стандарт безопасности в лучевой диагностике. // Московская медицина. – 2020. – № 2 (36). – С. 24–26.
9. Полищук Н. С., Ветшева Н. Н., Косарин С. П., Морозов С. П., Кузьмина Е. С. Единый радиологический информационный сервис как инструмент организационно-методической работы научно-практического центра медицинской радиологии департамента здравоохранения г. Москвы (аналитическая справка). // Радиология – практика. – 2018. – № 1 (67). . – С. 6–17.
10. Постановление Правительства Москвы от 29 ноября 2019 № 1543-ПП «О проведении эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
11. Приказ Министерства здравоохранения Российской Федерации от 09.06.2020 № 560н «Об утверждении Правил проведения рентгенологических исследований».
12. Пятницкий И. А., Пучкова О. С., Гомболевский В. А., Низовцова Л. А., Ветшева Н. Н., Морозов С. П. Скрининг рака молочной железы: текущие достижения, перспективы и новые технологии. Вопросы онкологии. – 2019. – Т. 65. – № 5. – С. 664–671.
13. Тюрин И. Е. Лучевая диагностика в Российской Федерации. // Онкологический журнал: лучевая диагностика, лучевая терапия. 2018;1(4):43–51. https://doi.org/10.37174/2587 7593 2018 1 4 43 51.
14. Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации».
15. Baldwin D.R., Gustafson J., Pickup L., Arteta C., Novotny P., Declerck J., Kadir T., Figueiras C., Sterba A., Exell A., Potesil V., Holland P., Spence H., Clubley A., O’Dowd E., Clark M., Ashford-Turner V., Callister M.E., Gleeson F.V. External validation of a convolutional neural network artificial intelligence tool to predict malignancy in pulmonary nodules. Thorax. 2020 Apr; 75(4):306–312. doi: 10.1136/thoraxjnl 2019–214104.
16. Christodoulakis C., Asgarian A., Easterbrook S., eds. Barriers toadoption of information technology in healthcare.Proceedings ofthe 27th Annual International Conference on Computer Scienceand Software Engineering. Armonk, NY: IBM Corp; 2017.
17. Codari M., Melazzini L., Morozov S.P. et al. Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019 Oct 31; 10(1):105. doi: 10.1186/ s13244 019 0798 3.
18. Kaka H., Zhang E., Khan N. Artificial Intelligence and Deep Learning in Neuroradiology: Exploring the New Frontier. Can Assoc Radiol J. 2020 Sep 18:846537120954293. doi: 10.1177/0846537120954293.
19. Kakileti S.T., Madhu H.J., Krishnan L., Manjunath G., Sampangi S., Ramprakash H.V. Observational Study to Evaluate the Clinical Efficacy of Thermalytix for Detecting Breast Cancer in Symptomatic and Asymptomatic Women. JCO Glob Oncol. 2020 Oct; 6:1472–1480. doi: 10.1200/GO.20.00168.
20. Kim D.W., Jang H.Y., Kim K.W., Shin Y., Park S.H. Design Characteristics of Studies Reporting the Performance of Artificial Intelligence Algorithms for Diagnostic Analysis of Medical Images: Results from Recently Published Papers. Korean J Radiol. 2019 Mar; 20(3):405–410. https://doi.org/10.3348/kjr.2019.0025.
21. Liu X., Cruz Rivera S., Moher D. et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nat Med.2020; 26: 1364–74. https://doi.org/10.1038/ s41591-020-1034-x.
22. Morozov S. P., Andreychenko A. E., Pavlov N. A., Vladzymyrskyy A. V., Ledikhova N. V. et al. MosMedData: Chest CT Scans With COVID 19 Related Findings Dataset. 2020.arXiv:2005.06465.
23. Pesapane F., Codari M., Sardanelli F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. Eur Radiol Exp. 2018 Oct 24; 2(1):35. doi: 10.1186/s41747 018 0061 6.
24. Richardson M.L., Garwood E.R., Lee Y., Li M.D., Lo H.S., Nagaraju A., Nguyen X.V., Probyn L., Rajiah P., Sin J., Wasnik A.P., Xu K. Noninterpretive Uses of Artificial Intelligence in Radiology. Acad Radiol. 2020 Feb 12: S1076-6332 (20) 30039 8. doi: 10.1016/j.acra.2020.01.012.
25. Tajaldeen A., Alghamdi S. Evaluation of radiologist’s knowledge about the Artificial Intelligence in diagnostic radiology: a survey-based study. Acta Radiol Open. 2020 Jul 31; 9(7):2058460120945320. doi: 10.1177/2058460120945320.
26. van Assen M., Muscogiuri G., Caruso D., Lee S.J., Laghi A., De Cecco C.N. Artificial intelligence in cardiac radiology. Radiol Med. 2020 Sep 18. doi: 10.1007/s11547–020–01277-w.
27. Yedavalli V.S., Tong E., Martin D., Yeom K.W., Forkert N.D. Artificial intelligence in stroke imaging: Current and future perspectives. Clin Imaging. 2020 Sep 21;69:246–254. doi: 10.1016/j.clinimag.2020.09.005.
28. Wu X., Li L., Li H., Tian J., Zha Y. Deep learning-based multi-view fusion model for screening 2019 novel coronavirus pneumonia: A multicentre study. Eur J Radiol. 2020 Jul; 128:109041. doi: 10.1016/j.ejrad.2020.109041.
29. Wu G., Yang P., Xie Y., Woodruff H.C., Rao X., Guiot J., Frix A.N. et al. Development of a clinical decision support system for severity risk prediction and triage of COVID 19 patients at hospital admission: an international multicentre study. Eur Respir J. 2020 Aug 20;56(2):2001104. doi: 10.1183/13993003.01104–2020.
30. Zhang Z., Seeram E. The use of artificial intelligence in computed tomography image reconstruction – A literature review. J Med Imaging Radiat Sci. 2020 Sep 24: S1939–8654 (20) 30296 4. doi: 10.1016/j. jmir.2020.09.001.
2. Гусев А. В., Зарубина Т. В. Поддержка принятия врачебных решений в медицинских информационных системах медицинской организации. // Врач и информационные технологии. 2017. – № 2. – С. 60–72.
3. Морозов С. П., Владзимирский А. В., Гомболевский В. А., Кузьмина Е. С., Ледихова Н. В. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований. // Вестник рентгенологии и радиологии. – 2018. – Т. 99. – № 5. – С. 253–258.
4. Морозов С. П., Владзимирский А. В., Ледихова Н. В., Соколина И. А., Кульберг Н. С., Гомболевский В. А. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта. // Туберкулез и болезни легких. 2018. – Т. 95. – № 8 – С. 42–49.
5. Морозов С. П., Владзимирский А. В., Гомболевский В. А., Кляшторный В. Г., Федулова И. А., Власенков Л. А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. // Туберкулез и болезни легких – 2020. – Т. 98. – № 8. – С. 24–31.
6. Морозов С. П., Владзимирский А. В., Кляшторный В. Г. с соавт. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) / Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М., 2019. – 51 с.
7. Морозов С. П., Владзимирский А. В., Черняева Г. Н., Бажин А. В., Пимкин А. А., Беляев М. Г., Кляшторный В. Г., Горшкова Т. Н., Курочкина Н. С., Якушева С. Ф. Валидация диагностической точности алгоритма «искусственного интеллекта» для выявления рассеянного склероза в условиях городской поликлиники. // Лучевая диагностика и терапия. – 2020. – № 2 (11). – С. 58–65.
8. Морозов С. П. Решения на базе искусственного интеллекта – новый стандарт безопасности в лучевой диагностике. // Московская медицина. – 2020. – № 2 (36). – С. 24–26.
9. Полищук Н. С., Ветшева Н. Н., Косарин С. П., Морозов С. П., Кузьмина Е. С. Единый радиологический информационный сервис как инструмент организационно-методической работы научно-практического центра медицинской радиологии департамента здравоохранения г. Москвы (аналитическая справка). // Радиология – практика. – 2018. – № 1 (67). . – С. 6–17.
10. Постановление Правительства Москвы от 29 ноября 2019 № 1543-ПП «О проведении эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
11. Приказ Министерства здравоохранения Российской Федерации от 09.06.2020 № 560н «Об утверждении Правил проведения рентгенологических исследований».
12. Пятницкий И. А., Пучкова О. С., Гомболевский В. А., Низовцова Л. А., Ветшева Н. Н., Морозов С. П. Скрининг рака молочной железы: текущие достижения, перспективы и новые технологии. Вопросы онкологии. – 2019. – Т. 65. – № 5. – С. 664–671.
13. Тюрин И. Е. Лучевая диагностика в Российской Федерации. // Онкологический журнал: лучевая диагностика, лучевая терапия. 2018;1(4):43–51. https://doi.org/10.37174/2587 7593 2018 1 4 43 51.
14. Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации».
15. Baldwin D.R., Gustafson J., Pickup L., Arteta C., Novotny P., Declerck J., Kadir T., Figueiras C., Sterba A., Exell A., Potesil V., Holland P., Spence H., Clubley A., O’Dowd E., Clark M., Ashford-Turner V., Callister M.E., Gleeson F.V. External validation of a convolutional neural network artificial intelligence tool to predict malignancy in pulmonary nodules. Thorax. 2020 Apr; 75(4):306–312. doi: 10.1136/thoraxjnl 2019–214104.
16. Christodoulakis C., Asgarian A., Easterbrook S., eds. Barriers toadoption of information technology in healthcare.Proceedings ofthe 27th Annual International Conference on Computer Scienceand Software Engineering. Armonk, NY: IBM Corp; 2017.
17. Codari M., Melazzini L., Morozov S.P. et al. Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019 Oct 31; 10(1):105. doi: 10.1186/ s13244 019 0798 3.
18. Kaka H., Zhang E., Khan N. Artificial Intelligence and Deep Learning in Neuroradiology: Exploring the New Frontier. Can Assoc Radiol J. 2020 Sep 18:846537120954293. doi: 10.1177/0846537120954293.
19. Kakileti S.T., Madhu H.J., Krishnan L., Manjunath G., Sampangi S., Ramprakash H.V. Observational Study to Evaluate the Clinical Efficacy of Thermalytix for Detecting Breast Cancer in Symptomatic and Asymptomatic Women. JCO Glob Oncol. 2020 Oct; 6:1472–1480. doi: 10.1200/GO.20.00168.
20. Kim D.W., Jang H.Y., Kim K.W., Shin Y., Park S.H. Design Characteristics of Studies Reporting the Performance of Artificial Intelligence Algorithms for Diagnostic Analysis of Medical Images: Results from Recently Published Papers. Korean J Radiol. 2019 Mar; 20(3):405–410. https://doi.org/10.3348/kjr.2019.0025.
21. Liu X., Cruz Rivera S., Moher D. et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nat Med.2020; 26: 1364–74. https://doi.org/10.1038/ s41591-020-1034-x.
22. Morozov S. P., Andreychenko A. E., Pavlov N. A., Vladzymyrskyy A. V., Ledikhova N. V. et al. MosMedData: Chest CT Scans With COVID 19 Related Findings Dataset. 2020.arXiv:2005.06465.
23. Pesapane F., Codari M., Sardanelli F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. Eur Radiol Exp. 2018 Oct 24; 2(1):35. doi: 10.1186/s41747 018 0061 6.
24. Richardson M.L., Garwood E.R., Lee Y., Li M.D., Lo H.S., Nagaraju A., Nguyen X.V., Probyn L., Rajiah P., Sin J., Wasnik A.P., Xu K. Noninterpretive Uses of Artificial Intelligence in Radiology. Acad Radiol. 2020 Feb 12: S1076-6332 (20) 30039 8. doi: 10.1016/j.acra.2020.01.012.
25. Tajaldeen A., Alghamdi S. Evaluation of radiologist’s knowledge about the Artificial Intelligence in diagnostic radiology: a survey-based study. Acta Radiol Open. 2020 Jul 31; 9(7):2058460120945320. doi: 10.1177/2058460120945320.
26. van Assen M., Muscogiuri G., Caruso D., Lee S.J., Laghi A., De Cecco C.N. Artificial intelligence in cardiac radiology. Radiol Med. 2020 Sep 18. doi: 10.1007/s11547–020–01277-w.
27. Yedavalli V.S., Tong E., Martin D., Yeom K.W., Forkert N.D. Artificial intelligence in stroke imaging: Current and future perspectives. Clin Imaging. 2020 Sep 21;69:246–254. doi: 10.1016/j.clinimag.2020.09.005.
28. Wu X., Li L., Li H., Tian J., Zha Y. Deep learning-based multi-view fusion model for screening 2019 novel coronavirus pneumonia: A multicentre study. Eur J Radiol. 2020 Jul; 128:109041. doi: 10.1016/j.ejrad.2020.109041.
29. Wu G., Yang P., Xie Y., Woodruff H.C., Rao X., Guiot J., Frix A.N. et al. Development of a clinical decision support system for severity risk prediction and triage of COVID 19 patients at hospital admission: an international multicentre study. Eur Respir J. 2020 Aug 20;56(2):2001104. doi: 10.1183/13993003.01104–2020.
30. Zhang Z., Seeram E. The use of artificial intelligence in computed tomography image reconstruction – A literature review. J Med Imaging Radiat Sci. 2020 Sep 24: S1939–8654 (20) 30296 4. doi: 10.1016/j. jmir.2020.09.001.
Для цитирования
Документы
Ключевые слова