<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">cardiovascular</journal-id><journal-title-group><journal-title xml:lang="ru">Кардиоваскулярная терапия и профилактика</journal-title><trans-title-group xml:lang="en"><trans-title>Cardiovascular Therapy and Prevention</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1728-8800</issn><issn pub-type="epub">2619-0125</issn><publisher><publisher-name>«SILICEA-POLIGRAF» LLC</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.15829/1728-8800-2022-3222</article-id><article-id custom-type="elpub" pub-id-type="custom">cardiovascular-3222</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ИССЛЕДОВАНИЯ, МЕТААНАЛИЗЫ, РЕГИСТРЫ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>RESEARCH, META-ANALYSES, REGISTERS</subject></subj-group></article-categories><title-group><article-title>Верификация субклинического каротидного атеросклероза в рамках риск-стратификации при избыточном весе и ожирении: роль методов машинного обучения в формировании диагностического алгоритма</article-title><trans-title-group xml:lang="en"><trans-title>Verification of subclinical carotid atherosclerosis as part of risk stratification in overweight and obesity: the role of machine learning in the development of a diagnostic algorithm</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-3147-9056</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Дружилов</surname><given-names>М. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Druzhilov</surname><given-names>M. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Дружилов Марк Андреевич — кандидат медицинских наук, доцент кафедры факультетской терапии, фтизиатрии, инфекционных болезней и эпидемиологии медицинского института.</p><p>Петрозаводск.</p><p>Тел.: +7 (911) 403-19-48</p></bio><bio xml:lang="en"><p>Petrozavodsk.</p></bio><email xlink:type="simple">drmark1982@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-6654-1382</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Кузнецова</surname><given-names>Т. Ю.</given-names></name><name name-style="western" xml:lang="en"><surname>Kuznetsova</surname><given-names>T. Yu.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Кузнецова Татьяна Юрьевна — доктор медицинских наук, заведующая кафедрой факультетской терапии, фтизиатрии, инфекционных болезней и эпидемиологии медицинского института.</p><p>Петрозаводск.</p></bio><bio xml:lang="en"><p>Petrozavodsk.</p></bio><email xlink:type="simple">eme@karelia.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-8745-857X</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гаврилов</surname><given-names>Д. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Gavrilov</surname><given-names>D. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Гаврилов Денис Владимирович — руководитель медицинского направления.</p><p>Петрозаводск.</p></bio><bio xml:lang="en"><p>Petrozavodsk.</p></bio><email xlink:type="simple">dgavrilov@webiomed.ai</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-7380-8460</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гусев</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Gusev</surname><given-names>A. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Гусев Александр Владимирович — кандидат технических наук, директор по развитию бизнеса, эксперт по искусственному интеллекту, старший научный сотрудник.</p><p>Петрозаводск; Москва.</p></bio><bio xml:lang="en"><p>Petrozavodsk; Moscow.</p></bio><email xlink:type="simple">agusev@webiomed.ai</email><xref ref-type="aff" rid="aff-3"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Петрозаводский государственный университет</institution></aff><aff xml:lang="en"><institution>Petrozavodsk State University</institution></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>ООО “К-Скай”</institution></aff><aff xml:lang="en"><institution>LLC K-Sky</institution></aff></aff-alternatives><aff-alternatives id="aff-3"><aff xml:lang="ru"><institution>ООО “К-Скай”; Центральный научно-исследовательский институт организации и информатизации здравоохранения Минздрава России; Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы</institution></aff><aff xml:lang="en"><institution>LLC K-Sky; Federal Research Institute for Health Organization and Informatics; Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies</institution></aff></aff-alternatives><pub-date pub-type="collection"><year>2022</year></pub-date><pub-date pub-type="epub"><day>06</day><month>07</month><year>2022</year></pub-date><volume>21</volume><issue>7</issue><fpage>3222</fpage><lpage>3222</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Дружилов М.А., Кузнецова Т.Ю., Гаврилов Д.В., Гусев А.В., 2022</copyright-statement><copyright-year>2022</copyright-year><copyright-holder xml:lang="ru">Дружилов М.А., Кузнецова Т.Ю., Гаврилов Д.В., Гусев А.В.</copyright-holder><copyright-holder xml:lang="en">Druzhilov M.A., Kuznetsova T.Y., Gavrilov D.V., Gusev A.V.</copyright-holder><license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://cardiovascular.elpub.ru/jour/article/view/3222">https://cardiovascular.elpub.ru/jour/article/view/3222</self-uri><abstract><p>Цель. Сравнительный анализ математических моделей, полученных с помощью многофакторного логистического регрессионного анализа (МЛРА) с пошаговым включением предикторов и методов машинного обучения (МО), в отношении прогнозирования вероятности наличия субклинического каротидного атеросклероза у нормотензивных пациентов с избыточным весом и ожирением без сердечно-сосудистых заболеваний и/или сахарного диабета.Материал и методы. Информация о пациентах извлекалась из базы данных платформы Webiomed, критериями включения являлись возраст ≥18 лет, индекс массы тела ≥25 кг/м2, наличие результатов ультразвукового исследования брахиоцефальных артерий, критериями невключения — сахарный диабет и/или сердечно-сосудистые заболевания. Проводился МЛРА с пошаговым включением предикторов, для создания альтернативной модели использовали алгоритмы МО.Результаты. Общий процент верных классификаций для математической модели, полученной методом МЛРА, составил 73,2%, процент верных отрицательных предсказаний — 80,1%, процент верных положительных предсказаний — 63,4%. Математические модели, созданные с помощью методов МО, характеризуются предсказательной способностью от 75 до 97% при чувствительности от 77 до 92% и специфичности от 80 до 98%.Заключение. Выявлено существенное превосходство моделей, созданных с помощью методов МО, при изучении комплекса широкодоступных клинических и лабораторно-инструментальных параметров. Интеграция математической модели, созданной с помощью методов МО, в диагностический алгоритм принятия решения о направлении пациента на ультразвуковое исследование брахиоцефальных артерий в рамках проведения риск-стратификации пациенту с “невысоким” риском по шкалам-рискометрам, позволит значительно увеличить ее точность, оптимизируя при этом расходы на оказание медицинской помощи.</p></abstract><trans-abstract xml:lang="en"><p>Aim. Comparative analysis of mathematical models obtained using multivariate logistic regression (MLR) with stepwise inclusion of predictors and machine learning (ML) for assessing the probability of subclinical carotid atherosclerosis in normotensive overweight and obese patients without cardiovascular diseases and/or diabetes.Material and methods. We received data on patients from the Webiomed platform database. The inclusion criteria were age ≥18 years, body mass index ≥25 kg/m2, extracranial artery ultrasound results, while the exclusion criteria included diabetes and/or cardiovascular disease. MLR analysis was carried out with stepwise inclusion of predictors. ML algorithms were used to create an alternative model.Results. The overall percentage of true results for MLR model was 73,2%, while the proportion of true negative and positive predictions was 80,1% and 63,4%, respectively. Mathematical models created using ML methods are characterized by a predictive value from 75 to 97% with a sensitivity of 77 to 92% and a specificity of 80 to 98%.Conclusion. A significant superiority of ML models was revealed in the study of available clinical and paraclinical parameters. Integration of ML mathematical models into a diagnostic algorithm for making a decision to refer a low-risk patient for extracranial artery ultrasound will significantly improve its accuracy and cost efficiency.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>субклинический каротидный атеросклероз</kwd><kwd>сердечно-сосудистый риск</kwd><kwd>ожирение</kwd><kwd>методы машинного обучения</kwd></kwd-group><kwd-group xml:lang="en"><kwd>subclinical carotid atherosclerosis</kwd><kwd>cardiovascular risk</kwd><kwd>obesity</kwd><kwd>machine learning methods</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Исследование выполнено на уникальной научной установке “Многокомпонентный программно-аппаратный комплекс для автоматизированного сбора, хранения, разметки научно-исследовательских и клинических биомедицинских данных, их унификации и анализа на базе центра обработки данных с использованием технологий искусственного интеллекта” (регистрационный номер 2075518), при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665.</funding-statement><funding-statement xml:lang="en">The study was carried out on an original scientific system “Multicomponent software and hardware system for automated collection, storage, markup of research and clinical biomedical data, their unification and analysis based on Data Center with Artificial Intelligence technologies” (№ 2075518) and financially supported by Ministry of Science and Higher Education of the Russian Federation within the Agreement № 075-15-2021-665.</funding-statement></funding-group></article-meta></front><body><sec><title>Введение</title><p>В настоящее время сердечно-сосудистые заболевания (ССЗ) продолжают занимать лидирующие позиции в структуре общей смертности в большинстве стран мира, в т.ч. в Российской Федерации, несмотря на определенные успехи соответствующих национальных систем здравоохранения в отношении снижения распространенности некоторых основных факторов сердечно-сосудистого риска (ССР) [<xref ref-type="bibr" rid="cit1">1</xref>]. В этой связи совершенствование системы риск-стратификации в рамках первичной и вторичной кардиоваскулярной профилактики остается, по-прежнему, одним из основных приоритетных направлений [<xref ref-type="bibr" rid="cit2">2</xref>].</p><p>В большинстве используемых сегодня шкал-рискометров у пациентов без клинических симптомов и признаков ССЗ, сахарного диабета и/ или хронической болезни почек III-V стадий предикторами величины ССР выступают “классические” факторы риска с доказанной результатами масштабных эпидемиологических исследований прогностической значимостью [<xref ref-type="bibr" rid="cit2">2</xref>][<xref ref-type="bibr" rid="cit3">3</xref>]. Вместе с тем, нередко сердечно-сосудистые осложнения развиваются у лиц, отнесенных по данным шкалам к низкому или умеренному ССР, что свидетельствует об их невысокой предсказательной способности. Отчасти это связано с ограниченным числом предикторов сердечно-сосудистых событий и методами формирования прогностической модели, в связи с чем в существующих клинических рекомендациях определена необходимость использования дополнительных реклассификаторов риска [<xref ref-type="bibr" rid="cit4">4</xref>][<xref ref-type="bibr" rid="cit5">5</xref>].</p><p>В качестве таких риск-реклассификаторов могут выступать как уровни “циркулирующих” биомаркеров крови, являющихся отражением протекающих процессов системного воспаления, фиброза, хронического миокардиального повреждения и атерогенеза, дисбаланса системы коагуляции/антикоагуляции [<xref ref-type="bibr" rid="cit6">6</xref>], так и субклинические органные поражения, верифицируемые соответствующими методами исследования [<xref ref-type="bibr" rid="cit2">2</xref>].</p><p>Среди последних особое место в системе стратификации ССР, согласно положениям европейских и отечественных рекомендаций, занимает субклинический каротидный атеросклероз (СКА), выявляемый при выполнении ультразвукового исследования (УЗИ) брахиоцефальных артерий (БЦА) [<xref ref-type="bibr" rid="cit3">3</xref>]. Результаты многочисленных эпидемиологических, в т.ч. проспективных, исследований продемонстрировали высокое прогностическое значение СКА в отношении риска развития сердечно-сосудистых осложнений, а его предсказательная ценность сопоставима с таковой при использовании коронарного кальциевого индекса [7-9].</p><p>В свою очередь, пациенты с избыточным весом и ожирением и “невысоким” ССР по шкалам-рискометрам являются той группой лиц, для которых оптимизация системы риск-стратификации приобретает особенное значение. С одной стороны, избыточный вес и ожирение также относят к факторам, реклассифицирующим величину ССР [<xref ref-type="bibr" rid="cit2">2</xref>], с другой — широко обсуждается феномен гетерогенности фенотипов ожирения в отношении ССР, предполагающий различную ассоциацию индекса массы тела (ИМТ) и риска развития сердечно-сосудистых событий [<xref ref-type="bibr" rid="cit10">10</xref>][<xref ref-type="bibr" rid="cit11">11</xref>].</p><p>Одним из вариантов оптимизации риск-стратификации у данных пациентов может стать прямая визуализация абдоминальной и/или эктопической висцеральной жировой ткани с помощью ультразвуковых и томографических исследований для диагностики висцерального ожирения, определяющего фенотип ожирения с высоким ССР [<xref ref-type="bibr" rid="cit12">12</xref>][<xref ref-type="bibr" rid="cit13">13</xref>]; вместе с тем, данные методики не являются широкодоступными в клинической практике.</p><p>В качестве альтернативного варианта представляется обоснованной тактика совершенствования диагностических алгоритмов по выявлению СКА, отражающего воздействие на сосудистую стенку целого спектра неблагоприятных факторов при избыточном весе и ожирении и принципиально изменяющего категорию риска у данных пациентов [<xref ref-type="bibr" rid="cit3">3</xref>][<xref ref-type="bibr" rid="cit14">14</xref>][<xref ref-type="bibr" rid="cit15">15</xref>]. Данные алгоритмы, безусловно, должны базироваться на прогностических математических моделях, создаваемых при анализе совокупности антропометрических, клинических, лабораторных и инструментальных параметров и определяющих высокую вероятность получения положительного результата при направлении пациента на исследование.</p><p>Примерами таких прогностических математических моделей являются регрессионные уравнения, созданные в результате выполнения многофакторного логистического регрессионного анализа данных с пошаговым включением предикторов [<xref ref-type="bibr" rid="cit14">14</xref>][<xref ref-type="bibr" rid="cit15">15</xref>]. Шенкова Н. Н. и др. (2017) [<xref ref-type="bibr" rid="cit14">14</xref>] предложили математическую модель оценки вероятности выявления СКА у пациентов с избыточным весом и ожирением с предсказательной точностью в 89,7%, в которой предикторами выступают уровни грелина, лептина и С-реактивного белка крови и эхокардиографическая толщина эпикардиальной жировой ткани, Дружилова О. Ю. и др. (2016) [<xref ref-type="bibr" rid="cit15">15</xref>] разработали аналогичное регрессионное уравнение с общим процентом верных предсказаний 91,7%, предикторами в котором являются среднесуточные скорость пульсовой волны и систолическое артериальное давление (САД) в аорте, уровни гликемии натощак и мочевой кислоты крови. Однако определение вышеуказанных предикторов в приведенных математических моделях ограничено ввиду низкой доступности данных методов исследования в практическом здравоохранении, что обуславливает актуальность создания и внедрения в клиническую практику более простых в использовании, при этом не менее точных прогностических моделей. Появление таких моделей сегодня стало возможным благодаря внедрению методов машинного обучения (МО) и обработки “больших данных”, позволяющих значительно упростить и одновременно улучшить систему риск-стратификации [<xref ref-type="bibr" rid="cit16">16</xref>], а создаваемые таким способом прогностические математические модели существенным образом превосходят имеющиеся алгоритмы и шкалы в отношении точности оценки вероятности наличия/ наступления того или иного события [17-20].</p><p>Целью данного исследования является сравнительный анализ математических моделей, полученных с помощью многофакторного логистического регрессионного анализа (МЛРА) с пошаговым включением предикторов и методов МО, в отношении прогнозирования вероятности наличия СКА у нормотензивных пациентов с избыточным весом и ожирением без ССЗ и/или сахарного диабета.</p></sec><sec><title>Материал и методы</title><p>Для формирования выборки с целью последующего анализа и создания математических прогностических моделей использована база данных платформы Webiomed, включающая деперсонифицированную формализованную информацию из электронных медицинских карт 2,9 млн пациентов, проходивших обследование и лечение в медицинских организациях различных регионов Российской Федерации. В связи с использованием обезличенной медицинской информации заполнение информированного добровольного согласия не предусматривалось.</p><p>Критериями включения информации о пациенте в формируемую выборку являлись возраст &gt;18 лет, ИМТ ≥25 кг/м2, наличие результатов УЗИ БЦА, критериями невключения — сахарный диабет и/или ССЗ, в т.ч. артериальная гипертензия.</p><p>Был определен перечень возможных предикторов высокой вероятности наличия СКА в планируемых математических прогностических моделях, в него были включены клинические и лабораторно-инструментальные параметры, доступные для оценки в широкой клинической практике, при этом окончательный набор параметров устанавливался совместно со специалистом по анализу данных в зависимости от их частоты встречаемости в базе данных Webiomed, в частности заполненность должна была составлять не &lt;40%. В случае частоты встречаемости предиктора в окончательной выборке &lt;100%, допускалась замена отсутствующих значений признака средним значением данного параметра.</p><p>Первый этап обработки данных заключался в статистическом анализе окончательной выборки и проведении МЛРА с пошаговым включением предикторов методом последовательного отбора (stepwise), использовались программы Statistica 10 и SPSS 22. Ввиду нормального типа распределения данных результаты представлены средним арифметическим со стандартным отклонением (M±SD) и частотами, для сравнения подгрупп применялся двусторонний t-критерий Стьюдента и критерий χ2 Пирсона. Величина порогового уровня статистической значимости (р) принята как 0,05.</p><p>На втором этапе для создания альтернативной прогностической математической модели использовали библиотеку Scikit-learn для языка программирования Python и 3 алгоритма машинного обучения: Random Forest (“случайный лес”) — ансамблевый алгоритм, основанный на объединении “деревьев решений” для задач классификации, где каждое отдельное “дерево решений” дает предсказание класса, а набравший наибольшее количество голосов класс, становится предсказанием модели; AdaBoostClassifier (“адаптивный бустинг”) — ансамблевый алгоритм, основанный на преобразовании в ходе итеративного процесса слабых классификаторов в сильные для решения проблем классификации; KNeighborsClassifier (“классификация с помощью алгоритма K-ближайшего соседа”) — алгоритм, позволяющий решать задачу классификации путем нахождения максимально похожих между собой объектов и сопоставления их целевых меток (классов)1. Данные методы МО являются классическими при работе с числовыми данными и выбраны на основании предварительного анализа имеющейся информации; при этом целевыми параметрами математической прогностической модели были заданы точность (accuracy) ≥75% и площадь под ROC-кривой ≥0,75. Данные значения были определены в соответствии с допустимым уровнем ошибок при работе алгоритмов МО, а также на основании предыдущего опыта разработки аналогичных моделей [<xref ref-type="bibr" rid="cit21">21</xref>].</p><p>Исследование выполнено на уникальной научной установке “Многокомпонентный программно-аппаратный комплекс для автоматизированного сбора, хранения, разметки научно-исследовательских и клинических биомедицинских данных, их унификации и анализа на базе центра обработки данных с использованием технологий искусственного интеллекта” (регистрационный номер 2075518), при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665.</p></sec><sec><title>Результаты</title><p>Из базы данных платформы Webiomed первоначально была получена информация о 5750 пациентах, соответствующих выбранным критериям включения/исключения, из которых СКА был выявлен у 385 (6,7%) человек. После обработки информации специалистом по анализу данных с учетом частоты встречаемости в выборке данных о клинических и лабораторно-инструментальных признаках, предполагаемых в качестве возможных предикторов в математических моделях (на этом этапе сформирована выборка из 1902 пациента), а также после применения функции случайного стратифицированного разделения выборки [<xref ref-type="bibr" rid="cit22">22</xref>] с целью уравнивания числа лиц с целевым событием (атеросклеротическая бляшка в БЦА) и без такового, окончательная выборка включала информацию о 447 пациентах, из которых 197 (44,1%) имели СКА по результатам УЗИ.</p><p>В качестве признаков, рассматриваемых в последующем при создании математических прогностических моделей, отобраны 23 параметра. В таблице 1 приведены их средние значения в целом по выборке, а также в подгруппах с наличием/отсутствием СКА.</p><fig id="fig-1"><caption><p>Таблица 1</p><p>Клинические и лабораторно-инструментальные параметры окончательной выборки для создания математических прогностических моделей (M±SD, %)</p><p>Примечание: различия между группами СКА+ vs СКА-: * – р&lt;0,05, ** – р&lt;0,01, *** – р&lt;0,001. ДАД — диастолическое артериальное давление, ИМТ — индекс массы тела, ЛВП — липопротеины высокой плотности, ЛНП — липопротеины низкой плотности, САД — систолическое артериальное давление, СКА — субклинический атеросклероз, ХС — холестерин.</p></caption><graphic xlink:href="cardiovascular-21-7-g001.jpeg"><uri content-type="original_file">https://cdn.elpub.ru/assets/journals/cardiovascular/2022/7/COSTY61I0bpcy7wDAyUlyRqEgzTNRkepXwaG488S.jpeg</uri></graphic></fig><p>Средний возраст пациентов выборки составил 49,7±13,4 лет, средний ИМТ — 29,1±3,5 кг/м2, среднее САД/диастолическое артериальное давление (ДАД) — 121,4±12,9/77,4±7,6 мм рт.ст., мужчины составили 29,5% случаев, анамнез курения имели 13,4% пациентов.</p><p>Сравнительный анализ подгрупп с наличием/отсутствием СКА показал, что пациенты с атеросклеротической бляшкой в сонных артериях были старше, среди них было больше мужчин, они имели более высокие ИМТ, окружность талии, уровни САД, гликемии натощак и холестерина (ХС) липопротеинов низкой плотности (ЛНП), индекс массы миокарда левого желудочка, а также более низкую расчетную скорость клубочковой фильтрации (таблица 1).</p><p>Результаты МЛРА данных с пошаговым включением предикторов окончательной выборки представлены в таблице 2. В ходе выполнения анализа среди параметров липидного спектра крови в качестве возможного предиктора регрессионного уравнения не учитывались значения общего ХС для устранения эффекта мультиколлинеарности.</p><fig id="fig-2"><caption><p>Таблица 2</p><p>Результаты МЛРА данных окончательной выборки в отношении прогнозирования вероятности наличия СКА</p><p>Примечание: ИМТ — индекс массы тела, ЛНП — липопротеины низкой плотности, САД — систолическое артериальное давление, ХС — холестерин.</p></caption><graphic xlink:href="cardiovascular-21-7-g002.jpeg"><uri content-type="original_file">https://cdn.elpub.ru/assets/journals/cardiovascular/2022/7/Ym7Ds8Q7loxMMEEsKD283zg57KgDFEtsLNK8yD3g.jpeg</uri></graphic></fig><p>Предикторами вероятности выявления СКА в полученном регрессионном уравнении являются возраст, ИМТ, уровни САД и ХС ЛНП, при этом последний предиктор характеризуется максимальным стандартизированным коэффициентом регрессии — 0,382 (р&lt;0,001). Общий процент верных классификаций для полученной данным методом математической модели составил 73,2%, процент верных отрицательных предсказаний — 80,1%, процент верных положительных предсказаний — 63,4%. При проведении ROCанализа площадь под ROC-кривой составила 0,76 — 95% доверительный интервал (ДИ): 0,710,80 (р=0,006). При отрезном значении ХС ЛНП 3,8 ммоль/л чувствительность и специфичность математической модели составили 70,4 и 82,6%, соответственно.</p><p>На втором этапе анализа данных при использовании алгоритмов МО окончательная выборка была разделена на тренировочную и тестовую части в соотношении 80:20. На тренировочной части подбирались гиперпараметры и проводилось обучение модели, на тестовой части проводился замер и сравнение метрик обученных моделей, при получении лучшего результата информация об обученной модели сохранялась.</p><p>Гиперпараметры моделей подбирались путем перебора, по заранее определенным разработчиком значениям2, с учетом метрик, полученных на тестовой части выборки. В результате для каждой из математических моделей были зафиксированы следующие параметры: Random Forest (число деревьев в ансамбле: 100, критерий разделения вершины дерева: коэффициент джини), AdaBoostClassifier (число деревьев в ансамбле: 50, коэффициент скорости обучения: 1.0), KNeighborsClassifier (число ближайших соседей: 7).</p><p>Предсказания моделей интерпретировались следующим образом: алгоритм Random Forest — для каждого дерева оценивалось относительное число целевых объектов (вероятность) в листе, далее было взято среднее значение по всем деревьям; алгоритм AdaBoostClassifier — среднее значение по взвешенным предсказаниям каждого классификатора; алгоритм KNeighborsClassifier — метка наиболее представленного класса среди соседних объектов.</p><p>Характеристики (метрики) математических моделей в зависимости от используемого алгоритма МО, полученные на тестовой выборке, приведены в таблице 3. Полученные модели оценки вероятности наличия СКА характеризуются предсказательной способностью от 75 до 97%, чувствительностью от 77 до 92%, специфичностью от 80 до 98%, площадью под ROC-кривой от 0,88 до 0,97. С учетом различий величины прогностической точности математических моделей для окончательной работы был выбран алгоритм Random Forest.</p><fig id="fig-3"><caption><p>Таблица 3</p><p>Метрики для различных алгоритмов МО при создании математической прогностической модели оценки вероятности наличия СКА с указанием их значения и 95% ДИ</p></caption><graphic xlink:href="cardiovascular-21-7-g003.jpeg"><uri content-type="original_file">https://cdn.elpub.ru/assets/journals/cardiovascular/2022/7/dngpSymS8R21pZNZdp9wlC1jumFf8G5vuOUxznow.jpeg</uri></graphic></fig><p>При проведении данного алгоритма МО была определена значимость клинических и лабораторно-инструментальных параметров в отношении вероятности прогнозируемого моделью целевого события (рисунок 1). Наиболее важными предикторами, согласно данному алгоритму, являлись возраст, рост и вес тела, ИМТ и окружность талии, уровни гликемии натощак и общего ХС крови.</p><fig id="fig-4"><caption><p>Рис. 1 Значимость клинических и лабораторно-инструментальных параметров при обучении математической прогностической модели алгоритмом Random Forest.Примечание: ДАД — диастолическое артериальное давление, ЛВП — липопротеины высокой плотности, ЛНП — липопротеины низкой плотности, ЛЖ — левый желудочек, САД — систолическое артериальное давление.</p></caption><graphic xlink:href="cardiovascular-21-7-g004.jpeg"><uri content-type="original_file">https://cdn.elpub.ru/assets/journals/cardiovascular/2022/7/0wJExLkybeLG9Mb3n3J6csng6JQra7q91kemylTt.jpeg</uri></graphic></fig></sec><sec><title>Обсуждение</title><p>Согласно существующим клиническим рекомендациям, выявление атеросклеротических бляшек в сонной артерии у асимптомного в отношении ССЗ пациента с исходно низким или умеренным ССР по шкалам-рискометрам позволяет провести реклассификацию величины риска и, следовательно, пересмотреть целевые уровни показателей липидного спектра с назначением в большинстве случаев гиполипидемической терапии [<xref ref-type="bibr" rid="cit2">2</xref>][<xref ref-type="bibr" rid="cit3">3</xref>]. Кроме того, визуализация СКА может способствовать формированию более высокой приверженности пациента к выполнению рекомендаций по соблюдению здорового образа жизни и приему лекарственных препаратов [<xref ref-type="bibr" rid="cit23">23</xref>].</p><p>В связи с этим внедрение в клиническую практику диагностических алгоритмов, основанных на математических моделях, позволяющих при направлении пациента на УЗИ с высокой вероятностью прогнозировать получение положительного результата в отношении детекции атеросклеротической бляшки сонной артерии, представляется актуальной задачей.</p><p>Выбор в качестве исследуемой группы для разработки математических прогностических моделей нормотензивных пациентов с избыточным весом и ожирением, без сахарного диабета и/или ССЗ обусловлен целью включения в анализ пациентов с исходно “невысоким” ССР, у которых оптимизация системы риск-стратификации наиболее целесообразна, а также решения проблемного вопроса прогнозирования риска, связанного с феноменом гетерогенности фенотипов ожирения [<xref ref-type="bibr" rid="cit10">10</xref>][<xref ref-type="bibr" rid="cit11">11</xref>].</p><p>Ранее созданные модели прогнозирования вероятности выявления СКА методом МЛРА, предикторами в которых выступали параметры, оцениваемые при выполнении УЗИ, магнитнорезонансной и компьютерной томографии, суточного мониторирования показателей артериальной жесткости, анализов лабораторных маркеров воспаления, фиброза и нейрогуморальной активности висцеральной жировой ткани, характеризовались достаточно высоким уровнем прогностической способности [<xref ref-type="bibr" rid="cit14">14</xref>][<xref ref-type="bibr" rid="cit15">15</xref>]. Вместе с тем, они не могут быть имплементированы в реальную клиническую практику, оставаясь, в первую очередь, предметом интереса научных исследований.</p><p>Вместе с тем, применяя данный метод математической обработки информации о пациентах, включающей комплекс широкодоступных в клинической практике клинических и лабораторно-инструментальных параметров, мы не можем получить регрессионное уравнение оценки вероятности целевого события с высокой предсказательной способностью. В настоящем исследовании общий процент верных классификаций данной математической модели составил всего 73,2% при проценте верных положительных предсказаний 63,4%.</p><p>Напротив, разработанная математическая прогностическая модель оценки вероятности выявления СКА с помощью алгоритма МО Random Forest отличается высокой положительной предсказательной способностью (97%), чувствительностью (92%) и специфичностью (98%) [<xref ref-type="bibr" rid="cit20">20</xref>]. Данная прогностическая модель существенно превосходит математическую модель, полученную в ходе МЛРА, при сравнении площади под ROC-кривой: 0,97 (95% ДИ: 0,93-0,99) vs 0,76 (95% ДИ: 0,71-0,80).</p><p>Кроме того, данная модель способна функционировать и в случае меньшего, чем использовался при ее создании и валидации набора предикторов, с незначительным снижением своей прогностической способности [<xref ref-type="bibr" rid="cit16">16</xref>][<xref ref-type="bibr" rid="cit21">21</xref>].</p><p>Безусловно, перед внедрением в практическое здравоохранение прогностической математической модели, полученной методом МО, необходимо проведение ее внешней валидации на независимой от исходной базе данных; кроме того, целесообразна ее оптимизация в отношении расширения критериев включения при анализе аналогичных изучаемых выборок.</p></sec><sec><title>Заключение</title><p>Проведенный сравнительный анализ математических прогностических моделей оценки вероятности выявления СКА, созданных в результате обработки данных с помощью МЛРА и методов МО, выявил существенное превосходство последней в отношении предсказательной способности целевого события при изучении комплекса широкодоступных клинических и лабораторно-инструментальных параметров.</p><p>Интеграция математической модели, созданной с помощью методов МО, в диагностический алгоритм принятия решения о направлении пациента на УЗИ БЦА в рамках проведения риск-стратификации пациенту с “невысоким” ССР по шкалам-рискометрам, позволит значительно увеличить ее точность, оптимизируя при этом расходы на оказание медицинской помощи.</p><p>Отношения и деятельность. Исследование выполнено на уникальной научной установке “Многокомпонентный программно-аппаратный комплекс для автоматизированного сбора, хранения, разметки научно-исследовательских и клинических биомедицинских данных, их унификации и анализа на базе центра обработки данных с использованием технологий искусственного интеллекта” (регистрационный номер 2075518), при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665.</p><p>1. Tavasoli S. Top 10 Machine Learning Algorithms for Beginners: Supervised, Unsupervised Learning and More. https://www.simplilearn.com/10-algorithms-machine-learning-engineers-needtoknow-article. (3 March 2022).2. Scikit-learn Machine Learning in Python. https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html. (28 April 2022).</p></sec></body><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Бойцов С. А., Драпкина О. М., Шляхто Е. В. и др. Исследование ЭССЕ-РФ (Эпидемиология сердечно-сосудистых заболеваний и их факторов риска в регионах Российской Федерации). Десять лет спустя. Кардиоваскулярная терапия и профилактика. 2021;20(5):3007. doi:10.15829/1728-8800-2021-3007.</mixed-citation><mixed-citation xml:lang="en">Boytsov SA, Drapkina OM, Shlyakhto EV, et al. Epidemiology of Cardiovascular Diseases and their Risk Factors in Regions of Russian Federation (ESSE-RF) study. Ten years later. Cardiovascular Therapy and Prevention. 2021;20(5):3007. (In Russ.) doi:10.15829/1728-8800-2021-3007.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Кардиоваскулярная профилактика 2017. Российские национальные рекомендации. Российский кардиологический журнал. 2018;(6):7-122. doi:10.15829/1560-4071-2018-6-7-122.</mixed-citation><mixed-citation xml:lang="en">Cardiovascular prevention 2017. National guidelines. Russian Journal of Cardiology. 2018;(6):7-122. (In Russ.) doi:10.15829/1560-4071-2018-6-7-122.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Кухарчук В. В., Ежов М. В., Сергиенко И. В. и др. Диагностика и коррекция нарушений липидного обмена с целью профилактики и лечения атеросклероза. Российские рекомендации, VII пересмотр. Атеросклероз и дислипидемии. 2020;1(38):7-40. doi:10.34687/2219-8202.JAD.2020.01.0002.</mixed-citation><mixed-citation xml:lang="en">Kukharchuk VV, Ezhov MV, Sergienko IV, et al. Diagnostics and correction of lipid metabolism disorders in order to prevent and treat of atherosclerosis. Russian recommendations, VII revision. The Journal of Atherosclerosis and Dyslipidemias. 2020;1(38):7-40. (In Russ.) doi:10.34687/2219-8202.JAD.2020.01.0002.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Rossello X, Dorresteijn J, Janssen A, et al. Risk prediction tools in cardiovascular disease prevention: A report from the ESC Prevention of CVD Programme led by the European Association of Preventive Cardiology (EAPC) in collaboration with the Acute Cardiovascular Care Association (ACCA) and the Association of Cardiovascular Nursing and Allied Professions (ACNAP). Eur J Prev Cardiol. 2019;26(14):1534-44. doi:10.1177/2047487319846715.</mixed-citation><mixed-citation xml:lang="en">Rossello X, Dorresteijn J, Janssen A, et al. Risk prediction tools in cardiovascular disease prevention: A report from the ESC Prevention of CVD Programme led by the European Association of Preventive Cardiology (EAPC) in collaboration with the Acute Cardiovascular Care Association (ACCA) and the Association of Cardiovascular Nursing and Allied Professions (ACNAP). Eur J Prev Cardiol. 2019;26(14):1534-44. doi:10.1177/2047487319846715.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Смирнова М. Д., Свирида О. Н., Фофанова Т. В. и др. Алгоритм прогнозирования сердечно-сосудистых осложнений у больных низкого/умеренного риска с использованием “классических” и “новых” факторов (по данным десятилетнего наблюдения). Кардиоваскулярная терапия и профилактика. 2021;20(6):2799. doi:10.15829/1728-8800-2021-2799.</mixed-citation><mixed-citation xml:lang="en">Smirnova MD, Svirida ON, Fofanova TV, et al. Algorithm for predicting cardiovascular events in low/moderate risk patients using traditional and new factors: data from 10-year follow-up study. Cardiovascular Therapy and Prevention. 2021;20(6):2799. (In Russ.) doi:10.15829/1728-8800-2021-2799.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Wong Y, Tse H. Circulating Biomarkers for Cardiovascular Disease Risk Prediction in Patients with Cardiovascular Disease. Front Cardiovasc Med. 2021;8:713191. doi:10.3389/fcvm.2021.713191.</mixed-citation><mixed-citation xml:lang="en">Wong Y, Tse H. Circulating Biomarkers for Cardiovascular Disease Risk Prediction in Patients with Cardiovascular Disease. Front Cardiovasc Med. 2021;8:713191. doi:10.3389/fcvm.2021. 713191.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Baber U, Mehran R, Sartori S, et al. Prevalence, impact, and predictive value of detecting subclinical coronary and carotid atherosclerosis in asymptomatic adults: the BioImage study. J Am Coll Cardiol. 2015;65(11):1065-74. doi:10.1016/j.jacc.2015.01.017.</mixed-citation><mixed-citation xml:lang="en">Baber U, Mehran R, Sartori S, et al. Prevalence, impact, and predictive value of detecting subclinical coronary and carotid atherosclerosis in asymptomatic adults: the BioImage study. J Am Coll Cardiol. 2015;65(11):1065-74. doi:10.1016/j.jacc.2015.01.017.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Nezu T, Hosomi N. Usefulness of carotid ultrasonography for risk stratification of cerebral and cardiovascular disease. J Atheroscler Thromb. 2020;27(10):1023-35. doi:10.5551/jat.RV17044.</mixed-citation><mixed-citation xml:lang="en">Nezu T, Hosomi N. Usefulness of carotid ultrasonography for risk stratification of cerebral and cardiovascular disease. J Atheroscler Thromb. 2020;27(10):1023-35. doi:10.5551/jat.RV17044.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Li H, Xu X, Luo B, Zhang Y. The Predictive Value of Carotid Ultrasonography With Cardiovascular Risk Factors–A “SPIDER” Promoting Atherosclerosis. Front Cardiovasc Med. 2021;8:706490. doi:10.3389/fcvm.2021.706490.</mixed-citation><mixed-citation xml:lang="en">Li H, Xu X, Luo B, Zhang Y. The Predictive Value of Carotid Ultrasonography With Cardiovascular Risk Factors–A “SPIDER” Promoting Atherosclerosis. Front Cardiovasc Med. 2021;8:706490. doi:10.3389/fcvm.2021.706490.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Драпкина О. М., Елиашевич С. О., Шепель Р. Н. Ожирение как фактор риска хронических неинфекционных заболеваний. Российский кардиологический журнал. 2016;(6):73-9. doi:10.15829/1560-4071-2016-6-73-79.</mixed-citation><mixed-citation xml:lang="en">Drapkina OM, Eliashevich SO, Shepel RN. Obesity as a risk factor for chronic noncommunicable diseases. Russian Journal of Cardiology. 2016;(6):73-9. (In Russ.) doi:10.15829/1560-4071-2016-6-73-79.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Дружилов М. А., Кузнецова Т. Ю. Гетерогенность фенотипов ожирения в отношении сердечно-сосудистого риска. Кардиоваскулярная терапия и профилактика. 2019;18(1):161-7. doi:10.15829/1728-8800-2019-1-162-168.</mixed-citation><mixed-citation xml:lang="en">Druzhilov MA, Kuznetsova ТY. Heterogeneity of obesity phenotypes in relation to cardiovascular risk. Cardiovascular Therapy and Prevention. 2019;18(1):161-7. (In Russ.) doi:10.15829/1728-8800-2019-1-162-168.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Чумакова Г. А., Кузнецова Т. Ю., Дружилов М. А. и др. Висцеральное ожирение как глобальный фактор сердечно-сосудистого риска. Российский кардиологический журнал. 2018;(5):7-14. doi:10.15829/1560-4071-2018-5-7-14.</mixed-citation><mixed-citation xml:lang="en">Chumakova GA, Kuznetsova TY, Druzhilov MA, et al. Visceral adiposity as a global factor of cardiovascular risk. Russian Journal of Cardiology. 2018;(5):7-14. (In Russ.) doi:10.15829/1560-4071-2018-5-7-14.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Кузнецова Т. Ю., Чумакова Г. А., Дружилов М. А. и др. Роль количественной эхокардиографической оценки эпикардиальной жировой ткани у пациентов с ожирением в клинической практике. Российский кардиологический журнал. 2017;(4):81-7. doi:10.15829/1560-4071-2017-4-81-87.</mixed-citation><mixed-citation xml:lang="en">Kuznetsova TY, Chumakova GA, Druzhilov MA, et al. Clinical application of quantitative echocardiographic assessment of epicardial fat tissue in obesity. Russian Journal of Cardiology. 2017;(4):81-7. (In Russ.) doi:10.15829/1560-4071-2017-4-81-87.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Шенкова Н. Н., Веселовская Н. Г., Чумакова Г. А. и др. Прогнозирование риска субклинического атеросклероза брахиоцефальных артерий у женщин с ожирением. Российский кардиологический журнал. 2017;(4):54-60. doi:10.15829/1560-4071-2017-4-54-60.</mixed-citation><mixed-citation xml:lang="en">Shenkova NN, Veselovskaya NG, Chumakova GА, et al. Risk prediction for subclinical atherosclerotic lesion of brachiocephalic arteries in obese women. Russian Journal of Cardiology. 2017;(4):54-60. (In Russ.) doi:10.15829/1560-4071-2017-4-54-60.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Дружилова О. Ю., Дружилов М. А., Отмахов В. В. и др. Роль оценки жесткости артериальной стенки при прогнозировании атеросклероза сонной артерии у пациентов с абдоминальным ожирением. Терапевтический архив. 2016;4(88):24-8. doi:10.17116/terarkh201688424-28.</mixed-citation><mixed-citation xml:lang="en">Druzhilova OY, Druzhilov MA, Otmakhov VV, et al. Role of assessment of arterial wall stiffness in predicting carotid artery atherosclerosis in patients with abdominal obesity. Terapevticheskii Arkhiv. 2016;88(4):24-8. (In Russ.) doi:10.17116/terarkh201688424-28.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Гусев А. В., Гаврилов Д. В., Новицкий Р. Э. и др. Совершенствование возможностей оценки сердечно-сосудистого риска при помощи методов машинного обучения. Российский кардиологический журнал. 2021;26(12):4618. doi:10.15829/1560-4071-2021-4618.</mixed-citation><mixed-citation xml:lang="en">Gusev AV, Gavrilov DV, Novitsky RE, et al. Improvement of cardiovascular risk assessment using machine learning methods. Russian Journal of Cardiology. 2021;26(12):4618. (In Russ.) doi:10.15829/1560-4071-2021-4618.</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Narain R, Saxena S, Goyal A. Cardiovascular risk prediction: a comparative study of Framingham and quantum neural network based approach. Patient Prefer Adherence. 2016;10:1259-70. doi:10.2147/PPA.S108203.</mixed-citation><mixed-citation xml:lang="en">Narain R, Saxena S, Goyal A. Cardiovascular risk prediction: a comparative study of Framingham and quantum neural network based approach. Patient Prefer Adherence. 2016;10:1259-70. doi:10.2147/PPA.S108203.</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Dimopoulos A, Nikolaidou M, Caballero F, et al. Machine learning methodologies versus cardiovascular risk scores, in predicting disease risk. BMC Med Res Methodol. 2018;18(1):179. doi:10.1186/s12874-018-0644-1.</mixed-citation><mixed-citation xml:lang="en">Dimopoulos A, Nikolaidou M, Caballero F, et al. Machine learning methodologies versus cardiovascular risk scores, in predicting disease risk. BMC Med Res Methodol. 2018;18(1):179. doi:10.1186/s12874-018-0644-1.</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Quesada J, Lopez-Pineda A, Gil-Guillén V, et al. Machine learning to predict cardiovascular risk. Int J Clin Pract. 2019;73(10):e13389. doi:10.1111/ijcp.13389.</mixed-citation><mixed-citation xml:lang="en">Quesada J, Lopez-Pineda A, Gil-Guillén V, et al. Machine learning to predict cardiovascular risk. Int J Clin Pract. 2019;73(10):e13389. doi:10.1111/ijcp.13389.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Гаврилов Д. В., Кузнецова Т. Ю., Дружилов М. А. и др. Прогнозирование наличия субклинического каротидного атеросклероза у пациентов с избыточным весом и ожирением при помощи модели машинного обучения. Российский кардиологический журнал. 2022;27(4):4871. doi:10.15829/1560-4071-2022-4871.</mixed-citation><mixed-citation xml:lang="en">Gavrilov DV, Kuznetsova TYu, Druzhilov MA, et al. Predicting the subclinical carotid atherosclerosis in overweight and obese patients using a machine learning model. Russian Journal of Cardiology. 2022;27(4):4871. (In Russ.) doi:10.15829/1560-4071-2022-4871.</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Гаврилов Д. В., Серова Л. М., Корсаков И. Н. и др. Предсказание сердечно-сосудистых событий при помощи комплексной оценки факторов риска с использованием методов машинного обучения. Врач. 2020;31(5):41-6. doi:10.29296/25877305-2020-05-08.</mixed-citation><mixed-citation xml:lang="en">Gavrilov DV, Serova LM, Korsakov IN, et al. Cardiovascular diseases prediction by integrated risk factors assessment by means of machine learning. Vrach. 2020;31(5):41-6. (In Russ.) doi:10.29296/25877305-2020-05-08.</mixed-citation></citation-alternatives></ref><ref id="cit22"><label>22</label><citation-alternatives><mixed-citation xml:lang="ru">Iliyasu R, Etikan I. Comparison of quota sampling and stratified random sampling. Biom Biostat Int J. 2021;10(1):24-7. doi:10.15406/bbij.2021.10.00326.</mixed-citation><mixed-citation xml:lang="en">Iliyasu R, Etikan I. Comparison of quota sampling and stratified random sampling. Biom Biostat Int J. 2021;10(1):24-7. doi:10.15406/bbij.2021.10.00326.</mixed-citation></citation-alternatives></ref><ref id="cit23"><label>23</label><citation-alternatives><mixed-citation xml:lang="ru">Bengtsson A, Norberg M, Ng N, et al. The beneficial effect over 3 years by pictorial information to patients and their physician about subclinical atherosclerosis and cardiovascular risk: Results from the VIPVIZA randomized clinical trial. Am J Prev Cardiol. 2021;7:100199. doi:10.1016/j.ajpc.2021.100199.</mixed-citation><mixed-citation xml:lang="en">Bengtsson A, Norberg M, Ng N, et al. The beneficial effect over 3 years by pictorial information to patients and their physician about subclinical atherosclerosis and cardiovascular risk: Results from the VIPVIZA randomized clinical trial. Am J Prev Cardiol. 2021;7:100199. doi:10.1016/j.ajpc.2021.100199.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
