Разработка и валидация моделей машинного обучения, прогнозирующих госпитализации пациентов с артериальной гипертензией в течение 12 месяцев

Введение

Артериальная гипертензия (АГ) — это синдром повышения систолического (САД) артериального давления (АД) ≥140 мм рт.ст. и/или диастолического АД (ДАД) ≥90 мм рт.ст., обусловленный известной причиной (вторичная АГ), либо не связанный с выявлением явных причин, приводящих к развитию вторичных форм АГ (гипертоническая болезнь) [1].

АГ относится к категории заболеваний с неуклонными темпами роста распространенности и представляет большую угрозу за счет ранней инвалидизации и высокой смертности пациентов. Согласно приблизительным оценкам, ~10% мировых расходов на здравоохранение приходится на лечение и профилактику АГ [2]. При этом, на примере системы здравоохранения США, показано, что ежегодные расходы на госпитализацию по поводу АГ увеличились с 40 млрд за период с 1979 по 1982гг до 113 млрд за период с 2003 по 2006гг [3]. Таким образом, стабильный популяционный рост, увеличение продолжительности жизни, распространенность АГ и тяжесть ее осложнений приводят к значительному социальному ущербу и колоссальным экономическим расходам.

В научной литературе опубликованы результаты нескольких исследований, связанных с разработкой моделей на основе алгоритмов машинного обучения (МО) с целью прогнозирования развития отдельных осложнений у пациентов с АГ [4-11]. В этих работах сильно варьировали размеры наборов данных (от 3395 до 2037027 записей), а также были использованы различные клинические группы пациентов с АГ. В исследовании Lee SJ, et al. [6] в анализируемую группу дополнительно вошли пациентки с повышением АД во время беременности, а в исследовании Wu X, et al. [7] акцент сделан на АГ у молодых пациентов в возрасте 14-39 лет. Значение площади под характеристической кривой (AUROC) либо C-index, как интегральной метрики качества в задаче бинарной классификации, при проведении внутреннего тестирования существующих моделей, находилось в интервале 0,60-0,932 со средним значением 0,772 согласно результатам 4-х исследований [4][6][10][11]. В единственной публикации с описанием процедуры проведения внешней валидации [9] исследованы результаты модели, использующей значения 555 признаков, что делает ее неприменимой для клинической практики.

Таким образом, оценка риска внеплановой госпитализации пациентов с АГ и своевременное вмешательство в тактику их ведения на амбулаторном этапе особенно важны как для всего здравоохранения, так и для профилактики развития осложнений у отдельного пациента, a создание и внедрение многофакторной персонифицированной модели прогнозирования этих госпитализаций для дальнейшей ее практической апробации остается актуальной задачей.

Цель исследования — разработать с использованием алгоритмов МО модели прогнозирования госпитализаций пациентов с артериальной гипертензией (АГ) в течение 12 мес. и провести их валидацию на данных реальной клинической практики.

Материал и методы

Проведено многоцентровое ретроспективное обсервационное исследование. Основой для него послужила база данных платформы Webiomed, содержащая обезличенные данные электронных медицинских карт (ЭМК) 11,6 млн пациентов. Для анализа был собран набор данных, включающий 1165770 записей о 151492 пациентах с диагнозом АГ, обозначенным в ЭМК соответствующими кодами международной классификации болезней 10 пересмотра (МКБ-10) (таблица 1), в возрасте 18-100 лет за период с 2000 по 2023гг из 11 регионов РФ. Каждая запись представляла собой случай оказания медицинской помощи, включая врачебные осмотры, а также инструментальные и лабораторные исследования. Из полученного набора данных были отложены 44527 записей из одного отдельного региона для проведения внешней валидации [12]. Оставшиеся данные были разделены на обучающую (80%) и тестовую выборки (10%), 10% были использованы для настройки гиперпараметров различных алгоритмов МО (рисунок 1).

В качестве целевого события в исследовании выступал факт госпитализации пациента в круглосуточный стационар по поводу самой АГ и/или ее осложнений в течение года после исследуемого случая лечения. В процессе сбора данных случаи, после которых не было зафиксировано таких госпитализаций, но отсутствовала какая-либо информация о пациенте через >12 мес., исключались из набора. Коды МКБ-10, использовавшиеся для отбора пациентов с АГ, а также определения наличия целевого события (класс 1) или его отсутствия (класс 0), представлены в таблице 1.

Платформа Webiomed поддерживает автоматическое извлечение >2900 машиночитаемых признаков из ЭМК, включая социо-демографические, антропометрические, лабораторные, инструментальные, физикальные и анамнестические данные. Из всего этого множества медицинским экспертом изначально был отобран 61 признак в качестве предикторов госпитализации пациентов с АГ (приложение 1). Количественные признаки с заполненностью менее чем в 10% записей для разработки и валидации моделей не использовались.

Основные этапы обработки данных и моделирования проводились согласно разработанной методике, описанной в предыдущих работах [13, 14]. Для статистического анализа и построения моделей МО использовали язык программирования Python версии 3.9. Результаты анализа количественных данных представлены в виде медианы (Ме) и интерквартильного размаха (Q25-Q75), а также минимальных и максимальных значений (Min-Max), а категориальных — в виде долей. Сравнение количественных переменных между группами с целевым событием и без него проводилось с использованием теста Манна-Уитни, категориальных — с помощью χ². Значение p<0,05 принималось за статистически значимое. Для анализа эффективности и качества моделей использовали AUROC [15]. Доверительные интервалы (ДИ) метрики оценивали с помощью метода бутстрапинг на основе случайной генерации тысячи псевдовыборок из 5 тыс. наблюдений [16]. Пороговые значения для активации определялись с использованием индекса Юдена, а также целевых уровней прогностических ценностей для отрицательного (0,999) и положительного (0,5) результатов (ПЦОР/NPV/negative predictive value и ПЦПР/PPV/positive predictive value, соответственно).

При обработке наборов данных к пропущенным значениям в количественных признаках, а также значениям, выходящим за границы, установленные медицинским экспертом на основании клинической практики, применялось заполнение фиксированной константой "-10000" [17]. Упомянутые границы значений представлены в приложении 1. Заполнение пропусков в бинарных признаках проводилось с помощью нулей (отрицание наличия признака). На этапе масштабирования данных использовали несколько подходов: их трансформацию с помощью гистограммной нормализации или стандартизации, а также использование данных в изначальной размерности [18][19]. Для исследования целесообразности коррекции дисбаланса классов использовались следующие алгоритмы: Random Undersampling, Random Oversampling, Synthetic Minority Oversampling Technique и Adaptive Synthetic Sampling Approach [20].

Моделирование включало использование логистической регрессии (LR) c L2 регуляризацией, алгоритмов градиентного бустинга (AdaBoost, LightGBM, XGBoost, CatBoost), бэггинга (Random Forest, Extra Trees), линейного и квадратичного дискриминантного анализа, наивного байесовского классификатора и нейронной сети (Multi-layer Perceptron) с одним скрытым слоем из ста нейронов, функцией активации "Relu", L2 регуляризацией и оптимизацией на основе стохастического градиентного спуска.

Первый этап моделирования проводили с использованием всех признаков, включенных в набор после консультации с медицинским экспертом (приложение 1). Для каждой из архитектур итеративно проверяли все возможные подходы к обработке данных с использованием различных комбинаций заполнения пропусков, масштабирования, и коррекции дисбаланса классов. Для дальнейшего изучения использовали ту обработку, при которой, после обучения модели с дефолтными гиперпараметрами, было получено максимальное значение AUROC на наборе данных для внутреннего тестирования. Определение же оптимальных гиперпараметров для всех алгоритмов проводилось с использованием PyCaret [21] и Random Grid Search [22] на обработанных соответствующим образом данных, оптимизируя AUROC на отложенном наборе для настройки гиперпараметров. Сам поиск заложен в структуру модуля и происходит по заранее сформированным на основе опыта создателей библиотеки сеткам значений, которые могут, при необходимости, быть модифицированы. После этой процедуры модели были повторно обучены на обучающем наборе с использованием отобранных гиперпараметров.

На основании чисел Шепли [23] были отобраны признаки, совокупная значимость которых составила не <95% от значимости всех признаков для лучшей по итогам первой фазы обучения модели на основе XGBoost (приложение 2). С использованием только этих предикторов, в уже определенной ранее соответствующей обработке, для всех алгоритмов был проведен второй этап моделирования, в котором были повторены шаги с настройкой гиперпараметров и непосредственным обучением моделей. До внешней валидации допускались те модели, которые показали пересечение 95% ДИ AUROC на наборах данных для обучения и внутреннего тестирования (рисунок 2). В этот список вошли модели на основе LR, LightGBM, XGBoost, CatBoost, RandomForest, ExtraTrees и Multi-layer Perceptron. Выбор итоговой модели основывался на максимальном значении AUROC по итогам проведенной внешней валидации, пересечении ДИ метрики и минимальном различии порогов активации на основе индекса Юдена при внутреннем тестировании и внешней валидации.

Результаты

Заполненность признаков в наборе данных до разделения его на выборки для разработки и внешней валидации отражена на рисунке 3. Среди жалоб чаще всего встречались слабость, кашель, головная боль, головокружение, боль за грудиной, нарушение зрения, отеки и одышка. Самыми распространенными осложнениями были цереброваскулярные катастрофы, ишемическая болезнь сердца (ИБС), аритмии, варикозное расширение вен нижних конечностей и сердечная недостаточность (СН).

В результате формирования набора данных для разработки в группу с целевым событием были включены 49634 (4%) записи. Оставшиеся 1071609 (96%) были отнесены к группе без целевого события (класс 0). При сравнении двух классов в этом наборе были выявлены статистически значимые различия ряда предикторов (приложение 1), таких как масса тела, возраст, количество госпитализаций и обращений в поликлинику за последние 12 мес., уровни глюкозы, холестерина, САД, ДАД, частота дыхательных движений и частота сердечных сокращений. В классе 1 чаще встречались жалобы на боль за грудиной, головную боль, головокружение, нарушение зрения, носовые кровотечения, одышку, отеки, тошноту и рвоту. Пациенты класса 1 чаще имели отягощенную наследственность по инфаркту миокарда, а также ожирение, сахарный диабет (СД), ИБС, СН, аритмии и цереброваскулярные заболевания.

В набор данных для внешней валидации вошло 44527 записей пациентов: класс 1 — 4335 (9,7%), класс 0 — 40192 (90,3%). При сравнении распределения и частоты выявления предикторов между двумя наборами обнаружены значимые различия для СД, дислипидемии, железодефицитной анемии, ИБС, почечной недостаточности, фибрилляции предсердий, цереброваскулярных заболеваний, СН и ряда других признаков.

Значения AUROC, полученные на наборах для внешней валидации, внутреннего тестирования и обучения для всех отобранных архитектур, представлены в таблице 2. Модель XGBoost продемонстрировала лучшую способность различать классы 1 и 0, а также стабильность на внешних данных, используя итоговые 43 признака. Значение метрики AUROC составило 0,849 (95% ДИ: 0,825-0,873) при внутреннем тестировании и 0,815 (95% ДИ: 0,797-0,835) при внешней валидации. Модель на основе LightGBM также успешно прошла внешнюю валидацию и соответствовала всем критериям алгоритма отбора (рисунок 2). Однако предпочтение было отдано XGBoost на основании наименьшего различия между рассчитанными максимумами индекса Юдена согласно внутреннему тестированию и при внешней валидации.

Для разделения записей на три группы риска [24] на наборе данных для тестирования нами дополнительно рассчитаны два порога активации в зависимости от целевых ПЦОР (0,999) и ПЦПР (0,5). ROC-кривая модели XGBoost при проведении внешней валидации с указанием трех порогов представлена на рисунке 4. Для внешних данных точность модели с порогом классификации 0,232, при котором достигнуто целевое значение ПЦОР на внутреннем тестировании (0,999), составила 0,2 (95% ДИ: 0,189-0,021). Чувствительность при этом составила 0,996 (95% ДИ: 0,986-1,000), а специфичность — 0,163 (95% ДИ: 0,152-0,173). При использовании второго порога (0,978) с ожидаемой ПЦПР при тестировании, равной 0,5, метрики качества были следующими: точность — 0,956 (95% ДИ: 0,950-0,961), чувствительность — 0,083 (95% ДИ: 0,047-0,012), специфичность — 0,996 (95% ДИ: 0,994-0,998). Значимость 10-и наиболее значимых для итоговой модели признаков, определённых по модулю чисел Шепли, показана на рисунке 5.

Обсуждение

Методы МО хорошо зарекомендовали себя в разработке прогностических инструментов для определения исходов многофакторных заболеваний. При этом в качестве предикторов, используются рутинные клинические и лабораторно-инструментальные параметры, которые можно легко отслеживать и контролировать при визите пациента. Однако среди опубликованной на настоящий момент литературы, нами не было найдено ни одной публикации, где в качестве целевого события использовался именно факт госпитализации пациента по поводу осложнений АГ. Среди немногих работ, связанных с изучением течения этого заболевания, в качестве цели исследования чаще всего использовалось прогнозирование развития сердечно-сосудистых катастроф или заболеваний почек [4-11].

В ряде публикаций, как и в нашей работе, был отмечен выраженный дисбаланс классов в сформированных наборах данных. При этом только несколько коллективов описали использование алгоритмов балансировки при разработке моделей [4][6][8], однако без проведения аналогичных нашему сравнений влияния различных подходов на значение целевой метрики качества. Только в двух работах был описан сам алгоритм определения целевого события, и основывался он на наличии выбранных кодов по МКБ-10 в ЭМК пациента и датах их регистрации [5][6]. Данная особенность является недостатком как настоящего, так и упомянутых исследований, ввиду возможности оказания медицинской помощи пациенту в медицинской организации, данные от которой не использовались, а также риска ошибки с кодированием диагнозов в реальной практике. Другими важными ограничениями являются изменение подходов к лекарственной терапии за период сбора данных в 21 год, невысокая точность извлечения препаратов и их доз, а также невозможность оценки приверженности пациентов терапии, которые не позволили нам включить лекарственную терапию в обучение моделей. Вместе с тем необходимо отметить, что лекарственная терапия напрямую влияет на значения признаков, участвующих в прогнозе модели (показатели АД, поражение органов-мишеней), и таким образом — на целевое событие разработанной модели.

Отдельного внимания заслуживает присутствие пропусков среди значений количественных признаков. Использование таких данных, с одной стороны, позволяет подготовить модель к условиям реальной практики и работе с ограниченной информацией о пациенте, а с другой — может приводить к смещениям оценок. На примере этого набора нами была выявлена примечательная особенность интерпретации данных линейными алгоритмами МО, обученными при подавляющем количестве пропусков. В этом случае они оказались чувствительны к используемому методу заполнения и переставали оценивать количественные признаки как дискретные, а вместо этого выделяли две категории: записи c реальным значением и заполненной константой. Данная проблема, с нашей точки зрения, значима ввиду потери большого объёма информации, которую можно получить из изменчивости признака, и, возможно, стала основной причиной слабых результатов методов, основанных не на деревьях решений. Все это открывает перспективу для новых исследований, в которых стоит определить оптимальную пороговую заполненность количественных признаков в наборах данных для обучения моделей.

В настоящей работе предложено разделение пациентов на три группы риска с помощью двух порогов активации, что имеет значительную клиническую ценность. Первый порог позволяет точно и эффективно выделить пациентов с низким риском госпитализации, что дает возможность избежать излишней медицинской нагрузки и проведения ненужных обследований. Второй порог, с высокой специфичностью, помогает с уверенностью выявить пациентов с высоким риском, что позволяет заранее корректировать стратегию лечения и более агрессивно вмешиваться в процессе их наблюдения. Это может существенно улучшить прогноз и качество жизни таких пациентов, снизив вероятность развития осложнений, требующих госпитализации. Такой подход способствует более точному и персонализированному оказанию помощи, что является критически важным в условиях перегрузки системы здравоохранения. Эти факты подчеркивают значительный потенциал разработанной модели как дополнительного инструмента для скрининга пациентов с АГ. С учетом устойчивости модели, продемонстрированной при внешней валидации, ее можно использовать в практических проспективных исследованиях.

Заключение

В результате исследования была успешна разработана и валидирована модель МО на основе XGBoost, метрики которой соответствовали результатам инструментов, представленных в ранее опубликованных исследованиях. Результаты внешней валидации подтвердили, что модель сохраняет свою стабильность при обработке данных из других регионов, что, в сочетании с её качественными характеристиками, свидетельствует о возможности ее применения в реальной клинической практике. Подход, включающий выделение трех групп риска, значительно увеличивает ценность настоящей разработки, позволяя формировать группы пациентов с реально высоким или низким риском госпитализации.

Отношения и деятельность: все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.