«Теневой искусственный интеллект» в медицине: масштабы, риски и стратегии управления

Генеративный искусственный интеллект стремительно проникает во все сферы здравоохранения – от клинической документации до поддержки принятия врачебных решений и коммуникации с пациентами. Однако внедрение технологий опережает разработку организационных политик и систем управления. Результатом этого разрыва стал феномен «теневого ИИ» – использование сотрудниками инструментов искусственного интеллекта без официального одобрения со стороны ИТ-отдела или руководства организации здравоохранения.

Теневой ИИ (Shadow AI) – это использование систем искусственного интеллекта без административного одобрения или надзора. В медицинском контексте речь идет о клиницистах и администраторах, вводящих данные пациентов в публичные чат-боты (ChatGPT, Claude, Copilot, Gemini и др.), которые обрабатывают информацию на зарубежных серверах.

В 2025 году «теневой ИИ» перестал быть гипотетической угрозой и стал реальностью. Данное явление наблюдается на территории США, Канады и Великобритании. Согласно оценкам канадских специалистов, несмотря на дефицит статистических данных, разрозненные свидетельства подтверждают распространение подобных практик в медицинских учреждениях страны.

Всеобъемлющие опросы, судебные иски и инциденты безопасности подтверждают, что данная проблема требует пристального внимания со стороны руководителей министерств и ведомств сферы здравоохранения, ИТ-специалистов и клиницистов.

Масштабы использования «теневого ИИ» в медицине

Так, опрос, проведенный американской компанией Wolters Kluwer Health в декабре 2025 года среди 518 сотрудников контакт-центров, регистратур больниц и специалистов, обеспечивающих функционирование медицинских информационных систем, телемедицинских платформ, электронных медкарт других учреждений здравоохранения, показал, что 57% медицинских работников встречали или использовали неавторизованные AI-инструменты; 40% – осведомлены о существовании теневого ИИ в своей организации; 15% врачей, 19% администраторов лично использовали неавторизованные AI-инструменты; 10% медперсонала – применяли для непосредственного ухода за пациентами.

Данные других исследований указывают на то, что 58% сотрудников, непосредственно взаимодействующих с клиентами и общественностью (frontline employees), использовали публичные AI-инструменты (ChatGPT, Copilot, Gemini) для работы как минимум один раз за последний месяц; 39% – еженедельно или чаще.

Практически каждый пятый врача общей практики Великобритании использует генеративный ИИ для обработки электронных писем и внутренней переписки, создания обучающих материалов для пациентов, а также составления клинических отчетов или заметок.

Из опроса, проведенного Радиологическим обществом Северной Америки (Radiological Society of North America, RSNA), следует, что 80% врачей-радиологов сообщили о негласном использовании теневого ИИ в своих организациях, преимущественно для составления отчетности и повышения уровня своего образования; 22% организаций здравоохранения частным образом (неофициально) внедрили AI-инструменты на свои рабочие компьютеры; 17% пользователей «теневого ИИ» признались, что иногда или часто включают идентифицируемые данные пациентов в запросы; еще 27% отметили, что случаи подобного рода фиксируются крайне редко, но иногда случается.

Основными причины возникновения «теневого ИИ» в медицине являются:

Отсутствие утверждённых альтернативных решений. Это частая причина. Врачи сталкиваются с высокой бюрократической нагрузкой: нужно быстрее заполнять истории болезни, расшифровывать записи, подбирать клинические рекомендации. Если в организации нет готового, отлаженного инструмента под конкретную задачу, например, обобщение анамнеза или перевод исследований, медработники в обход официальных процедур и ИТ-инфраструктуры клиники используют сторонние, часто публичные нейросети (ChatGPT, DeepSeek или других открытых моделей) для выполнения должностных обязанностей. В проведенных опросах почти 40% респондентов связывают использование неутверждённых инструментов именно с этим.

· Медленное внедрение. Даже если у медучреждения есть какие-то ИИ-решения, их развёртывание может идти слишком долго. Например, в системе SSM Health (католическая некоммерческая система здравоохранения в США) доступ к инструменту ambient-документации получили лишь 2% врачей, а сотни стояли в листе ожидания. В условиях, когда нужно оперативно решать рабочие задачи, такая задержка подталкивает сотрудников искать более быстрые варианты «на стороне».

· Неравное участие в разработке политик. Когда в создании правил и стратегий по ИИ доминируют администраторы, а мнение врачей-клиницистов не учитывается, например, в соотношении 30% против 9%), это создаёт разрыв. Врачи чувствуют, что их реальные рабочие задачи и потребности не принимаются в расчёт. В результате утверждённые инструменты могут не закрывать реальные потребности персонала, и сотрудники идут в обход.

Необходимо отметить, что обычно врачи не используют «теневой» ИИ со злым умыслом. Главная мотивация – снизить нагрузку и сэкономить время. Проблема в возникающих рисках при таком использовании, например, загрузка выписок или данных анамнеза в публичную нейросеть способствуют утечке конфиденциальных данных.

Примеры использования «теневого ИИ» в медицинской практике:

1. Клинические случаи:

· Написание клинических заметок. Врач загружает в публичный чат-бот диктофонную запись приёма или черновик истории болезни, чтобы ИИ составил текст заметки, эпикриза или плана лечения. Иногда модель даже подбирает шаблоны под специализацию врача.

· Перевод выписных эпикризов и обобщение данных. Нейросеть помогает структурировать разрозненную информацию из разных источников (анализы, диагнозы, назначения) в понятный текст.

· Ответы на сообщения пациентов в порталах (мобильные приложения для клиник). ИИ генерирует шаблонные ответы на частые вопросы (например, про подготовку к анализам или режим дня), чтобы администратор мог быстрее реагировать.

· Создание образовательных материалов. Сложную клиническую информацию, например, о заболевании, схеме приёма лекарств и т.п. переводят в простой, доступный для пациента язык.

· Суммирование клинической информации и сообщений. Например, врач может попросить ИИ выделить основные симптомы и назначения из целой пачки электронных писем или чатов с пациентами, чтобы не читать всё вручную.

2. Лабораторные задачи:

· Написание корректирующих действий при сбоях контроля качества. Если в лаборатории случается отклонение от нормы, врач может обратиться к ИИ за формулировкой шагов для устранения проблемы.

· Подготовка ответов на замечания профессиональных сообществ. Например, на практические рекомендации и протоколы Колледжа американских патологоанатомов (College of American Pathologists) ИИ-модель помогает собрать аргументы и структурировать ответ.

· Создание планов валидации для нового лабораторного оборудования. ИИ помогает выстроить логику испытаний и определить критерии оценки надежности, обеспечивающие достоверную проверку работоспособности устройства.

3. Административные процессы:

· Анализ данных и предиктивная аналитика. Врач может использовать ИИ, чтобы быстрее обработать статистику по заболеваемости, выявить группы риска или спрогнозировать нагрузку на отделение.

· Составление писем и внутренних коммуникаций. Нейросеть помогает написать служебную записку, запрос в другое отделение или шаблон уведомления для коллег.

· Планирование приёма пациентов и управление расписанием. ИИ может предлагать оптимальные слоты, напоминать о визитах, распределять нагрузку между врачами.

Главный риск состоит в том, что при таком «теневом» использовании ИИ-модели сотрудники часто загружают в публичные сервисы конфиденциальные данные: фрагменты медкарт, диагнозы, результаты анализов, коммерческую тайну, а эти данные могут храниться на серверах провайдера, использоваться для дообучения моделей или стать доступными другим пользователям. Для медицинской организации это чревато утечками, нарушениями законодательства и репутационными потерями.

Свидетельством утечки информации, связанной с неконтролируемым использованием нейросетей в медицине, является инцидент с ИИ-агентом, произошедший в ноябре 2025 года в Канаде. В одной из больниц г. Онтарио стало известно о нарушении конфиденциальности сведений составляющих врачебную тайну. ИИ-бот Otter.ai (предназначен для транскрипции речи в текст с использованием ИИ) автоматически подключился к виртуальному совещанию врачей, записал обсуждение, касающееся семи пациентов, и разослал расшифровку с именами, диагнозами и деталями лечения 65 абонентам, включая бывших сотрудников. Основной причиной случившегося стало использование неутвержденного руководством учреждения «теневого ИИ» на личных устройствах персонала. Инцидент стал предметом расследования Комиссара по вопросам информации и неприкосновенности частной жизни провинции Онтарио (Information and Privacy Commissioner of Ontario, IPC).

Также при манипуляциях с медицинскими данными не исключено проявление феномена, известного как «Эффект мозаики». Эксперты предупреждают, что даже обезличенные данные могут быть идентифицированы при комбинации с другой информацией. Например, в запрос может быть включен точный возраст, локация, тип учреждения и необычная комбинация симптомов – вместе эти «анонимные» детали идентифицируют пациента. «Эффект мозаики» делает проблему обезличивания данных в публичных ИИ-системах особенно острой.

Риски и угрозы теневого ИИ

Специфика рисков – теневой ИИ оперирует не только непроверенным программным обеспечением, а системами, способными «галлюцинировать», генерировать клинически опасные рекомендации и безвозвратно передавать конфиденциальные данные третьим сторонам.

При использовании медперсоналом «теневого ИИ» могут возникнуть критические для безопасности пациентов риски, например:

· Галлюцинации и ошибки ИИ. Это ситуация, когда ИИ-модель выдаёт неточный, выдуманный или вводящий в заблуждение результат. В медицинской сфере подобные риски особенно опасны. Существует вероятность того, что алгоритм пропустит значимые клинические показатели, не примет во внимание специфику анамнеза или допустит генерацию недостоверных данных касательно диагноза и протокола лечения. Например, ИИ может рекомендовать фторхинолоны для лечения инфекции мочевыводящих путей, не учитывая, что пациентка беременна (противопоказано). Подобные ошибки могут привести к серьёзному вреду здоровью или даже летальному исходу.

· Отсутствие клинической валидации. «Теневые» инструменты – это общедоступные нейросети, которые не проходили проверку в реальных клинических условиях. Отсутствие проверенных данных об их доказанной эффективности, безопасности и прогностической точности применительно к различным группам пациентов делает невозможным подтверждение их надежности. Использование подобных решений несет риск снижения качества медицинской помощи и возникновения новых угроз безопасности пациента.

· Дескиллинг (снижение клинических навыков). Чрезмерная зависимость от систем искусственного интеллекта сопряжена с серьезными когнитивными и профессиональными рисками. Существует опасность делегирования ответственности алгоритму, что ведет к снижению критической оценки клинических данных и игнорированию индивидуальных особенностей пациента. Подобная практика чревата деградацией клинического мышления и постепенной утратой врачом профессиональных навыков.

Но риски не ограничиваются только клиническими решениями. Когда сотрудники загружают в сторонние сервисы медицинские данные (выписки, снимки, анамнез), возникает угроза утечки конфиденциальной информации.

«Защищенная медицинская информация» (Protected Health Information, PHI) – это специальная категория персональных данных, и их бесконтрольная передача во внешние сервисы нарушает закон о защите данных, ведёт к риску компрометации личной медицинской информации пациентов.

Кибербезопасность.

В медицинских организациях хранится очень чувствительная информация. Поэтому сбой в работе ИИ-систем, например, из-за атаки шифровальщика, парализует клинику: переносятся операции, нарушается доступ к электронным рецептам и телемедицинским сервисам. Для самой организации это репутационный риск, а также вероятность выставления многомиллионных штрафов от надзорных органов.

Кроме того, происходит компрометация данных. Утечка защищенной медицинской информации происходят «тихо» – когда данные просто копируются и вставляются в «теневой ИИ», а киберпреступники совершают атаки на такие инструменты, незаконно используемые медицинским персоналом. При этом сигналы тревоги и брандмауэры не срабатывают.

Примерами такого воздействия являются:

1. Атака на модели машинного обучения Membership Inference Attacks (MIA), при которых злоумышленник пытается определить, была ли конкретная запись данных («запись-член») включена в обучающую выборку модели. Успех такой атаки означает утечку чувствительной информации: например, о медицинской истории, финансовом состоянии или личных предпочтениях человека.

MIA эксплуатируют тот факт, что модели часто ведут себя по-разному на данных из своего обучающего набора и на новых, ранее не встречавшихся. Ключевой механизм – переобучение (overfitting), из-за которого модель запоминает обучающие примеры и выдаёт более уверенные прогнозы именно для них.

Атакующий, как правило, имеет доступ к модели по принципу «чёрного ящика»: он может отправлять запросы, например, изображения, текст и получать ответы – предсказания, вероятности.

2. Пороговые методы (Score Thresholding). Атакующий вычисляет метрики (потерю, уверенность предсказания, энтропию распределения вероятностей) для целевой выборки и сравнивает их с заранее заданным порогом. Если метрика выше порога – выборка помечается как «член».

3. Атака на основе «теневых» моделей (Shadow Model Attack). Злоумышленник самостоятельно обучает несколько моделей («теневых»), которые имитируют поведение целевой модели на вспомогательном наборе данных. Для каждого примера в этом наборе (как «члены», и как «не члены») известны истинные метки принадлежности. На основе полученных выходных данных обучается бинарный классификатор, который затем используется для вывода о принадлежности целевой выборки.

4. Атака на основе отношения правдоподобия (Likelihood-Ratio Attack, LiRA). В этом подходе модель жертвы сравнивается с эталонной моделью, обученной на похожих данных. Атакующий анализирует отношение потерь или выходных вероятностей между целевой моделью и эталоном, чтобы сделать вывод о принадлежности.

5. Атака с использованием семантики (Semantic MIA). Для больших языковых моделей применяются методы, анализирующие не просто вероятностные выходы, а семантическое содержание текста и его вариации (например, добавление или удаление одного слова).

6. Атака на основе аугментации данных (Data Augmentation Attack). Злоумышленник наблюдает за тем, как модель реагирует на различные преобразования входных данных (вращение, сдвиг изображения), и использует эту чувствительность как признак.

7. Атака «Косинусное сходство» (Cosine Similarity Attack). Для мультимодальных моделей (например, текст плюс изображение) вычисляется косинусное сходство между признаками текста и изображения целевой выборки. Если сходство превышает порог – выборка помечается как «член».

Необходимо отметить, что эффективность атак сильно зависит от контекста:

· Адаптивность. Некоторые атаки могут переобучать теневые модели уже после того, как увидели запросы на членство, что делает их более опасными.

· Сложность данных. Если данные сами по себе имеют сложную структуру, это может затруднить идентификацию членов и не членов.

· Защита со стороны модели. Некоторые методы защиты (например, добавление шума к векторам вероятностей – MemGuard) могут сами стать мишенью для адаптивных атак, создавая «адверсариальные примеры».

Успешная реализация MIA-атаки может привести к серьёзным последствиям: Утечке медицинской истории пациента, его финансовых данных, возможности идентификации принадлежности человека к определённой социальной или профессиональной группе, что может повлечь за собой риски дискриминации.

Управление «теневым ИИ»: стратегии и подходы

Следует отметить, что тотальные запреты часто дают обратный эффект – люди уходят в ещё более скрытые и рискованные схемы. Игнорирование проблемы и бездействие ведёт к накоплению проблем. Поэтому эффективнее перевести «теневой ИИ» в управляемый контур.

Изменение парадигмы: от запрета к управлению

Ведущие CMIO единодушны в том, что «теневой ИИ» – это «сигнал неудовлетворенной потребности, а не сбой комплаенса». Например, UVM Health System избрала подход – «разрешать, а не блокировать», который включает:

· Внедрение DLP-системы для блокировки ввода данных пациентов в публичные ИИ-платформы. Система отслеживает попытки передачи конфиденциальной информации (имена, диагнозы, номера карт) в сторонние сервисы и пресекает их, если это нарушает внутренние политики безопасности.

· Образовательные кампании о допустимом использовании ИИ.

· Создание «Совет по управлению ИИ» (AI Governance Council) с участием клинического руководства. Он призван вырабатывать общие принципы, правила и стандарты работы с ИИ, координировать использование технологий, разрешать спорные вопросы, следить за соответствием общим целям организации, этическим нормам и регуляторным требованиям.

В целом, DLP решает техническую задачу по блокировке каналов утечки, образовательные программы формируют осознанность, а совет задаёт стратегические рамки – как именно и с какими ограничениями можно и нужно использовать ИИ, чтобы это приносило пользу пациентам и не создавало риски.

Предпринимаемые практические шаги:

· Аудит используемого ИИ. Для этого медучреждениям необходимо начать с прямого опроса персонала. Это критически важный шаг. Он поможет выявить «слепые зоны»: какие инструменты сотрудники уже используют неофициально, например, публичные нейросети. Какие данные передаются вовне и как это отражается на конфиденциальной информации. В дальнейшем на основе ответов составляется карта текущих практик, определяются какие пробелы имеются в политике организации и какие процессы необходимо автоматизировать.

· Создание межфункциональной группы. В нее включают: представителей клинической службы (практикующих врачей), комплаенса, ИТ-специалистов, операционный блок (логистика и закупки, финансы и бухгалтерия), управления персоналом (отдел кадров), образовательные платформы (обеспечение повышения квалификации сотрудников). Группа сможет координировать дальнейшие шаги – от аудита до разработки политик.

· Четкое определение утвержденных инструментов, запрещенных данных и ответственности. После аудита и формирования группы формулируются выводы в правила. В документе фиксируется: какие ИИ-инструменты разрешены для каких задач; какие категории данных (персональные, финансовые, интеллектуальная собственность) категорически нельзя загружать во внешние сервисы; кто и за что несёт ответственность (например, за корректность результатов, соблюдение политик безопасности). Кроме того, прописываются примеры допустимых сценариев и последствия нарушений.

· Проверка вендоров. Проведение анализа контракта BAA (Business Associate Agreements) – берёт ли провайдер на себя обязательства по защите медицинских данных, которые ему передаются (обеспечение конфиденциальности, целостности и доступности информации, обрабатываемой посредством сторонних облачных сервисов). Контроль доступа (как продавец управляет правами доступа к данным, есть ли механизмы аудита и мониторинга действий). Политика хранения данных (где и как долго хранятся данные, есть ли механизмы их обезличивания перед передачей).

Таким образом, «теневой ИИ» – это симптом глубокой проблемы: разрыва между потребностями медицинского персонала в эффективных инструментах и возможностями системы здравоохранения. Решение лежит в не в введении запретительных мер, а в плоскости создания экосистемы, где искусственный интеллект является безопасным и прозрачным помощником, а не источником рисков. Основная проблема заключается в нахождении баланса между инновациями и защитой данных, чтобы технологии действительно улучшали, а не снижали качество и безопасность медицинской помощи.