Присущая человеческая предвзятость в данных может быть унаследована системами искусственного интеллекта, так что «модель изучает определенные предубеждения против маргинализированных идентичностей», которые «могут быть вредными в клинических условиях» (Сезгин и др., 2022, стр. 4). Эти человеческие предрассудки могут проявляться в неточных рекомендациях, оскорбительных выражениях, игнорировании жалоб пациентов или подтверждении суицидальных мыслей (Сезгин и др., 2022). Клинические предубеждения, такие как исторические исследования маргинализированных групп населения или неявные предубеждения поставщиков медицинских услуг, могут непреднамеренно внести предвзятость в модели прогнозирования, что может повлечь за собой ненадежные диагнозы и методы лечения. Системы искусственного интеллекта также могут не предоставлять «актуальную и достоверную информацию, что может привести к распространению дезинформации» (Сезгин, 2020, стр. 2). Более того, как Yang et al. (2021) отмечают, что технологические компании могут использовать рекламу для компенсации затрат на разработку и внедрение, что может привести к дополнительному «предвзятому отношению к конкретному лечению или услуге» (стр. 6).

«Клиническая полезность является серьезной проблемой для учреждений», а это означает, что успешное внедрение систем ИИ требует строгой системы оценки для интерпретации результатов модели и оценки качества вмешательства ИИ (Сезгин, 2022, стр. 4). Ян и др. (2021) сообщают, что уровень целесообразности клинических рекомендаций, предоставляемых голосовыми помощниками (VA), колеблется в пределах 14–29%, а точный тест Фишера для оценки точности между четырьмя различными моделями не показал значительного превосходства. Последнее требует усовершенствованных методов оценки, поскольку все четыре модели используют разные системы искусственного интеллекта. Однако современные методы оценки полагаются на структуры глубокого обучения «черного ящика» для генерации интерпретации модели, что из-за ограниченной прозрачности приводит к «снижению доверия… и снижению вероятности развертывания модели» (Сезгин, 2022, стр. . 4).

Внедрение ИИ-специалистов в медицинских учреждениях, начальное обучение и дальнейшая тонкая настройка для повышения точности моделей прогнозирования могут потребовать многих лет тщательного тестирования и разработки, что может повлечь за собой значительные эксплуатационные расходы. Ситуация может усугубляться неразвитостью «больничных сетей и систем ЭМК», что потребует дальнейших инвестиций в модернизацию систем (Сезгин и др., 2022, стр. 4). Более того, развертывание виртуальных машин в чрезвычайных ситуациях требует «заключения соглашений и контрактов на соответствующие услуги, создания каналов потока данных и обучения ИИ», что повлечет за собой значительные расходы (Сезгин и др., 2020, стр. 2). Хотя требования соответствия HIPAA обеспечивают защиту данных виртуальных объектов, они могут оказаться недостаточными для регулирования «новых технологий и реализаций, которые ограничивают полезность этих технологий» (Sezgin et al., 2020).

Чтобы свести к минимуму человеческую предвзятость в собранных данных, Сезгин и др. (2022) рекомендуют дополнять развертывание «активным тестированием на предвзятость» для контроля, отчетности и реагирования на потенциальную погрешность в прогнозах модели (стр. 4). Этот механизм обеспечит, чтобы больницы могли эффективно использовать VA, не вызывая жестокого обращения и не давая вредных советов. Кроме того, Ян и др. (2021) предполагают, что поставщикам медицинских услуг, возможно, придется удалять историю поиска и устройства с заводским сбросом настроек для каждого нового пациента, чтобы «минимизировать любую предвзятость, которая может возникнуть из-за персонализации». (стр. 2). Сезгин и др. (2020) отмечают, что одной из мер, принятых Google для минимизации дезинформации, является блокировка «сторонних разработчиков, добавляющих приложения VA для Google Assistant», что ограничивает внешнюю человеческую предвзятость (стр. 2).

Необходимо реализовать системы оценки, специфичные для здравоохранения, чтобы тщательно оценить последствия вмешательства ИИ и обеспечить безопасное внедрение ИИ. Разработка четких процедур и комплексных рамок оценки необходима для широкого внедрения технологии ВА (Сезгин и др., 2022). Авторы далее отмечают, что совместные усилия разработчиков, поставщиков медицинских услуг и специалистов по данным для информирования об эффективных методологиях оценки «необходимы» для успешного внедрения VA (стр. 4). Ян и др. (2021) добавляют, что разработка схем интерпретации моделей должна включать оценку того, предоставляет ли реакция ВА потенциально вредную информацию для пациентов или исключает ее.

Чтобы облегчить финансовое бремя, поставщики услуг VA могут включать платформы облачных вычислений в существующие больничные системы, которые в противном случае не смогут справиться с вычислительными требованиями внедрения ИИ. Это помогло бы снизить затраты, поскольку службы облачных вычислений предлагают специализированное оборудование, предназначенное для «запуска таких моделей и способное легко справляться с готовыми сетями и динамической балансировкой нагрузки» (Сезгин и др., 2020, стр. 3). Кроме того, чтобы предотвратить рекламу, ориентированную на VA, заинтересованным сторонам, включая больницы и застройщиков, следует разработать структуру оплаты труда для сферы здравоохранения, чтобы первые могли привлекать компании, а вторые обеспечивали возврат инвестиций (Yang et al., 2021).

Таким образом, внедрение VA в медицинских учреждениях сопряжено с проблемами, связанными с присущей человеку предвзятостью в данных, подаваемых в системы ИИ, отсутствием эффективных систем оценки для интерпретации модели ИИ и финансовыми препятствиями. Рекомендуется обеспечить механизмы минимизации предвзятости, разработать системы оценки для здравоохранения и интеграцию облачных вычислений. Кроме того, анализ стратегий внедрения конкурирующих систем VA и создание хорошо сбалансированной структуры возмещения могут быть полезны для обеспечения успешного внедрения технологии VA.

Рисунок 1. Возможные решения указанных трех проблем внедрения технологии VA

Рекомендации

Сезгин Э., Хуанг Ю., Рамтеккар У. и Линь С. (2020). Готовность к голосовым помощникам для поддержки оказания медицинской помощи во время кризиса и пандемии. Цифровая медицина NPJ, 3, 122.

Сезгин Э., Сиррианни Дж. и Линвуд С.Л. (2022). Внедрение и внедрение предварительно обученных больших лингвистических моделей искусственного интеллекта в системе здравоохранения США: перспективы генеративного предварительно обученного трансформатора 3 (GPT-3) как сервисной модели. ЖМИР медицинской информатики, 10(2), е32875.

Ян С., Ли Дж., Сезгин Э., Бридж Дж. и Лин С. (2021). Клинические советы голосовых помощников по поводу послеродовой депрессии: перекрестное исследование с использованием Apple Siri, Amazon Alexa, Google Assistant и Microsoft Cortana. JMIR mHealth и uHealth, 9(1), e24045.