Комментарии 40
Простите, я дилетант в этой теме и меня волнует один момент.
Весьма понятно с тем, как машина может победить в задании распознавания дорожных знаков — есть идеальная модель знаков и их расстановки.
Но в случае с болезнями все довольно трудно. Ведь нет никакой идеальной модели и только малое количество болезней могут подвергнуты однозначной классификации «болен / не болен». А реально нейросеть может обучаться только подражанию — т.е. некоторые варианты пневмонии она может пропустить из-за их отсутствия в базе. Также о многих болезнях мы можем судить только впоследствии (сначала скан, потом через полгода узнали реальную причину смерти) — это уменьшает количество доступных данных.
Как подобные трудности решаются? Или текущий статус подобных проектов — это фаза прототипа?
Весьма понятно с тем, как машина может победить в задании распознавания дорожных знаков — есть идеальная модель знаков и их расстановки.
Но в случае с болезнями все довольно трудно. Ведь нет никакой идеальной модели и только малое количество болезней могут подвергнуты однозначной классификации «болен / не болен». А реально нейросеть может обучаться только подражанию — т.е. некоторые варианты пневмонии она может пропустить из-за их отсутствия в базе. Также о многих болезнях мы можем судить только впоследствии (сначала скан, потом через полгода узнали реальную причину смерти) — это уменьшает количество доступных данных.
Как подобные трудности решаются? Или текущий статус подобных проектов — это фаза прототипа?
Точно так же как и врач, машина обучается на некотором наборе снимков. Только врач может запомнить несколько десятков вариантов болезни/нормы, а машина несколько тысяч. Врач менее внимателен, но лучше экстраполирует и делает выводы (не всегда правильные).
Важно, врач рентгенолог типично не имеет обратной связи. Он расшифровку сделал, подтвердились ли его наблюдения в процессе лечения или были опровергнуты, он обычно не знает. Для машины проще сделать обратную связь.
Важно, врач рентгенолог типично не имеет обратной связи. Он расшифровку сделал, подтвердились ли его наблюдения в процессе лечения или были опровергнуты, он обычно не знает. Для машины проще сделать обратную связь.
Странно, но врач рентгенолог не ставит диагноз. Он пишет заключение, которое отражает моменты, привлекшие внимание: патологии и прочее.
Диагноз ставит лечащий врач на основании анамнеза, снимки это еще одно дополнительное средство диагностики. По одному снимку нельза ставить диагноз.
Ну конечно это не касается переломов костей и стоматологии. Но думаю там ИИ и не нужен.
Диагноз ставит лечащий врач на основании анамнеза, снимки это еще одно дополнительное средство диагностики. По одному снимку нельза ставить диагноз.
Ну конечно это не касается переломов костей и стоматологии. Но думаю там ИИ и не нужен.
я правильно понимаю
это можно обучить много разных екземпляров нейросети на разных наборах данных
а потом усреднять результаты какимто метаанализом?
будет ли это лучше чем просто обучить одну нейросеть на огромной выборке?
это можно обучить много разных екземпляров нейросети на разных наборах данных
а потом усреднять результаты какимто метаанализом?
будет ли это лучше чем просто обучить одну нейросеть на огромной выборке?
Да так и решаются, постепенным пополнением опыта.
Я думаю, врач будет более поверхностно просматривать снимки классифицированные компьютером, как по причине возросшего потока снимков (ведь ему помогает компьютер, давайте сократим время на обработку снимка), так по причине когнитивного искажения (машина не может ошибаться)*, в дальшейшем будет падение квалификации и оплаты врача-рентгенолога и рост цены оборудования (а давайте вы будете платить за каждый снимок, плюс за апдейты и верификации нейросетей в вашем рентгенаппарате).
Увеличение качества распознавания будет только при независимом распознавании снимка, каогда врач рентгенолог не будет видеть результат компьютера до внесения в историю болезни собственной расшифровки. Тогда в выписке у лечащего врача будет как бы два результата на один снимок, и уже он будет оценивать достоверность диагноза.
* — для использования в торговле продаются калькуляторы с программируемой ошибкой. 2*2 на них может быть и 5 и 7… Как правило, покупатели слепо доверяют машине в чуть более сложных примерах.
Увеличение качества распознавания будет только при независимом распознавании снимка, каогда врач рентгенолог не будет видеть результат компьютера до внесения в историю болезни собственной расшифровки. Тогда в выписке у лечащего врача будет как бы два результата на один снимок, и уже он будет оценивать достоверность диагноза.
* — для использования в торговле продаются калькуляторы с программируемой ошибкой. 2*2 на них может быть и 5 и 7… Как правило, покупатели слепо доверяют машине в чуть более сложных примерах.
Скорее движение будет еще и в другую сторону. Сейчас само число снимков ограничивается врачем. Врач физически не может просмотреть 1000 снимков с 1000 разных ракурсов сделанных. А робот может. Вы наверняка видели, к примеру, подобный девайс www.phukethospital.com/Images/3D-Dental-X-ray.jpg Сейчас все сворачивается в 3D ради того, что бы было удобно человеку видеть. А вот у робота такой проблемы нет, робот может в деталях разглядеть каждый из снимков. Так что качество работы робота будет расти не только за счет собственно качества распознавания конкретного снимка, но и за счет все сильнее растущего объема скармливаемых роботу данных. Причем не только самого рентгена, но и химических анализов, к примеру, ЭКГ и что там еще может иметь отношение к делу.
А ещё бывает так, на Рг ничего нет, а пневмония есть. Рентгенолог без клинициста ничто, впрочем, как и клиницист без рентгенолога. А бывает и так — на Рг изменения есть, а пневмонии нет.
Для скрининговых исследований — это оправдано. Мы делали распознавание флюорограмм, сейчас делаем мамограммы. Там сравнимые с человеком точности можно достигать.
Но надо понимать, что хороший рентгенолог — он не про то. Так же как и хороший МРТшник/КТшник. Хороший рентгенолог-мамолог, посмотрев на снимок скажет как и под каким углом нужно сделать снимок с большим разрешением, чтобы поставить диагноз. Хороший МРТшник — может описать структуру протоков в какой-нибудь печени.
Эти вещи на текущем уровне нейронок нельзя автоматизировать: нет такого числа обучающих случаев (а собирать полноценную базу — не будет экономического эффекта), очень сложно сформулированное описание, требуется обратная связь и подстройка наблюдения исходя из неё (для рентгена — выбор точки обзора, для КТ — контрастирование).
Так что профессия не уйдёт ещё долго. Но вот на нижнем уровне, поликлиник — качество исследований может повысится сильно.
Но надо понимать, что хороший рентгенолог — он не про то. Так же как и хороший МРТшник/КТшник. Хороший рентгенолог-мамолог, посмотрев на снимок скажет как и под каким углом нужно сделать снимок с большим разрешением, чтобы поставить диагноз. Хороший МРТшник — может описать структуру протоков в какой-нибудь печени.
Эти вещи на текущем уровне нейронок нельзя автоматизировать: нет такого числа обучающих случаев (а собирать полноценную базу — не будет экономического эффекта), очень сложно сформулированное описание, требуется обратная связь и подстройка наблюдения исходя из неё (для рентгена — выбор точки обзора, для КТ — контрастирование).
Так что профессия не уйдёт ещё долго. Но вот на нижнем уровне, поликлиник — качество исследований может повысится сильно.
Диспансеризация — это тихий ужас. «Низовые» врачи обычно замечают неладное часто уже в фазе распада или когда каверны появились. В таком случае использование нейросетей оправдано, тут неквалифицированный врач-рентгенолог нужен в первую очередь для ответа на вопрос «кто сядет из-за врачебной ошибки».
Вообще это общий результат для всего, куда ИИ включают: хорошего, высококлассного, специалиста они не заменят, а сделать лучше, чем «низовой» — могут легко.
Ну значит так и надо их использовать и стремиться сделать так, чтобы в сложных случаях они срабатывали, говорили «мало данных» и тогда уже «хороший МРТ-шник» посмотрит.
Потому что проблему диспансеризации тупо деньгами не решить: посади хорошего специалиста смотреть десятки снимков людей, у которых всё в порядке и отклонений нет — и он тоже начнёт малые изменения пропускать… глаз «замыливается»… а как раз компьютеру — всё равно.
Редкий случай, когда внедрение компьютеров мало кому может навредить (ну кроме людей, ненавидящих свою профессию и работающих плохо… но их и не жалко), зато может улучшить качество обслуживания — причём заметно.
Ну значит так и надо их использовать и стремиться сделать так, чтобы в сложных случаях они срабатывали, говорили «мало данных» и тогда уже «хороший МРТ-шник» посмотрит.
Потому что проблему диспансеризации тупо деньгами не решить: посади хорошего специалиста смотреть десятки снимков людей, у которых всё в порядке и отклонений нет — и он тоже начнёт малые изменения пропускать… глаз «замыливается»… а как раз компьютеру — всё равно.
Редкий случай, когда внедрение компьютеров мало кому может навредить (ну кроме людей, ненавидящих свою профессию и работающих плохо… но их и не жалко), зато может улучшить качество обслуживания — причём заметно.
Я думаю, что одна из проблем тут та же, что и при использовании ML в финансах — зачастую бывает мало предсказать поведение, нужно, чтобы модель могла дать информацию ПОЧЕМУ она так решила и иметь возможность ручного контроля и тюнинга. Пока она остается черным ящиком с недетерминированным поведением (а в случае решений с Kaggle — еще и адово сложным ящиком с нагромождением ансамблей моделей и прочим, нацеленным только на то, чтобы получить заветные сотые) ей не пройти регуляторов.
Как всегда проблема в том, что никто не читает формулировки теорем, на которые ссылается. В теореме фигурируют независимые вероятности. Вероятность модели и врача не независима. Модель обучена размечающим врачом. Ошибка в модели и у врача скорее всего связана с невыраженностью симптомов на рентгенограмме то есть ошибка будет скоррелирована между всеми врачами и всеми обученными ими моделями. В худшем случае усовершенствование будет нулевым вне зависимости от величины консилиума и кто в нем робот а кто нет.
НЛО прилетело и опубликовало эту надпись здесь
Все врачи смотрят на примерно одни и те же признаки. И если болезнь не нашел один врач то с большой вероятностью ее не найдет другой по одним и тем же данным. Потому что процесс поиска болезни врачем не случаен. Даже если врач — Доктор Хаус то он найдет болезнь дополнив рентгенограмму данными из инднийского журнала и тем что нашли в квартире пациента в шкафчике под раковиной.
Пример из медицинских рассказов прошлого. Пациенту с подозрением на сифилис осматривают гениталии и если там ОК то без анализа крови — ничего сказать нельзя, хотя бывали случаи когда пациент поймал сифилис когда его в драке укусил за ухо сифилитик, и первичное воспаление было не на гениталиях, а в районе укуса — на ухе. Вот как раз в подобных случаях нетипичной симптоматики врачи пролетают всем консилиумом вместе с нейросетями и отделом дата-сатанистов.
Пример из медицинских рассказов прошлого. Пациенту с подозрением на сифилис осматривают гениталии и если там ОК то без анализа крови — ничего сказать нельзя, хотя бывали случаи когда пациент поймал сифилис когда его в драке укусил за ухо сифилитик, и первичное воспаление было не на гениталиях, а в районе укуса — на ухе. Вот как раз в подобных случаях нетипичной симптоматики врачи пролетают всем консилиумом вместе с нейросетями и отделом дата-сатанистов.
del
Статья интересная, название даже несколько провокационное. Как бывший врач (а сейчас Data Engineer), хотел добавить одну вещь: Классификация снимков изолированно это хорошо, но я уверен, что добавление других методов исследования в feature vector (например маркеров воспаления в крови, уровень сатурации кислородом, данные проб на туберкулез и специфических маркеров на различные раки с локализацией в грудной клетке) могут повысить точность еще выше.
В целом, конечно, если научить врачей интерпретировать эти данные, это было бы большим подспорьем во всяких «текучках» (профосмотрах, диспансеризации и прочем), где врачи могут гораздо легче просмотреть что-то просто из-за того, что снимком много, а патология встречается меньше чем в проценте случаев.
В целом, конечно, если научить врачей интерпретировать эти данные, это было бы большим подспорьем во всяких «текучках» (профосмотрах, диспансеризации и прочем), где врачи могут гораздо легче просмотреть что-то просто из-за того, что снимком много, а патология встречается меньше чем в проценте случаев.
Добавление других методов исследования — это уже следующий шаг, когда результаты с нейросетей, анализирующих отдельно рентгеновские снимки, звуковой поток аускуляций, кардиограмму, ЭЭГ, химический анализ мочи, крови, прочих биообразцов, и так далее — всё это подаётся на вход уже более глобальной нейросети, которая по этим данным сделает вывод о заболеваниях человека в комплексе.
А нужны ли нам еще врачи?
Хорошо хоть не задаются вопросом, нужны ли пациенты.
А вы что думаете?
— что конечно же «одна голова хорошо, а две лучше» (и далее, множа число голов применением того же правила к каждому из слагаемых). Только вот голова врача тут лишняя, если можно просто _разные_ модели использовать.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Тут такие вопросы:
— Кто будет брать на себя ответственность? Уже сейчас анализ ряда медицинских исследований, например, мазков крови (в первую очередь это делалось из-за малярии), может быть проанализирован автоматически, но подпись врача обязательна.
— Единообразие анализа. Сейчас можно показать результаты исследования 3 врачам, если 2 врача сошлись на одном диагнозе — это и лечим. При массовом распространении автоматики, а тем более при монополии, получить второе, равно квалифицированное мнение, будет сложновато.
— Воровать и/или зарабатывать деньги на штатной единице проще, чем на автоматизированном комплексе, да и у больного отсутствие человека в цепи постановке диагноза (да и лечении целиком) может вызвать отторжение. Вопрос: кому нужно такое масштабное изменение — снижение численности врачей?
— Кто будет брать на себя ответственность? Уже сейчас анализ ряда медицинских исследований, например, мазков крови (в первую очередь это делалось из-за малярии), может быть проанализирован автоматически, но подпись врача обязательна.
— Единообразие анализа. Сейчас можно показать результаты исследования 3 врачам, если 2 врача сошлись на одном диагнозе — это и лечим. При массовом распространении автоматики, а тем более при монополии, получить второе, равно квалифицированное мнение, будет сложновато.
— Воровать и/или зарабатывать деньги на штатной единице проще, чем на автоматизированном комплексе, да и у больного отсутствие человека в цепи постановке диагноза (да и лечении целиком) может вызвать отторжение. Вопрос: кому нужно такое масштабное изменение — снижение численности врачей?
НЛО прилетело и опубликовало эту надпись здесь
подпись нужна постольку посколькуЯ именно про бюрократию. Тут та же фигня, что с самоуправляемыми автомобилями: кто ответственен, когда что-то идёт не так? Врача планируется исключить из процесса, производителю такая радость в принципе не нужна, остаётся… пациент? Что-то мне это старый пошлый анекдот напоминает.
НЛО прилетело и опубликовало эту надпись здесь
1. За лекарства берёт на себя не только производитель, но и государство в лице сертифицирующих органов (например, FDA) и минздрава, который пишет рекомендации, наставления и протоколы, где упоминается это лекарство.
2. Мне что-то вспомнилось, как Фейнмана и ещё ряд рецензентов попросили написать отзыв на трёхтомник, а последний том не прислали, поскольку не успели издать. Многие рецензенты написали хвалебные отзывы на 3 том. Это я к чему: поскольку откровение Старджона работает и про врачей, надо будет давать для тестирования
— высококвалифицированным врачам
— большому количеству, чтобы нивелировать возможные ошибки
— под контролем, чтобы избежать бросания монетки врачами, например, диагноз должен быть подтверждён вскрытием.
3а. Пациент приходит к врачу не только за диагнозом, но и за вниманием и спокойствием, чтобы объяснили, что с ним такое, что будет, и что вообще всё хорошо.
3б. Многие люди просто не верят программам, поскольку не понимают происходящего. Так, многие до сих пор пересчитывают за экселем на калькуляторе, или даже за калькулятором на счётах. Врач может придавить авторитетом, а вот как скажется на приверженности к лечению автоматический диагноз…
2. Мне что-то вспомнилось, как Фейнмана и ещё ряд рецензентов попросили написать отзыв на трёхтомник, а последний том не прислали, поскольку не успели издать. Многие рецензенты написали хвалебные отзывы на 3 том. Это я к чему: поскольку откровение Старджона работает и про врачей, надо будет давать для тестирования
— высококвалифицированным врачам
— большому количеству, чтобы нивелировать возможные ошибки
— под контролем, чтобы избежать бросания монетки врачами, например, диагноз должен быть подтверждён вскрытием.
3а. Пациент приходит к врачу не только за диагнозом, но и за вниманием и спокойствием, чтобы объяснили, что с ним такое, что будет, и что вообще всё хорошо.
3б. Многие люди просто не верят программам, поскольку не понимают происходящего. Так, многие до сих пор пересчитывают за экселем на калькуляторе, или даже за калькулятором на счётах. Врач может придавить авторитетом, а вот как скажется на приверженности к лечению автоматический диагноз…
precision = чувствительность, recall = специфичность. По крайне мере это принятые термины в медицине.
Компания "Школа данных" не знает терминов "точность" и "полнота"?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи?