Это — меланома.
Две фотографии — клиническая и дермоскопическая (снятая через увеличивающую линзу дермоскопа) — показали GPT-6 Astra и Claude Fable 5.1, двум из самых мощных доступных в октябре 2026 года AI-моделей. Обе определили поражение как себорейный кератоз — безвредный бородавчатый нарост — и рекомендовали выписку пациента. Затем их передали настроенной версии Inception v3, свёрточной нейросети (CNN), впервые опубликованной Google в 2015 году и переученной здесь на открытых дерматологических изображениях. CNN дал правильный ответ, основываясь на дермоскопическом виде.
Это был один из 200 биопсийно подтверждённых поражений, переданных всем трём моделям. CNN назвал правильный диагноз из 6 возможных в 125 случаях (62%). Две передовые LLM — в 84 и 85 (42%). Десятилетняя сеть, доработанная примерно за двадцать минут, превзошла обе модели в распознавании рака кожи.
Методология теста
Поражения взяты из MILK10k — открытого датасета, опубликованного Международным сотрудничеством по изображению кожи в 2025 году. Каждое поражение сфотографировано дважды: клиническая съёмка и дермоскопическое изображение через подсвеченную увеличивающую линзу, которую используют дерматологи. Случайно выбрано 200 поражений, все подтверждены гистопатологией:
- 100 поражений, которые нельзя выписать: 30 меланом, 25 базальноклеточных карцином, 25 плоскоклеточных карцином (включая болезнь Боуэна) и 20 актинических кератозов.
- 100 поражений, безопасных для выписки: 50 доброкачественных невусов (родинок) и 50 себорейных кератозов.
Каждое поражение, включая доброкачественные, подверглось биопсии, что делает диагностику сложнее: родинка, которую врач решил удалить, — это тот случай, который вызвал его опасения.
Базальноклеточная карцинома на туловище 75-летнего мужчины. Все три модели ответили правильно.
Инвазивная меланома толщиной менее 0,8 мм с очень слабой пигментацией. GPT-6 Astra определил её как базальноклеточную карциному с уверенностью 95%. Claude Fable 5.1 и CNN определили как меланому.
Себорейный кератоз на ноге. Обе LLM определили как актинический кератоз, CNN — как плоскоклеточную карциному: все три ошиблись, но все рекомендовали оставить поражение без выписки.
LLM получили обе фотографии и ничего больше, с просьбой назвать (как это делал бы клиницист) наиболее вероятный из 6 диагнозов или «не уверен», указать уверенность, второй выбор и могло ли поражение быть безопасно выписано без лечения, биопсии или наблюдения. Обе модели получили один и тот же запрос с настройками по умолчанию, и ни одна не отказала в диагностике.
CNN сознательно не использует передовую архитектуру. Применена Inception v3, предварительно обученная на обычных фотографиях, затем полностью переученная на 68 011 дермоскопических и клинических изображениях из ISIC Archive на одном GPU H100. Эти 200 тестовых поражений и все другие фотографии этих же поражений или пациентов удалены из данных (включая валидационный набор) перед обучением, так что модель их не видела, и они не использовались для выбора модели или установки порога. Она оценила обе фотографии каждого поражения, объединила их с основным весом на дермоскопическое изображение и выбрала из тех же 6 диагнозов.
Можно попробовать CNN самостоятельно. Примечательно, что модель достаточно компактна для работы полностью в браузере телефона через WebGPU. Ничего не загружается, а кнопка случайного выбора берёт из этих же 200 поражений.
Результаты: 62% против 42%
CNN в целом справилась лучше и правильнее определила большинство диагнозов. Если учитывать второй выбор, она достигла 173 из 200 против 134 и 138. Из 30 меланом правильно названо 13 против 8 и 11. Самый большой разрыв проявился на доброкачественных поражениях: CNN распознала 37 из 50 невусов и 26 из 50 себорейных кератозов против 16 и 13 для GPT-6 Astra и 33 и 6 для Claude Fable 5.1. На одно отстала от GPT-6 Astra при базальноклеточной карциноме и отстала от обеих LLM при актиническом кератозе.
Модели ошибались по-разному. У каждой LLM был излюбленный ответ: GPT-6 Astra назвал 75 поражений базальноклеточной карциномой, когда их было 25, включая 14 из 30 меланом, а Claude Fable 5.1 назвал 53 поражения актиническим кератозом, когда их было 20. Ошибки CNN при меланоме шли в другую сторону: из 17 ошибок 8 определены как невус и 6 как себорейный кератоз.
Результаты в одной таблице
| GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) | |
|---|---|---|---|
| Правильный диагноз (из 200) | 84 (42%) | 85 (42%) | 125 (62%) |
| Правильно в первом или втором выборе | 134 | 138 | 173 |
| Меланома как первый выбор (из 30) | 8 | 11 | 13 |
| Опасные поражения оставлены (из 100) | 97 | 96 | 77 при заданном пороге; 98–99 при выравнивании |
| Безопасные поражения выписаны (из 100) | 32 | 22 | 76 при заданном пороге |
| Меланомы выписаны (из 30) | 3 | 4 | 18 при заданном пороге; 2–1 при выравнивании |
Оговорки
- Небольшие числа. Двести поражений достаточно, чтобы показать общую картину, но не ранжировать близкие результаты, и 30 меланом дают широкую неопределённость по самому важному показателю. Каждый вариант LLM запущен один раз; ответы варьируются между запусками.
- Сложные случаи. Каждое поражение подверглось биопсии. На обычных изображениях из архива CNN разделяла поражения, которые должны и не должны быть выписаны, значительно лучше (площадь под кривой ROC 0,96 против 0,86 здесь).
- Загрязнение данных. MILK10k открыт с 2025 года, поэтому LLM могли видеть его при обучении; если что-то, то это помогло бы им. CNN точно его не видела.
- Не передовая архитектура. Inception v3 — это базовое решение. Передовой AI для диагностики рака кожи использует ансамбли трансформаторов изображений, обученные на большем количестве данных, и регулируемые продукты на их основе работают значительно лучше.
Вопрос от лица пациента
При вопросе от лица пациента только с клинической фотографией и вопросом «нужно ли мне идти к врачу?» обе LLM рекомендовали обратиться к врачу почти в каждом случае, включая безвредные поражения: в 99 и 98 из дополнительных 100 биопсийно подтверждённых меланом.
Выводы
Компактная старая специализированная сеть с устаревшей архитектурой распознаёт кожные поражения значительно лучше двух передовых LLM.
Испробуйте сами
Тестовые случаи, запросы, все ответы LLM и код оценки находятся в одном архиве, а CNN доступна здесь.
Тест разработан автором, клинические решения приняты им же. Анализ и первые черновики созданы с помощью Claude Code, инструмента кодирования Anthropic, работающего на модели Claude; одна из двух протестированных LLM также от Anthropic. Оценка проведена скриптом по гистологии.
Изображения из датасета MILK10k (MILK study team, International Skin Imaging Collaboration), использованы под лицензией CC BY-NC.
Др. Магнус Линч — консультант-дерматолог и хирург Мохса в больнице Guy's и почётный научный сотрудник (эквивалент доцента) King's College London. Его клиническая работа охватывает рак кожи, хирургию Мохса и реконструктивную пластику лица, лазерную терапию; его исследования посвящены клеточной биологии рака кожи и шрамов, а также применению AI в дерматологии.