Os modelos de IA mais avançados de 2026 conseguem programar por horas e escrever relatórios inteiros. Mas, num teste de diagnóstico de câncer de pele, eles perderam para uma rede neural de dez anos atrás.
O teste foi feito pelo dermatologista britânico Magnus Lynch, do Guy’s Hospital e do King’s College London, e publicado em 25 de outubro de 2026. Ele comparou o GPT-6 Astra, da OpenAI, e o Claude Fable 5.1, da Anthropic, com uma versão ajustada do Inception v3, rede criada pelo Google em 2015.
Abaixo você entende como foi o teste, o que os números mostram e por que o resultado não significa que você deve pedir diagnóstico a um chatbot, nem a qualquer outra IA.
Como foi o teste
Lynch sorteou 200 lesões de pele do MILK10k, um banco de imagens público lançado em 2025 pela International Skin Imaging Collaboration. Cada lesão tem duas fotos: uma clínica, de perto, e uma de dermatoscopia, feita com a lente iluminada que os dermatologistas usam.
Todas as lesões foram biopsiadas, ou seja, o diagnóstico real é conhecido. Metade não podia receber alta: 30 melanomas, 25 carcinomas basocelulares, 25 carcinomas espinocelulares e 20 queratoses actínicas. A outra metade era benigna: 50 pintas comuns e 50 queratoses seborreicas.
Os dois LLMs receberam as duas imagens e o mesmo pedido: indicar o diagnóstico mais provável entre seis opções, o grau de confiança, uma segunda opção e se a lesão podia receber alta sem tratamento nem acompanhamento.
O que é a CNN que venceu
CNN é a sigla em inglês para rede neural convolucional, um tipo de IA especializado em imagens. Em vez de saber um pouco de tudo, como um LLM, ela é treinada para reconhecer padrões visuais específicos.
Lynch pegou o Inception v3, treinado originalmente com fotos do dia a dia, e o ajustou com 68.011 imagens de pele do ISIC Archive, usando uma única GPU H100. Segundo ele, o ajuste levou cerca de vinte minutos.
As 200 lesões do teste, e qualquer outra foto dos mesmos pacientes, foram retiradas do treino. Assim, a rede nunca tinha visto aqueles casos. O modelo é tão pequeno que roda inteiro no navegador do celular.
Os resultados: 62% contra 42%
A tabela resume os principais números do teste, conforme publicados pelo autor:
| Medida | GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) |
|---|---|---|---|
| Diagnóstico correto (de 200) | 84 (42%) | 85 (42%) | 125 (62%) |
| Acerto na 1ª ou 2ª opção | 134 | 138 | 173 |
| Melanomas na 1ª opção (de 30) | 8 | 11 | 13 |
| Lesões benignas liberadas (de 100) | 32 | 22 | 76 |
A maior diferença apareceu nas lesões inofensivas. A CNN reconheceu 37 das 50 pintas e 26 das 50 queratoses seborreicas. O GPT-6 Astra acertou 16 e 13; o Claude Fable 5.1, 33 e 6.
Os LLMs também tinham respostas “favoritas”. O GPT-6 Astra disse que 75 lesões eram carcinoma basocelular, quando só 25 eram, incluindo 14 dos 30 melanomas. O Claude Fable 5.1 classificou 53 lesões como queratose actínica, quando só 20 eram.
Um caso chamou atenção: um melanoma invasivo na orelha foi descrito pelos dois LLMs como uma lesão benigna, com indicação de alta. A CNN acertou o diagnóstico pela imagem de dermatoscopia.
As ressalvas que o próprio autor faz
Lynch é cuidadoso com as conclusões. Duzentas lesões mostram um padrão, mas são poucas para comparar resultados próximos, e 30 melanomas deixam uma margem de incerteza grande justamente no número mais importante.
Ele também lembra que o Inception v3 não é o estado da arte. Os sistemas de diagnóstico de pele aprovados por órgãos reguladores usam conjuntos de modelos mais modernos e treinados com mais dados, e têm desempenho bem superior.
Outro ponto: na configuração padrão, a CNN deu alta a 18 dos 30 melanomas. Quando o limite de decisão foi ajustado para ser tão cauteloso quanto os LLMs, esse número caiu para 1 ou 2. Ou seja, nenhuma das três IAs serviria sozinha para decidir quem precisa de médico.
O que isso ensina sobre IA generalista e especializada
O teste ilustra um ponto que vale para muitas áreas: um modelo pequeno, treinado para uma tarefa específica, pode superar um modelo gigante e generalista nessa mesma tarefa. Tamanho não é tudo.
Para entender por que, vale lembrar o que é um LLM: ele aprende com uma enorme variedade de textos e imagens da internet, mas não foi ajustado com dezenas de milhares de imagens de dermatoscopia confirmadas por biópsia.
Há um dado curioso no fim do texto. Quando os LLMs foram consultados como se fossem pacientes, só com a foto clínica e a pergunta “preciso ir ao médico?”, recomendaram consulta em quase todos os casos, inclusive para lesões benignas. Na prática, é uma postura cautelosa.
Perguntas frequentes
Posso usar o ChatGPT ou o Claude para avaliar uma pinta?
Não como diagnóstico. O teste mostrou erros graves, incluindo melanomas tratados como benignos. Use essas ferramentas no máximo para tirar dúvidas gerais e procure sempre um médico.
A CNN do teste está disponível?
Sim. O autor disponibilizou o modelo para teste no navegador, sem envio de imagens a servidores, junto com os casos, as respostas dos LLMs e o código de pontuação.
Os LLMs podem ter visto essas imagens no treino?
É possível, já que o MILK10k é público desde 2025. O autor observa que, se isso aconteceu, teria ajudado os LLMs, e mesmo assim eles ficaram atrás.
Esse resultado vale para outras áreas da medicina?
O teste avaliou só lesões de pele. Ele sugere cautela com IAs generalistas em tarefas visuais especializadas, mas não permite conclusões para outras especialidades.
Conclusão
O experimento de Magnus Lynch mostra que, no diagnóstico de câncer de pele, uma rede antiga e especializada superou dois dos modelos mais avançados de 2026. A lição é usar cada tipo de IA para o que ela faz bem e deixar a decisão clínica com profissionais.
Quer entender melhor como funcionam os modelos por trás dos chatbots? Leia nosso guia sobre como o ChatGPT funciona por dentro.
Fonte: Lynch Lab.