Chega à sua revista um estudo que propõe um novo teste para detectar uma doença — ou um escore que estima o risco de um paciente vir a desenvolvê-la. Os números impressionam: alta sensibilidade e excelente capacidade de discriminação. Antes de encaminhá-lo à avaliação por pares, porém, o editor precisa saber se esses números se sustentam fora da amostra em que nasceram: em quem o teste foi avaliado? contra qual padrão de referência? O modelo foi testado em pacientes diferentes dos que o originaram? É desse tipo de transparência que dependem duas diretrizes: a STARD e a TRIPOD.
Na Série Diretrizes de Relato, já assentamos a base normativa da publicação científica, apresentamos a EQUATOR Network – o mapa que organiza as diretrizes por tipo de estudo – e percorremos os ensaios clínicos randomizados (CONSORT e SPIRIT) e os estudos observacionais (STROBE). Passamos agora a dois desenhos que alimentam diretamente a decisão clínica: os estudos de acurácia diagnóstica e os modelos de predição. Este texto fala de perto a editores de periódicos de medicina, medicina laboratorial, radiologia e epidemiologia clínica.
Dois problemas distintos, duas diretrizes
Embora muitas vezes apareçam lado a lado, acurácia diagnóstica e predição respondem a perguntas diferentes. Um estudo de acurácia diagnóstica avalia o quanto um teste – um exame de imagem ou um marcador laboratorial, por exemplo – acerta ao separar quem tem de quem não tem a condição, sempre em comparação a um padrão de referência, que seria o melhor método disponível para confirmar o diagnóstico.
Já um modelo de predição combina informações do paciente em uma estimativa de probabilidade: a de ter uma doença no presente (modelo diagnóstico) ou a de desenvolver um desfecho no futuro (modelo prognóstico). O primeiro é o problema de um teste; o segundo, o de uma fórmula que reúne fatores diversos. Para cada um, uma diretriz de relato diferente: STARD e TRIPOD.
STARD: o relato de estudos de acurácia diagnóstica
STARD é a sigla de Standards for Reporting of Diagnostic Accuracy Studies (Padrões para o Relato de Estudos de Acurácia Diagnóstica). Publicada em 2003 e atualizada na versão STARD 2015, reúne 30 itens1 e um fluxograma de participantes. Ela exige que o estudo deixe claros pontos que, quando omitidos, inflam artificialmente a acurácia: como os participantes foram selecionados (um teste avaliado só em doentes graves, contra pessoas claramente saudáveis, parece melhor do que é), qual foi o padrão de referência, se quem interpretou o teste estava cego ao resultado desse padrão, como se trataram os resultados indeterminados e quais medidas de acurácia foram relatadas (sensibilidade, especificidade, valores preditivos), com suas medidas de precisão. Há um documento de explicação e elaboração com exemplos2 e extensões como a STARD para resumos e, mais recentemente, a STARD-AI, para testes diagnósticos baseados em inteligência artificial.
Acesse o diagrama STARD didático, interativo e gratuito, elaborado pelo Blog Periódico Eletrônico.
TRIPOD: o relato de modelos de predição
TRIPOD é a sigla de Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (Relato Transparente de um modelo de predição multivariável para Prognóstico ou Diagnóstico Individual). Publicada em 2015, com 22 itens3, aplica-se ao desenvolvimento de um modelo, à sua validação ou a ambos.
Seu foco recai sobre o que costuma faltar nesses estudos: a fonte dos dados e os participantes, o desfecho e os preditores, o tamanho da amostra, o tratamento de dados faltantes, como o modelo foi construído e, o ponto decisivo, como seu desempenho foi avaliado. Aqui, relatar apenas a discriminação (a capacidade de ordenar quem tem maior ou menor risco, medida por índices como a área sob a curva ROC) não basta: é preciso relatar também a calibração (se as probabilidades previstas correspondem às observadas) e, sobretudo, se o modelo foi validado em pacientes diferentes daqueles com que foi criado.
Um modelo que se ajusta bem demais aos próprios dados, o chamado overfitting, pode fracassar diante de novos pacientes; sem validação e calibração, um bom número de discriminação diz pouco. O documento de explicação e elaboração detalha cada item4 e a diretriz já ganhou extensões, como a TRIPOD+AI, para modelos que usam aprendizado de máquina5.
Relatar e avaliar o viés: um par para cada
Como em toda a série, vale a distinção entre relatar e avaliar o risco de viés. A STARD e a TRIPOD dizem o que informar; para julgar o risco de viés desses estudos existem ferramentas próprias — a QUADAS-2, para acurácia diagnóstica, e a PROBAST, para modelos de predição, que retomaremos em um texto específico mais adiante nesta série.
Na política editorial
Levar a STARD e a TRIPOD para dentro da revista é, como sempre, transformá-las em regra formal. Algumas sugestões concretas ao elaborar ou revisar a política editorial:
- Exija a diretriz certa para cada desenho. A STARD, com o fluxograma, para estudos de acurácia diagnóstica; a TRIPOD para modelos de predição, sempre com o checklist preenchido e a indicação de página ou linha.
- Exija o essencial de cada uma. No diagnóstico, o padrão de referência e o cegamento; na predição, a validação (interna e externa) e a calibração, não apenas a discriminação.
- Peça a extensão adequada quando houver IA. STARD-AI ou TRIPOD+AI, que abordaremos em maior detalhe futuramente no texto sobre diretrizes de relato para inteligência artificial.
- Vigie a superestimação. Seleção enviesada de pacientes (no diagnóstico) e modelos sem validação externa (na predição) são as fontes mais comuns de números bons demais para serem verdade.
- Incorpore a conferência à avaliação por pares. Que a aderência seja verificada por uma pessoa, e não apenas declarada pelo autor.
Relatados com transparência, um teste e um modelo deixam de ser promessas de bons números e tornam-se ferramentas que outro serviço pode avaliar e, se for o caso, adotar com segurança. Para o editor, é a diferença entre publicar um resultado promissor e publicar um resultado confiável.
No próximo texto, voltaremos às revisões de literatura e olharemos além da PRISMA: as extensões PRISMA-ScR, para revisões de escopo, PRISMA-DTA, para revisões de acurácia diagnóstica, e PRISMA-P, para protocolos de revisão.
Referências
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ. 2015;351:h5527.
- Cohen JF, Korevaar DA, Altman DG, et al. STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration. BMJ Open. 2016;6(11):e012799.
- Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD): the TRIPOD statement. Ann Intern Med. 2015;162(1):55-63.
- Moons KGM, Altman DG, Reitsma JB, et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med. 2015;162(1):W1-W73.
- Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024;385:e078378.
Texto produzido com auxílio de Inteligência Artificial, planejado e revisado pelo autor.
Confira nossa Política de Uso de IA.
