COMUNIDADE CIENTÍFICA QUESTIONA VALOR DA SIGNIFICÂNCIA ESTATÍSTICA

O comentário publicado, no final de março, na conceituada revista Nature, chama a atenção para o problema recorrente do uso incorreto da significância estatística para validar ou refutar hipóteses e teorias na Ciência.

O conceito de significância estatística surgiu no século XX pelo matemático Ronald Fisher, que desenvolveu um teste simples para analisar a discrepância entre uma hipótese em estudo e os dados observados. Os resultados obtidos dizem-se estatisticamente significativos se do teste resultar que a probabilidade da hipótese nula – o valor “p” – for menor que um nível de significância especificado. Este nível é frequentemente adotado como sendo 0,05, indicando a baixa probabilidade (inferior a 5%) de que os resultados ocorram devido ao acaso.

Como refere a recente publicação da Nature, são frequentes as comunicações científicas em que os autores defendem que não existem diferenças entre dois grupos de resultados porque a diferença entre eles não é estatisticamente significativa. Inclusive, têm sido encontradas centenas de artigos científicos publicados (51% de 791 analisados) que interpretam resultados estatisticamente não significativos como sendo indicativos da não existência de diferenças entre eles ou de que não existem efeitos daquilo que está a ser testado. São vários os exemplos de aplicações incorretas deste conceito matemático.

No entanto, mesmo os resultados estatisticamente significativos não provam que existam diferenças entre os resultados que sejam relevantes para o estudo. Considera-se ainda que a ferramenta pode encorajar os investigadores a escolher dados e métodos com base na obtenção de significância estatística para validar os resultados desejados ou torná-los mais facilmente publicáveis, assim como classificar dados sem significância estatística para descartar resultados indesejados como, por exemplo, potenciais efeitos secundários a fármacos.

Por esses motivos e considerando o historial de erros devido ao uso equívoco deste conceito, a revista American Statistical Association tem vindo a alertar a comunidade para o mau uso da significância estatística e do valor “p”, desde 2016. Este ano, a revista publicou uma edição especial com mais de 40 artigos sobre o tema, defendendo o desuso do conceito.

Assim, mais de 800 cientistas com trabalho em áreas que dependem da modelação estatística foram recentemente signatários do comentário publicado na revista Nature, no que referem ser “uma oportunidade de se fazerem ouvir em favor de melhores práticas científicas”. Defendem não estar a pedir para que a significância estatística seja banida ou que não possa ser usada como um critério de decisão em algumas aplicações específicas. Ao invés, advogam que o conceito deixe de ser usado da vigente forma dicotómica e vulgar para decidir se os resultados refutam ou apoiam uma hipótese científica.

Como algumas opções, o artigo refere a possibilidade do uso do termo “intervalos de compatibilidade” em vez dos atuais “intervalos de confiança”, assim como a análise das implicações práticas de todos os resultados, particularmente de parâmetros como a média e dos valores extremos. Por exemplo, se os resultados de um estudo estiverem todos dentro do intervalo “sem efeitos” os autores do artigo sugerem que se conclua que “os resultados obtidos são mais compatíveis e sem efeitos importantes”.

Espera-se que um maior cuidado no uso da significância estatística elimine algumas práticas incorretas pela comunidade científica, tais como a decisão de publicar ou não resultados com base unicamente neste conceito matemático.

Artigo por Mariana Miranda. Revisto por Ana Sofia Moreira.