A short defence of p-value and statistical significance

Main Article Content

Stefano Parodi http://orcid.org/0000-0002-9193-1622
Riccardo Haupt

Keywords

Abstract

Introduzione. Numerosi contributi da parte di esimi epidemiologi, incluso un recente editoriale di Consonni e Bertazzi  (Med Lav 2017 108, 5: 327-331), hanno sollevato il problema dei rischi derivanti dall’ampio abuso dell’utilizzo del  p-value nelle indagini biomediche. In linea con quanto riportato da altri autori, Consonni e Bertazzi hanno suggerito un utilizzo molto limitato del p-value e, quando possibile, la sua sostituzione con intevalli di confidenza (IC).


Obiettivi. Dimostrare, mediante un semplice esempio, come l’utilizzo degli intervalli di confidenza in sostituzione del p-value in certe situazioni possa fornire risultati inaffidabili e difficilmente interpretabili.


Metodi. Sono stati analizzati dati di uno studio caso-controllo simulato mediante il modello di regressione logistica.


Risultati. In  presenza di variabili categoriche politomiche l’impiego dei tradizionali IC al 95% può fornire un quadro confuso dell’andamento del rischio. In tale situazione l’utilizzo del p-value mediante inferenza statistica standard (ad esempio, utilizzando il test del rapporto di verosimiglianza) permette di risolvere tale situazione. Inoltre il metodo standard per il calcolo degli IC in presenza di variabili politomiche non è formalmente corretto e può produrre misure non affidabili della variabilità delle stime.


Conclusioni. Un uso consapevole del p-value può guidare l’interpretazione dei risultati, in particolare derivanti dall’analisi di variabili categoriche a più livelli.    /


Background. Many contributions by prestigious epidemiologists, including a recent editorial by Consonni and Bertazzi  (Med Lav 2017 108, 5: 327-331),  have raised the issue of the risks deriving from the large misuse of p-values in biomedical studies. In agreement with many other authors, Consonni and Bertazzi have suggested a very spare use of the p-value and, whenever possible, its substitution by confidence intervals (CI).


Objectives. To demonstrate by a simple example that the use of confidence intervals at the place of p-value in some instances can provide unreliable and puzzling results.


Methods. We analysed data from a simulated case-control study by standard logistic regression.


Results. We show that, in the presence of polytomous categorical variables, the use of traditional 95%CI can provide a puzzling pattern of risk and that p-value via the standard statistical inference (e.g., via the likelihood ratio test) can help in recovering this situation. Moreover, the standard method to calculate CI for polytomous variables is not formally correct and could provide an unreliable measure of the estimates variability.


Conclusions. A cautious use of the p-value can help in interpreting results of analyses involving categorical variables.

Abstract 87 | PDF Downloads 13