In questo numero speciale del 2017 di POQ (Public Opinion Quarterrly) continua la discussione sulla qualità delle indagini.
Nell’introduzione a questo volume viene posta la domanda sull’efficacia delle indagini con Response Rate (RR) inferiori al 10%. Questa domanda e’ oramai ricorrente in molte pubblicazioni. Inoltre il sempre più massiccio uso di indagini non probabilistiche su panel online sta ponendo il problema sull’efficacia di questa metodologia.
Questo articolo affronta il problema in un modo pragmatico cercando di quantificare il bias dei campionamenti non probabilistici dei panel online e dei campionamenti probabilistici in indagini con bassi response rate. Inoltre verifica la capacita’ delle varie tecniche di peso di correggere il bias.
Degno di nota e’ il metodo:
- confronta gli incroci delle variabili socio-demografiche comuni a 4 indagini non probabilistiche e 3 indagini probabilistiche con un RR inferiore del 10% con gli incroci delle stesse variabili in una indagine probabilistica con un RR superiore all’80%;
- applica 3 differenti tecniche di peso (raking, propensity e matching) per verificare la capacita’ di queste tecniche di ridurre il bias.
Le conclusioni sono
- i campionamenti non probabilistici hanno talvolta un bias doppio delle indagini probabilistiche con un basso Response Rate;
- le tecniche di peso non riescono a ridurre il bias in modo sistematico nelle indagini non probabilistiche.
Queste conclusioni se associate al costo delle due tecniche di campionamento possono avere notevoli conseguenza pratiche.
Apples to oranges or gala versus golden delicious?
Comparing data quality of nonprobability internet samples to low response rate probability samples
di david dutwin trent d. buskirk
