Esistono differenti metodi per valutare l’affidabilità delle domande dei questionari. Questi metodi si possono dividere fra metodi ex-ante poco costosi e che richiedono un lavoro di desk, metodi che possono essere applicati in laboratorio e metodi che possono essere utilizzati solo con indagini pilota e quindi con un impiego di risorse consistenti.
Ex ante vi sono 4 metodi consolidati:
- QUAID (Question Understanding Aid) e SQP (Survey Quality Profile) che si basano su dei software;
- Expert review in cui degli esperti valutano le domande
- ed infine QAS (Questionnaire Appraisal System) che si basa su una “check list” in cui si verifica che ogni domanda del questionario soddisfi gli aspetti misurati dalla check list stessa.
In laboratorio col supporto di piccoli gruppi di intervistati vi sono le Interviste cognitive che consistono nel farsi dire dall’ intervistato cosa capisce di ogni singola domanda e di farsi spiegare ad alta voce come l’intervistato giunge alla risposta della singola domanda.
Con indagini pilota invece vi sono 2 metodi e cioè il Behaviour Coding che consiste nell’ascoltare le interviste e classificare gli aspetti critici di ogni singola domanda ed infine il Response Latency e cioè il tempo che intercorre fra la domanda e la risposta.
Questi 7 metodi differiscono per le risorse impiegate per implementarli e per l’affidabilità dei risultati nel valutare le singole domande. Questo esperimento cerca di valutare quale di questi metodi sia il migliore. Le conclusioni suggeriscono che alcuni metodi sono più efficaci di altri a seconda della tipologia di domande.
Vi sono altri metodi, non citati nel presente articolo, per valutare l’affidabilità delle domande: ad esempio al GOR di Berlino quest’anno è stato esposto uno studio che confrontava le interviste cognitive con l’online probing, tecnica promettente ma che necessita ancora di sperimentazione.
Tratto da:
How Accurately Do Different Evaluation Methods Predict the Reliability of Survey Questions?
Di Aaron Maitland Stanley Presser da JSSAM September 2016
