L’articolo di cui vi offriamo una sintesi indaga il fenomeno del misreporting motivato in un panel web. Il misreporting motivato è quel meccanismo mediante il quale i rispondenti a un sondaggio forniscono risposte errate o non corrispondenti alle loro opinioni al solo scopo di ridurre la lunghezza del questionario e quindi l’onere in termini di tempo ed energie necessario alla sua compilazione.
Molti sondaggi utilizzano domande filtro per determinare l’idoneità dei rispondenti alle domande di follow-up. Il loro scopo è quello di ridurre l’onere per i rispondenti ponendo solo domande pertinenti. Per queste domande sui filtri vengono utilizzati due formati comuni:
1. Nel formato interleafed agli intervistati viene posta una domanda filtro e le domande di follow-up, se attivate, seguono immediatamente;
2. Nel formato raggruppato agli intervistati vengono prima poste tutte le domande filtro e in seguito le domande di follow-up;
Diversi studi hanno dimostrato che i rispondenti accedono a un numero inferiore di follow-up con un formato interleafed che con un formato raggruppato (Eckman, Kreuter, Kirchner, Jackle, Tourangeau, et al., 2014). Ciò accade perché nel formato interleafed gli intervistati apprendono come è strutturato il sondaggio e iniziano a dire “No” alle domande filtro per evitare le domande di follow-up, mentre questa possibilità è ridotta nel formato ragguppato in cui le domande filtro vengono poste tutte assieme.
Un meccanismo simile è alla base di una forma di condizionamento per le indagini su panel.
Gli intervistati possono, infatti, apprendere dalle prime wawe come il questionario è strutturato e utilizzare queste informazioni per rispondere in maniera scorretta nelle wawe successive.
Halpern-Manners e Warren (2012) hanno trovato conferme a questa ipotesi nel Current Population Survey.
Lo studio
Nello studio state testate tre ipotesi.
1. Ipotesi di condizionamento del sondaggio: il numero di domande di follow-up attivate dipende dal formato con cui sono poste (interleafed o raggruppato)?
2. Ipotesi di condizionamento del panel: il misreporting motivato permane nelle diverse wawe?
3. Ipotesi di condizionamento del panel in formato modificato: il misreporting motivato varia quando i rispondenti sono intervistati in formati diversi in ogni wawe (cioè, quando il formato cambia da raggruppato a interleafed e viceversa)?
Oltre a testare queste tre ipotesi sì è verificato se il condizionamento del sondaggio e il condizionamento del panel dipendono dalle capacità cognitive degli intervistati.
I dati dello studio provengono dal panel olandese LISS, un panel Internet utilizzato da molti anni e basato su un campione probabilistico. I membri del campione compilano questionari di circa 15-30 minuti su base mensile (Scherpenzeel e Das 2010).
I risultati
Come previsto dall’ipotesi di condizionamento del sondaggio, la percentuale di domande filtro attivate nella prima wawe è significativamente più piccola nel formato interleafed rispetto al formato raggruppato: 36% contro 43% (cioè 4.7 contro 5.6 filtri attivati). Il condizionamento del sondaggio avviene nella prima wawe come atteso. Altro aspetto significativo è che la probabilità di attivare un filtro nel formato interleafed diminuisce significativamente man mano che si progredisce nelle varie sezioni del questionario. Questa constatazione supporta ulteriormente l‘ipotesi che gli intervistati apprendono a utilizzare il misreporting nel formato interleafed. Per quanto riguarda la seconda ipotesi relativa al condizionamento del panel, i rispondenti intervistati in formato interleafed in entrambe le fasi non mostrano cambiamenti significativi nel tempo relativamente alle risposte fornite e lo stesso vale per i rispondenti intervistati nel formato raggruppato in entrambe le wawe (terza ipotesi). Pertanto non viene trovato alcun supporto per l’ipotesi di condizionamento del panel e per l’ipotesi del condizionamento del panel in formato modificato.
Per quanto riguarda l’influenza delle capacità cognitive non vi sono dati a supporto del fatto che i filtri attivati nei due formati varino in base al livello di istruzione degli intervistati.
Riassumendo: i risultati mostrano un’evidenza sperimentale a favore dell’ipotesi del condizionamento del sondaggio: nel formato interleafedvengono attivati meno filtri rispetto al formato raggruppato, mentre non vi è alcuna prova che gli intervistati ricordino la struttura dell’indagine nel tempo in un contesto di indagine panel e nel misreporting oltre la seconda wawe. Pertanto, non vi è alcuna evidenza per supportare l’ipotesi relativa al meccanismo del peggioramento dei rispondenti nel tempo.
Conclusioni
I professionisti del sondaggio sono sempre più consapevoli del fatto che porre domande sui filtri in diversi formati può influire sulle risposte e sugli errori di misurazione. Gli studi sul misreporting motivato nelle indagini trasversali hanno mostrato che le domande poste in un formato interleafedhanno attivato un minor numero di follow-up rispetto ai rispondenti intervistati in un formato raggruppato. La spiegazione comune per tale condizionamento è che gli intervistati apprendono come è strutturato un sondaggio e utilizzano queste informazioni per abbreviare il questionario e ridurne l’onere.
In sostanza, mentre gli intervistati mostrano una forte tendenza a ricordare la struttura di un questionario in un singolo sondaggio, non sembrano richiamare queste informazioni quando le stesse domande vengono ripetute nel tempo. Anche gli intervistati in formato interleafed nella prima wawe, molti dei quali misreporter, non mostrano più alcun segno di misreportingquando sono intervistati per la seconda volta in un formato raggruppato.
La spiegazione più probabile per questo risultato è l’effetto di reimpostazione riportato da Kreuter et al. (2011) Essi sostengono che il misreporting dei rispondenti viene resettato quando inizia una nuova sezione all’interno di un questionario. Una logica simile potrebbe applicarsi a un contesto di sondaggio panel: se la segnalazione errata viene reimpostata all’avvio di una nuova sezione, lo stesso dovrebbe valere per l’inizio di una nuova wawe in un sondaggio panel.
Sebbene il misreporting possa rappresentare un problema serio, la partecipazione ripetuta allo stesso sondaggio non peggiora il problema mentre l’utilizzo di un formato raggruppato è da preferirsi al formato interleafed.
Nostra rielaborazione dell’aricolo: Motivated Misreporting in Web Panels
di Ruben L. Bach e Stephanie Eckman per AAPOR
