Per indagare sul vantaggio dei sondaggi in modalità mista (MM), è necessario valutare gli effetti di selezione tra le modalità. Gli effetti di selezione si riferiscono alle differenze nelle composizioni rispondenti sulle variabili target tra le modalità.
Tuttavia, la stima degli effetti di selezione non è un compito facile perché possono essere completamente confusi con gli effetti di misurazione tra le modalità (differenze nell’errore di misurazione). Le pubblicazioni riguardanti la stima di questi effetti di modalità sono scarse.
L’indagine sociale europea (ESS) è iniziata nel 2002 come un’indagine biennale su come cambiare i valori e gli atteggiamenti sociali in Europa.
Al fine di incoraggiare l’equivalenza tra paesi diversi, le principali indagini di tutte le ondate sono state condotte fino ad ora principalmente da interviste personali faccia a faccia. Tuttavia, a causa del costo di questo tipo di interviste e del calo dei tassi di risposta, sono state istituite piccole indagini mixed-mode in parallelo alle principali indagini single mode. Ciò potrebbe tradursi in un minore errore di selezione.
Con una indagine mixed-mode, è possibile utilizzare campioni più grandi con gli stessi limiti di budget. In questo caso, l’indagine mixed mode può offrire una maggiore affidabilità esterna rispetto all’indagine single mode.
Tuttavia, le modalità di raccolta dati possono influenzarne in modo particolare la qualità.
Si verifica un effetto di misurazione se due modalità di raccolta dati forniscono dati di qualità diversa per lo stesso gruppo di rispondenti. Gli effetti di misurazione sono problematici perché, in primo luogo, minacciano la validità dei confronti tra i rispondenti di diverse modalità di raccolta dati e, in secondo luogo, minacciano anche la comparabilità dei dati raccolti in mixed mode con i dati di altre single mode. E’ difficile analizzare gli effetti sulla qualità dei dati perché gli effetti di misurazione possono essere confusi con gli effetti di selezione. Gli effetti di selezione si verificano quando i gruppi di rispondenti selezionati per le diverse modalità differiscono su delle variabili target. Questo documento utilizza il metodo della variabile strumentale quale metodo per esaminare gli effetti di misurazione e di selezione sulla qualità delle stime dei dati nell’ESS ottenute dagli esperimenti Multitrait-Multimethod (MTMM).
Metodi e Dati:
I dati di analisi di questo articolo derivano da un’indagine mixed mode che è stata creata parallelamente alla quarta ondata della principale indagine sociale europea (ESS) nei Paesi Bassi nel 2008-2009. Nella progettazione mixed mode, ai membri del campione è stato chiesto di rispondere attraverso una delle tre modalità di raccolta dei dati,ovvero:
- un questionario web auto somministrato (WSAQ)
- un’intervista telefonica assistita da computer (CATI)
- una CAPI
Sia il sondaggio principale che quello mixed mode sono partiti da due campioni casuali indipendenti. Il sondaggio mixed mode è partito da un campione di 1756 persone con un numero di telefono abbinato mentre il sondaggio principale è partito da un campione di 2674 persone con un numero di telefono abbinato.
Per correggere le differenze nelle dimensioni delle famiglie, in tutte le analisi vengono utilizzati pesi di progettazione normalizzati proporzionali alla dimensione della famiglia.
Sia il campione ESS principale che quello mixed mode sono pesati separatamente su un insieme di variabili socio demografiche.
Ciascun rispondente può teoricamente essere rappresentato da due righe di dati anziché una, dove ciascuna rappresenta la risposta del rispondente quando è stata utilizzata una determinata modalità di raccolta dati.
Definiamo la variabile D che si riferisce alla modalità di raccolta dati ed accetta entrambi i valori:
“p” si riferisce alle righe in cui i dati dei rispondenti sono stati raccolti da CAPI
“tw” si riferisce alle righe dati dove essi sono stati raccolti da CATI o WSAQ a seconda della scelta effettuata.
Definiamo anche la variabile G, che si riferisce al gruppo di modalità in cui un rispondente è stato realmente selezionato nell’indagine mixed-mode. Come D, questa variabile assume valore p se CAPI, tw se CATI-WSAQ.
Le variabili target Y, utilizzate per calcolare la qualità dei dati, possono riguardare sia D che G.
Per definizione, Y è causalmente influenzato dalla modalità di raccolta dati D perché la modalità definisce l’errore di misurazione della risposta. La relazione tra G e Y invece riflette un effetto di selezione, in quanto implica differenze nella composizione dei rispondenti tra le modalità.
Nella situazione ideale, le risposte di tutti gli intervistati sono osservate in entrambe le modalità p e tw, non vi è quindi alcuna relazione tra D e G, in quanto due righe di dati possono essere teoricamente definite per ciascun rispondente, una per ciascuna modalità di raccolta dati, indipendentemente dal gruppo di modalità effettivo per il quale il rispondente è stato selezionato nel sondaggio mixed-mode.
Naturalmente, nella pratica alcune di queste righe di dati non sono osservate e ciò può causare problemi di stima degli effetti di selezione e misurazione.
Infatti, al interno dei dati osservati, il gruppo di modalità G selezionato determina completamente la modalità di compilazione in D per ogni rispondente.
Una variabile strumentale (I) interrompe la relazione tra le variabili G e D, in questo modo gli effetti di misurazione e selezione diventano parzialmente distinguibili.
Risultati:
Gli effetti complessivi delle modalità sono piuttosto ridotti, e l’effetto più estremo si trova sulla domanda della fiducia nel parlamento olandese. In generale, gli effetti della modalità sono causati dalle differenze nella composizione dei rispondenti tra le diverse modalità. Si può concludere che le modalità di raccolta dei dati in generale non hanno un grande effetto sulla qualità di essi, ma dovrebbe esser data attenzione particolare ad alcune domande e scale di risposta. Questa conclusione è un argomento a favore dell’ulteriore utilizzo di indagini mixed mode. Bisogna tuttavia precisare che la variabile strumentale consente di stimare gli effetti di misurazione e selezione solo se sono presenti sia l’ipotesi di equivalenza di misurazione tra campioni che l’assunzione di rappresentatività. Queste ipotesi, purtroppo, a causa di carenze progettuali quali per esempio la dimensione ridotta del campione e la particolare tipologia di popolazione con la quale si ha a che fare (Paesi Bassi con un elevata copertura Internet) non possono essere completamente validate e sono richiesti ulteriori studi futuri.
Autori:
Jorre T. A. Vannieuwenhuyze, Melanie Revilla
