L’utilizzo di un approccio mixed-mode è teoricamente piuttosto interessante. Non solo consente di affrontare il problema di non copertura, ma è anche un modo per cercare di aumentare i tassi di risposta. Seguendo in una procedura sequenziale le unità di campionamento con accesso a Internet che non hanno risposto online con un’altra modalità di raccolta dei dati, ci aspettiamo di ottenere tassi di risposta più elevati.
Tuttavia, i primi risultati di studi reali non sono così positivi, e ci dicono che i disegni mixed mode non producono necessariamente tassi di riposta generali più elevati rispetto a un disegno unimodali con la modalità di indagine “migliore”. Ciò è particolarmente vero quando le diverse modalità sono messe a disposizione simultaneamente.
Più importante dei tassi di risposta di per sé è il bias creato dagli errori di non risposta e di non copertura, e la rappresentatività del campione. Generalmente la rappresentatività di una indagine mixed mode è altrettanto buona ma non migliore di una indagine faccia a faccia. L’utilizzo del web in un’indagine mixed mode può consentire di ridurre i costi.
Tuttavia, anche questo non è sistematico. Dipende dalla dimensione totale del campione e anche dall’uso degli incentivi. L’approccio mixed mode ha anche i suoi svantaggi:
- rende più difficile l’attuazione dell’indagine: più lavoro di preparazione in termini di adattamento dei questionari alle diverse specificità dei metodi, specificazione delle regole per la raccolta dei dati, monitoraggio del lavoro sul campo, elaborazione e analisi più complesse dei dati, ecc.
- può influire sulla comparabilità dei dati. Le diverse modalità di raccolta dei dati infatti hanno proprietà diverse (presenza o assenza di un intervistatore, stimolo visivo o uditivo ecc.) Pertanto, la modalità di raccolta dei dati con cui un individuo sta rispondendo al sondaggio può spingere lo stesso rispondente a dare risposte diverse: questo è ciò che a volte viene chiamato “effetto modalità”.
Pertanto, è necessario verificare la comparabilità dei risultati tra le diver se modalità di raccolta dei dati prima di combinare le risposte di un sondaggio mixed mode in un’unica analisi. In questo documento andremo a confrontare la qualità stimata sui singoli item e su concetti complessi tra le indagini unimodali e mixed mode.
Metodi e Dati:
In questo studio sono state confrontate due indagini:
- il 6° ciclo dell’European Social Survey (ESS), in cui i dati sono stati raccolti tramite interviste faccia a faccia (con schede dimostrative) a casa degli intervistati
- il sondaggio ESS in mixed mode, che è stato eseguito in parallelo (2012-2013) al sondaggio principale dalla stessa agenzia. L’indagine era sequenziale, in primo luogo è stato proposto un sondaggio web, e se gli intervistati non hanno risposto, è stato seguito da un faccia a faccia.
I confronti sono stati effettuati nel Regno Unito e in Estonia. I due tipi di indagine sono confrontati in termini di qualità dei singoli item e dei punteggi compositi.
La qualità è definita come la p arte della varianza nelle risposte osservate che è spiegata dal concetto di interesse latente, cioè il prodotto di validità e affidabilità. La procedura utilizzata per valutare la qualità dei singoli item è l’approccio MultiTrait-MultiMethod (M TMM), che consiste nel ripetere diverse domande utilizzando diverse scale di risposta. I coefficienti di affidabilità e validità possono essere stimati per ogni domanda.
Per quanto riguarda la qualità del composite score (CS), essa è la forza della relazione tra il CS e la variabile a cui siamo veramente interessati, ovvero il concetto complesso latente. Calcoliamo la qualità utilizzando la formula fornita da Saris e Gallhofer (2014):
(3)
dove:
(4)
sono i componenti casuali nelle relazioni.
Risultati:
Poiché i ricercatori spesso non sono interessati a singoli item ma a concetti complessi (o compositi), abbiamo anche considerato la qualità del CS (Composite Score).
Le stime di qualità dell’indagine mixed mode sono molto simili a quelle del sondaggio faccia a faccia.
Dobbiamo tuttavia stare attenti a generalizzare i risultati poiché la quantità di prove è ancora limitata. I risultati in termini di qualità dei singoli item e composite score finora sono abbastanza positivi per l’implementazione di indagini mixed mode. Tuttavia, devono essere presi in considerazione più indicatori di qualità, ad es. la qualità delle risposte alle domande aperte, il bias di non risposta e quello di desiderabilità sociale, al fine di prendere una decisione sull’uso di un approccio mixed mode.
Autori:
Melanie Revilla
