L’effetto sul tasso di risposta delle web survey
Come influisce l’inserimento della prima domanda del questionario nell’email di invito al sondaggio nei sondaggi web (CAWI) sul tasso di risposta?
I bassi tassi di risposta nei sondaggi web sono un problema impegnativo. I ricercatori esplorano diversi incentivi di risposta, ad es. quando si invitano i partecipanti tramite e-mail. Tuttavia, siamo a conoscenza solo di due studi incentrati su domande incorporate nell’invito via e-mail (Varghese, Moore e Earnhart, 2018, Liu e Inchausti, 2017). Lo scopo principale di questo poster è valutare l’impatto della personalizzazione del testo dell’invito via e-mail sulla risposta. In particolare, valutiamo l’impatto di un invito via e-mail che include la prima domanda del questionario Web rispetto a un invito via e-mail standard sul completamento del questionario, il tempo di completamento, le interruzioni e la composizione degli intervistati.
Metodi e dati
Utilizziamo i dati sperimentali di un sondaggio web condotto nel 2018 sui delegati del sindacato della Confederazione Generale Italiana del Lavoro (CGIL).
I membri del campione (N = 5.494) sono stati stratificati per area geografica e tipo di categoria sindacale, quindi sono stati assegnati in modo casuale (all’interno degli strati) a due gruppi: il gruppo con il “link” e il gruppo di invito alla posta elettronica con la “prima domanda” inclusa. Il testo dell’e-mail inviata ai due gruppi era diverso solo nell’istruzione finale. Alla fine del testo e-mail (lo stesso per entrambi i gruppi), nel gruppo “prima domanda” è stata riportata la prima domanda del questionario, mentre nel gruppo “link” è stato incluso il link del sondaggio. La prima domanda del questionario è “Da quanti anni hai aderito al sindacato Confederazione Generale Italiana del Lavoro?”. Le e-mail dei delegati non erano tutte disponibili allo stesso tempo. Per questo motivo i delegati hanno ricevuto l’invito via e-mail (chiamato anche “primo stimolo”) in quattro diversi orari, tra il 22 maggio e il 15 giugno. Per analizzare i nostri dati adottiamo analisi sia bi-variate che multi-variate.
Risultati
Quattro risultati principali si distinguono dalle nostre analisi:
- L’invito email con la prima domanda incorporata è più efficace nell’aumentare la risposta al sondaggio rispetto all’invito del solo link
- Non ci sono differenze nel tempo di completamento
- Il numero di break-off è più alto nel gruppo “prima domanda” rispetto al gruppo “link”
- Non ci sono differenze per gruppo di età, sesso e iscrizione a CGIL
Completamento dei questionari
Dall’analisi bivariata sul completamento del questionario troviamo che il tasso di risposta globale (calcolato come il numero di questionari compilati diviso per il numero di e-mail inviate al campione iniziale di delegati, si riferisce a RR1 definito da AAPOR – American Association for Public Opinion Research) è del 33%. Osservando le differenze tra i due gruppi sperimentali (grafico 1), il tasso di risposta del gruppo “prima domanda” è più alto (37%) rispetto a quello del gruppo “link” (30%).
Per studiare l’effetto netto del gruppo sperimentale sulla propensione alla risposta, eseguiamo un’analisi di regressione binomiale con una selezione progressiva delle variabili. Come variabili di controllo utilizziamo la data del primo stimolo, la presenza dei delegati della CGIL in Italia (vale a dire presenza alta, media e piccola), l’area geografica e il settore produttivo a cui appartengono i delegati (non statisticamente significativi). I risultati del modello di regressione logistica (Tabella 1) mostrano che, ceteris paribus, il gruppo “prima domanda” ha una probabilità più alta di rispondere all’indagine web rispetto al gruppo di controllo (cioè il gruppo “link”). Specifichiamo che ci sono due ragioni principali per questi risultati: i) le persone che ricevono l’invito via e-mail con la prima domanda incorporata nel messaggio di testo, possono immediatamente identificare l’e-mail come un invito al sondaggio web e non come spam e -mail, e ii) la “prima domanda” di invito via e-mail può suscitare la curiosità degli intervistati.
Interruzioni
Come ulteriore metrica di risposta, oltre al tasso di risposta, abbiamo calcolato le interruzioni, che abbiamo definito come individui che iniziano a compilare il questionario, ma non inviarlo. Confrontando i due gruppi sperimentali (grafico 3), abbiamo riscontrato che le interruzioni sono più elevate per il campione “prima domanda” (16,8%) rispetto al campione “link” (12,5%). Questa differenza è statisticamente significativa (valore p <1%).
Per valutare l’effetto netto del tipo di invito via e-mail sui break-off, eseguiamo un’analisi di regressione binomiale con la selezione progressiva delle variabili (Tabella 3). Dopo aver regolato l’effetto del tempo di invito (statisticamente significativo), l’area geografica (non statisticamente significativa) e la presenza dei delegati in Italia (non statisticamente significativa), abbiamo trovato una differenza statisticamente significativa tra il gruppo “prima domanda” e il “link” gruppo. In particolare, gli intervistati che hanno ricevuto l’invito per posta elettronica incorporato hanno maggiori probabilità di non completare il sondaggio.
Noi ipotizziamo che l’invito alla posta elettronica incorporata sia anche efficace nell’incoraggiare gli intervistati “riluttanti” ad avviare il questionario. Anche se alcuni di questi intervistati non presentano il questionario (numero più elevato di interruzioni nel gruppo “prima domanda” rispetto a quello “link”), alcuni altri completano il sondaggio, aumentando così il tasso di risposta per il “primo” domanda “campione.
Tempo di completamento
Un altro indicatore della qualità della risposta che usiamo è il tempo impiegato per completare il questionario. Il grafico 2 mostra la distribuzione del tempo di completamento (per i sondaggi Web completati entro 45 minuti, il 91% del campione) per ciascun gruppo di invito e-mail.
Il tempo medio di completamento è di 9,84 minuti per gli intervistati che hanno ricevuto l’invito “prima domanda”, mentre è di 9,61 minuti per coloro che hanno ricevuto l’invito “link”.
Abbiamo calcolato un test statistico (cioè t-test) per verificare le differenze tra i due gruppi e non abbiamo rilevato differenze significative (valore p = 38%). Guardando il genere e la fascia di età dei rispondenti (Tabella 2), non abbiamo riscontrato differenze nel tempo di completamento.
Composizione dei rispondenti
In questa sezione riportiamo i risultati sulla composizione degli intervistati di ciascun campione (cioè i gruppi “prima domanda” e “link”). Ci siamo concentrati su tre variabili: genere, anni di iscrizione alla CGIL e fascia di età.
Quando si guarda al genere, alla fascia d’età e all’iscrizione in CGIL, la composizione del campione non è influenzata dal tipo di e-mail ricevuta.
Conclusioni
Riteniamo che il nostro lavoro possa contribuire ad ampliare le conoscenze sull’efficacia dell’inclusione di una domanda nell’invito via e-mail sulla risposta. In effetti, per quanto a nostra conoscenza, questo è il primo studio che esamina l’impatto dell’invito incorporato sui tempi di completamento e la composizione degli intervistati.
Vedi il poster del articolo.
Autori
Chiara Respi, Università di Milano-Bicocca
Marco Fornea, Demetra opinioni.net Srl
Referenze
Liu, M. e N. Inchausti. 2017.
Improving survey response rates: the effect of embedded questions in web survey email invitations.
Survey Practice 10(1)
Varghese, Moore e Earnhart, 2018;
Are Embedded Survey Items the Solution to Low Web Survey Response Rates? An Investigation of the Interaction Between Embedded Survey Items and Time of Survey Administration.
Survey Practice 11(2)
