Rilevanza e Oggetto della Ricerca
I sondaggi online sono autogestiti dagli intervistati che cercano di ricevere incentivi per il completamento dei questionari. Alcuni degli intervistati utilizzano uno sforzo cognitivo minimo per completare rapidamente il sondaggio in cambio di incentivi. Tuttavia, questo può innescare comportamenti come non leggere attentamente le domande, correre attraverso il sondaggio o barare intenzionalmente, con conseguente scarsa qualità dei dati.
Questo documento si propone di indagare sul comportamento dei cheater tra i rispondenti online di un pannello non-probabilistico che analizza sette tecniche per rilevare i cheater, applicate in modi diversi per trovare una metodologia efficiente, che porti all’eliminazione del maggior numero possibile di imbroglioni senza eliminare i panelisti onesti. Questo è importante nella fase di progettazione e informatizzazione del questionario per ottenere dati di qualità.
Metodi e dati
Abbiamo utilizzato i dati di 2 sondaggi web condotti in Italia (nel mese di gennaio 2019) su membri del nostro panel, Opinione.net, che è composto da 21.558 relatori attivi. Le 2 indagini considerate nel nostro studio hanno le seguenti caratteristiche: una dimensione del campione di 1.073 per il primo set di dati e di 1.004 per il secondo, lo stesso target di popolazione e il tema è il consumo di cibo.
I membri del campione sono stati stratificati per area geografica, sesso ed età al fine di essere rappresentativi della popolazione Italiana. In entrambi i questionari, abbiamo posto una domanda particolare: “Sei affetto o sei stato colpito in passato da una o più delle seguenti malattie a lungo termine o condizioni patologiche? “.
Abbiamo considerato la sofferenza da “Allergie” come variabile target dei nostri studi.
Il primo sondaggio è stato utilizzato come set di allenamento per determinare un metodo per identificare i cheaters.
In particolare, abbiamo analizzato le stime della variabile target in ciascun controllo e in qualsiasi combinazione di questi, in confronto con la stima della stessa domanda dal sondaggio “multiuso” sulle famiglie: “Condizioni di salute e appello ai servizi sanitari” condotte di Istat nel 2016 per valutare la qualità dei nostri dati. Una volta definito il metodo, l’abbiamo convalidato utilizzando il secondo sondaggio come set di test.
Le tecniche utilizzate per rilevare i cheater
- Istruzione diretta nel corpo di una domanda (direct_1, direct_2): si tratta di domande con istruzioni dirette nel corpo che mira a verificare se il testo dell’applicazione è stato letto attentamente. In uesto caso abbiamo usato due pulsanti radio. Tipo di domanda:
1. direct_1: “Per continuare, fare clic su Venerdì …”
2. direct_2: “Per dimostrare di aver letto questa istruzione, si prega di non rispondere alla domanda di seguito. Piuttosto, fare clic sul pulsante Avanti per continuare a compilare il questionario “.
- Eventi improbabili (unlik): all’inizio di un questionario ci sono spesso alcune domande di screening volte a stabilire se il rispondente ha le caratteristiche richieste per accedere al sondaggio. Il rispondente può dichiarare di possedere tutte le caratteristiche richieste, anche se questo non è il caso, con l’obiettivo di procedere con il questionario e ottenere l’incentivo finale. Per identificare questo tipo di cheater è sufficiente inserire, tra le domande di screening, una domanda che chiede se il rispondente ha una o più caratteristiche, che normalmente non avrebbe avuto.
- Domande trabochetto (falsi marchi / nomi) (falsi): consistono nell’incorporare marchi o nomi fittizi (fantasma) in una domanda. Per un sondaggio abbiamo scelto di usare una domanda con pulsanti di opzione: “Hai mai sentito parlare di NOME DI UN SERVIZIO FAKE?” (Sì / No)
Per l’altro abbiamo scelto di incorporare un marchio falso in mezzo ad altri reali in una griglia a sì / no.
- Bad Open Questions (aperte): in una domanda aperta obbligatoria, i partecipanti possono rispondere con un messaggio inappropriato o una risposta a caso (es. ‘Asdfhjkl’) come un modo per indicare la mancanza di una risposta significativa o come opzione per non lasciare lo spazio vuoto.
- Consistency Check (coer_1, coer_2): i controlli di convalida consistono in due o più domande correlate tra loro che sono collocati in diversi punti del questionario. In queste circostanze la risposta alla seconda domanda dovrebbe corrispondere o almeno non contraddire la prima.
- Speeder Check (tempo): gli speeder sono partecipanti al sondaggio che finiscono troppo velocemente. Il problema con questo tipo di il metodo è di impostare il cut-off per definire “quanto è veloce è troppo veloce”.
Abbiamo considerato una percentuale del tempo medio / medio di compilazione:
1. 33% del tempo medio di compilazione dopo aver escluso valori anomali.
2. 48% del tempo mediano di compilazione.
Per ogni percorso nel sondaggio impostiamo il cut-off come media di questi due valori. - Straightlining Check (straigh_1, straigh_2, straigh_3): la rettifica si verifica quando i rispondenti al sondaggio danno risposte identiche (o con pattern prevedibile) agli elementi di una batteria di domande usando la stessa scala di risposta.
Per catturare questo tipo di cheater, abbiamo valutato la media delle differenze in valore assoluto tra i punteggi adiacenti combinato con il tempo necessario per completare l’insieme di domande. Quando le risposte sono presentate in linea retta (per esempio 1,1,1,1 …), la media delle differenze dovrebbe essere intorno a 0. Invece, quando hanno una forma a “zig-zag”, come 1,2,1,2 … o 1,2,3,2,1 …, questo punteggio dovrebbe essere intorno a 1. Questo tipo di comportamento riduce il tempo di completamento perché il rispondente non è coinvolto nel questionario. Nelle prove, è stato riscontrato che il rispondente CAWI medio ha bisogno di 300 millisecondi per capire una singola parola in una frase. Questo fattore moltiplicato per il numero di parole nella domanda determina il tempo necessario per leggere e comprendere correttamente la domanda. Per questi motivi, per gli intervistati che hanno la media delle differenze era 0 o 1 e il tempo di compilazione era inferiore al tempo di lettura richiesto, sono stati considerati di aver fallito il controllo straightline check.
Conclusioni
I due maggiori fattori nel determinare il numero di partecipanti eliminati da uno studio sono:
- Il modo in cui è progettata la domanda di controllo di qualità.
Abbiamo scoperto che il modo in cui vengono progettate le Istruzioni dirette nel corpo della domanda e le Trap Question con marchi falsi, modifica in modo significativo la percentuale di persone che falliscono i controlli. Anche la posizione delle domande influenza il fallimento dei controlli. - Il numero di domande di controllo qualità poste:
Rimozione di rispondenti che non rispondono a una singola domanda di controllo qualità non migliora la qualità dei dati. Nella nostra analisi, i partecipanti segnalati per la rimozione dovrebbero fallire almeno 3 misurazioni di controllo di qualità.
Leggi anche il poster dell’articolo: Poster
Indagine condotta da Demetra opinioni.net
Autori: Dr.ssa Manuela Ravagnan e Dr. Marco Fornea
