C’è una domanda che ogni ricercatore si è posto almeno una volta nella vita e a cui non ha trovato risposta: “chi sono” gli utenti che recluto per i test di usabilità? Per questo, in collaborazione con Sapienza e UNGUESS, abbiamo deciso di affrontare questo tema spinoso, anche perché la stessa ricerca accademica ha, ancora molto poco, studiato come  alcune caratteristiche degli utenti influenzano il loro comportamento durante un test di usabilità. È stato un lungo e faticoso percorso che ci ha portato il 28 Agosto 2022 alla pubblicazione dell’articolo “Usability Evaluations Employing Online Panels Are Not Bias-Free” sulla rivista MDPI Applied sciences. Chi sono gli utenti dei panel online? La loro esperienza come influenza le metriche oggettive e soggettive? È la fine della ricerca con gli utenti?Questo e altro nell’articolo di cui vi riportiamo l’abstract (Link al testo completo, solo per i più coraggiosi: https://www.mdpi.com/1800282)

Abstract

A growing trend in UX research is the use of Online Panels (OPs), namely people enrolled in a web platform who have agreed to participate regularly in online studies and/or in the execution of simple and repetitive operations. The effect of the participation of such “professional respondents” on data quality has been questioned in a variety of fields (e.g., Psychology and Marketing). Notwithstanding the increasing use of OPs in UX research, there is a lack of studies investigating the bias affecting usability assessments provided by this type of respondents. In this paper we have addressed this issue by comparing the usability evaluations provided by professional respondents commonly involved in debugging activities, non-professional respondents, and naive people not belonging to any OP. In a set of three studies, we have addressed both the effect of expertise and type of task (debugging vs. browsing) on the usability assessments. A total of 138 individuals participated in these studies. Results showed that individuals who performed the debugging test provided more positive usability ratings regardless of their skills, conversely, professional respondents provided more severe and critical ratings of perceived usability than non-professionals. Finally, the comparison between the online panelists and naive users allowed us to better understand whether professional respondents can be involved in usability evaluations without jeopardizing them.

Autori

Piero Maggi

Simon Mastrangelo

Marco Scelsi

Luca Manara

Giorgia Tempestini

Francesco Di Nocera

ERgoproject