Date post: | 11-Jan-2015 |
Category: |
Education |
Upload: | roberto-polillo |
View: | 2,906 times |
Download: | 0 times |
VALUTARE L’USABILITA’
Corso di Interazione Uomo MacchinaAA 2009-2010
Roberto Polillo
Università di Milano BicoccaDipartimento di Informatica, Sistemistica e Comunicazione
1
Tecniche di valutazioneSi possono dividere in due grandi categorie:
• Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”)– Walkthrough cognitivi– Valutazioni euristiche– …
• Valutazioni con la partecipazione degli utenti– Test di usabilità– Interrogazioni– …
3
Ispezioni
5
Ispezioni (ingl.: inspections)
• Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti
• Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali)
• Due tecniche principali:
– Valutazioni basate su euristiche (“heuristic evaluation”)
– Walkthrough cognitivi
6
Valutazioni basate su euristiche
Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani)
• Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati
• Le euristiche possono essere diverse, più o meno dettagliate.In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo
7
Le euristiche di Nielsen
J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema:
1. Visibilità dello stato del sistema2. Corrispondenza fra il mondo reale e il sistema3. Libertà e controllo da parte degli utenti4. Consistenza e standard5. Prevenzione degli errori6. Riconoscere piuttosto che ricordare7. Flessibilità ed efficienza d’uso8. Design minimalista ed estetico9. Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli10. Guida e documentazione
(Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html )
8
Valutazioni basate su euristiche: aspetti
• Poco costose (“discount usability”)
• Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta)
• Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità
• I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione)
• NB I valutatori non devono comunicare fra loro durante la valutazione
9
Esempio
Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero di problemi trovati), da J.Nielsen, cit. 10
Walkthrough cognitivo
• Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito…
• …cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità
11
Il walkthrough cognitivo: come si fa
Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di
rispondere alle seguenti 4 domande :
1. L’utente cercherà di ottenere l’effetto corretto?
2. L’utente noterà che l’azione corretta è disponibile?
3. L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere?
4. Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito?
12
Esempio: Copy & Paste di una frase in Word
UT 1: Selezionare la fraseSIST 1: Evidenzia la frase UT 2: Seleziona Edit CopySIST 2: nessun feedbackUT 3: Posiziona il cursore sul punto di
inserimentoSIST 3: La barra del cursore lampeggiaUT 4: Seleziona Edit PasteSIST 4: La frase selezionata appare nella
posizione del cursore
Per ogni azione dell’utente bisogna rispondere alle 4
domande precedenti
13
Walkthrough cognitivo: aspetti
• La tecnica richiede molta esperienza
• L’analisi di interfacce complesse richiede molto tempo
• La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta
14
Classificazione dei problemi riscontrati
Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio:
1 Problema irrilevante: non deve essere risolto, ameno che avanzi del tempo
2 Problema secondario: da risolvere con bassa priorità
3 Problema rilevante: da risolvere con alta priorità
4 Problema bloccante: deve necessariamente essere risolto prima che il sistema venga rilasciato
15
Test di usabilità
16
Sulla carta funziona, ma...…poi bisogna provare!
17
In sostanza...
Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire
Osservatore Osservato 19
Tipi di test di usabilità
• Test di compitoAgli utenti viene chiesto di svolgere compiti specifici, che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso)
• Test di scenarioAgli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni
20
Esempio: test di compito per un sito di e-commerce
• Task 1: Registrarsi• Task 2: Verificare se si può pagare con Visa e
qual è l’importo minimo per un ordine• Task 3: Verificare quali sono i tempi di consegna • Task 4: Acquistare una scatoletta da 500 gr di
tonno sott’olio• Task 5: Cercare se vendono confezioni di
sciroppo di acero • Task 6: Verificare lo stato degli ordini effettuati• Task 7: Verificare se esistono offerte speciali di
pasta
21
Esempio: test di scenario per un sito di e-commerce
Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica.
22
Test di usabilità: logistica
Due filosofie:
• Organizzazione informale (costi bassi)
• Usability lab (costi alti):
>>
23
Usability lab
Testing roomObservation
room
24
25
Telecamera
Microfono
Tester
Schermo conSoftware ScreenRecording
Organizzazione informale
27
28
Thinking aloud
E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando:
– che cosa sta cercando di fare– che cosa vede sullo schermo– come pensa di dover proseguire– quali dubbi e difficoltà sta provando
29
Aspettatevi delle sorprese!
?Y!W?KJZ
Video: test di usabilità 30
Come si organizza un test di usabilità
Quattro fasi:
1. Preparazione del test
2. Esecuzione del test
3. Analisi dei risultati
4. Conclusioni
31
1. Preparazione del test
• Definizione degli obiettivi e tipo del test, e delle misure da raccogliere
• Definizione del numero e della tipologia degli utenti campione
• Definizione dei compiti e/o scenari d’uso
• Individuazione degli utenti campione
• Preparazione dei materiali e dell’ambiente di prova
>>
32
Quali misure raccogliere?
Spesso vengono raccolte le seguenti metriche elementari:
• il tempo richiesto da un determinato compito
• la percentuale di compiti portati a termine con successo (“success rate”)
• la soddisfazione dell’utente
33
Success rate: esempio
Success rate: (9 + (4*0.5)) / 24 = 46%
successfultrials
partiallysuccessful
total trials
34
Test di usabilità: quanti utenti? Dipende dagli obiettivi del test e dalla complessità del
sistema
Check-up informale di un sito semplice:
- 5-7 utenti- 5-7 compiti ciascuno(20-40 minuti per ciascun utente)
Valutazione approfonditadi un sito complesso:
- 10-15 utenti- 1 – 1,5 h per ciascun utente
Esempio: per un sito web, tipicamente
35
La regola di Nielsen(per i siti web)
• Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo
• Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti
(Jakob Nielsen)
• Però questa regola informale è stata molto criticata
36
Preparazione dei materiali e dell’ambiente di prova
• Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …)
• Descrizione scritta dei compiti/scenari, da dare agli utenti
• Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati)
• Questionario per l’intervista finale agli utenti
38
1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________
2. Livello di conoscenza di Internet
Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima
In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10
Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No
3. Livello di conoscenza del sito
Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________
Hai mai utilizzato siti simili?
No – Sì,qualche volta – Sì, spesso
Se sì, quali? _____________________
1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________
2. Livello di conoscenza di Internet
Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima
In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10
Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No
3. Livello di conoscenza del sito
Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________
Hai mai utilizzato siti simili?
No – Sì,qualche volta – Sì, spesso
Se sì, quali? _____________________
Esempio:Scheda per i dati sugli utenti
39
2. Esecuzione del test
• Spiegazione agli utenti
• Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud, webcam,...), senza interferire
• Intervista agli utenti (dopo)
>>
40
3. Analisi dei risultati
• Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato)
• Individuazione ed elencazione dei singoli problemi individuati
>>
44
Analisi risultati di un test di usabilità: esempio
(Registrazione utente in un sito di e-commerce) 45
• Riorganizzazione dell’elenco dei problemi in aree funzionali
• Definizione del livello di priorità dei problemi, es.:
Priorità 1: Interventi indispensabili e urgenti
Priorità 2: Interventi necessari ma meno urgentiPriorità 3: Interventi auspicabili
• Stesura delle raccomandazioni finali
3. Conclusioni
46
Raccomandazioni finali: esempio
47
Altre tecniche basate sull’utente
48
Inchieste (“inquiry”)
Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti
Esistono varie tecniche:
- interviste individuali- questionari- focus group (discussione con gruppi di utenti)
49
Inchieste: aspetti
Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità:
gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema
50
Esperimenti controllati
• Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo
• Esempi:– Leggibilità di testi a video (dimensione font, tipo di font, colori, …)
– Efficacia dei banner pubblicitari su pagine web
– ….
• La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso
51