Quinta-feira, 9 de Junho de 2011
Testes - Resultados e conclusões

Ao longo do processo de testes, observamos atentamente os utilizadores e fomos efectuando o registo da facilidade com que realizavam as tarefas propostas no guião que lhes foi apresentado.

Em jeito de sumário, desenhamos a seguinte tabela, que oferece uma perspectiva geral sobre as principais tarefas que procuramos testar e se os utilizadores encontraram dificuldades ao concretizá-las.

 

 

 

Os utilizadores apresentaram dificuldades para identificar o menu retráctil localizado no localizado no canto superior direito, e os respectivos botões. A melhor solução para este problema será eventualmente apresentar o menu visível, e oferecer a opção de o retrair ao utilizador.

Os botões relativos às histórias, localizados no menu lateral, provocaram alguma confusão, pois embora recorram a metáforas visuais coerentes com as histórias respectivas, numa primeira utilização os utilizadores não identificam essa ligação.

Registamos também que, durante a visualização de uma história, a presença dos botões de interacção com o carro em fundo faz com que os utilizadores os confundam com os botões de interacção com a história em si (nomeadamente com os botões de controlo do áudio).

Relativamente ao áudio da primeira história, foi encontrado um bug. O scroll automático do texto termina antes do áudio, e ao terminar a história recomeça automaticamente. Isto faz com que o áudio recomece também, ao mesmo tempo que o anterior termina, criando-se um efeito de sobreposição e tornando o conteúdo inaudível.

Ainda na componente sonora, registamos que o facto de a aplicação não possuir música de fundo torna a sua utilização algo monótona, nomeadamente nas componentes de avaliação e no menu principal.

Foi encontrado um outro bug, que diz respeito aos botões de interacção com o carro. Ao clicar no botão de inverter a rotação do carro para a esquerda, o botão relativo à Introdução, no menu lateral, desloca-se de forma estranha, não voltando à sua posição posteriormente.

Outro aspecto que registamos está relacionado com o funcionamento da segunda história. O vídeo foi colocado num ficheiro externo, que é apenas chamado quando aberto o menu relativo a esta história, de modo a poupar no tamanho da aplicação e no seu tempo de carregamento inicial. No entanto, isto faz com que o utilizador necessite de esperar que a história carregue antes de a visualizar, caso contrário o visionamento será condicionado e dar-se-á com solavancos. Os utilizadores expressaram descontentamento com esta opção, e registamos que este tempo de espera retirava fluidez à aplicação, tornando-se algo aborrecido.


Anexos

Apresentamos de seguida os instrumentos que construímos para efectuar os testes, e os questionários resolvidos:
Instrumentos.zip

QuestionariosPreenchidos.zip
 




Versão Beta – Testes

Objectivos - principais aspectos a avaliar:

 

- Fluidez da navegação;

- Intuitividade da iconografia;

- Identificação de eventuais erros dos conteúdos;

- Compreensão por parte do utilizador da informação pretendida nas histórias;

De modo a verificar os factores acima identificados, decidimos recorrer aos seguintes tipos de teste:

Teste de Funcionalidade - A realização deste teste vai nos permitir obter um correcto funcionamento da interface, possibilitando também detectar eventuais bugs presentes na aplicação. Este teste vai ter um papel crucial, visto que a partir dele vai ser possível obter um feedback do utilizador, que poderemos usar para identificar e posteriormente melhorar determinados pontos cuja resposta esteja abaixo do esperado.

Teste de Design - Este teste vai-nos possibilitar entender até que ponto o grafismo está a corresponder aos requisitos da aplicação. Assim vamos conseguir avaliar se a identidade gráfica que conferimos ao projecto se adequa ao pretendido. Basicamente, este teste vai-nos guiar de forma a conseguirmos um grafismo consistente e capaz de prender o utilizador ao ecrã. 

Teste de Conteúdos - O objectivo deste teste será analisar os vários tipos de conteúdos presentes na aplicação, e verificar os respectivos critérios qualitativos, tais como legibilidade e ortografia dos textos ou qualidade e visibilidade das imagens e vídeos.

Teste de Usabilidade - É importante testar a usabilidade de uma aplicação para verificar se a mesma cumpre não só os objectivos a que se propõe, mas também se estes objectivos são cumpridos de forma eficaz, deixando o utilizador satisfeito. Deste modo, a usabilidade deverá ser testada tendo em conta três atributos: a eficácia (relação entre os objectivos definidos e os atingidos pelo utilizador), a eficiência (relação entre os recursos definidos como fundamentais e os realmente utilizados) e a satisfação (nível de aceitação do produto por parte do utilizador). Não nos adiantaria de nada ter uma aplicação de nível excelente em termos gráficos se esta se baseasse numa interface muito complicada para o utilizador, por exemplo, pois este eventualmente acabaria por desistir de tentar utilizá-la.

Técnica de Teste

Utilizaremos a técnica de teste integrado, no que diz respeito aos testes de funcionalidade, design, e conteúdos. Esta permitir-nos-á combinar os vários módulos da aplicação, e testá-la como um todo.

No caso do teste de usabilidade, recorreremos à técnica Cognitive Walkthrough, aliada ao Thinking Aloud Protocol, ou seja, será fornecido ao participante uma lista de tarefas concretas que este procurará realizar, sendo utilizado um formulário que será preenchido por nós de modo a descrevermos o resultado do processo. Enquanto utiliza a aplicação, o participante será convidado a verbalizar os seus pensamentos, de modo a analisarmos posteriormente as suas reacções.

Técnica de recolha de dados

 

Na realização dos testes de funcionalidade, design e conteúdos, de maneira a recolhermos os dados, utilizaremos grelhas de registo.

Relativamente ao teste de usabilidade, além do formulário que será preenchido por nós no que diz respeito à técnica Cognitive Walkthrough, recorreremos também a uma grelha de registo para apontar as observações verbalizadas pelo utilizador, no seguimento do Thinking Aloud Protocol.

Recorreremos ainda à gravação em vídeo e áudio dos testes, através de um screen recorder, para posterior análise.

 

Participantes

 

Decidimos utilizar 5 participantes para os testes, pois julgamos que este é um número suficiente para obtermos as conclusões pretendidas.        


Iremos procurar que 2 dos participantes tenham alguma experiência na utilização de conteúdos multimédia, e os 3 restantes serão pessoas menos conhecedoras nesse aspecto.

Dado o conceito da nossa aplicação, existem certas limitações a aplicar aos participantes, nomeadamente em termos de idade. Assim, fará sentido limitar a amostra a pessoas maiores de idade, pois aqui estará concentrado o nosso público-alvo.

No que toca ao género, a nossa aplicação destina-se a pessoas de ambos os sexos, não existindo diferenciação, pelo que consideramos que este não seja um factor decisivo. Procuraremos, ainda assim, equilibrar os participantes, como por exemplo 3 de sexo masculino e 2 de sexo feminino, ou vice-versa.

Em relação ao ambiente, optamos por realizar os testes num ambiente de uso não controlado, para simular a experiência de e-learning.




.mais sobre mim
.pesquisar neste blog
 
.Junho 2011
Dom
Seg
Ter
Qua
Qui
Sex
Sab

1
2
3
4

5
6
7
8
9
10
11

12
13
14
15
16
17
18

19
20
21
22
23
24

27
28
29
30


.posts recentes

. 360 carro

. Logins

. Testes - Resultados e con...

. Versão Beta – Testes

. Entrega de ficheiros

. Reunião com coordenador d...

. Reunião com coordenador d...

. Versão actualizada do map...

. Actualização do mapa de n...

. Alterações gráficas

.arquivos

. Junho 2011

. Maio 2011

. Abril 2011

. Março 2011

. Fevereiro 2011

.tags

. todas as tags

blogs SAPO
.subscrever feeds