Esse post é mais um “Casos Reais da Cats” com uma edição especial de adaptação à nova realidade de trabalho. Em tempos de pandemia, a necessidade de adaptação nos força a inovar em vários aspectos, inclusive nas nossas ferramentas e métodos. Nesse post, vamos explicar como fizemos um teste de usabilidade remoto e em grupo, que chamamos de “Focus group de usabilidade” e os resultados que conseguimos.

Nesse projeto o nosso desafio era melhorar a usabilidade de um sistema interno de simulação e compra de insumos de produção. Um sistema complexo, com muitos detalhes técnicos e com uma linguagem bem voltada para esses usuários.

Entrevistas em profundidade e user walkthrough

Nosso primeiro passo para o entendimento do desafio do projeto foram as entrevistas em profundidade com os usuários, onde foram mapeados pontos da sua jornada diária de trabalho e realizado um walktrough pelo sistema para entendimento da forma como utilizavam a solução atual. Todos os indivíduos pesquisados eram da equipe de compras, especificamente as pessoas responsáveis por comprar determinados materiais para produção da cerveja (como o malte e cevada por exemplo).

Nessa abordagem inicial nós precisávamos entender como era o fluxo de navegação dentro do sistema e quais os pontos mais sensíveis de uso. Após compilar as entrevistas, conseguimos enxergar com mais clareza as principais tarefas, necessidades e dores dos usuários.

Após essa primeira imersão com o público alvo do produto, começamos a entender um pouco melhor esse complexo sistema, descobrimos os seus pontos fracos e fortes e mapeamos todos os fluxos de navegação existentes na versão atual. Trabalhamos em 6 módulos com tarefas distintas e identificamos pontos de atrito em que os usuários precisavam navegar entre diversas páginas para conseguir realizar uma tarefa relativamente simples. A partir dessas informações, conseguimos juntar material suficiente para partir para a próxima etapa: o processo de ideação da nova versão do produto.

Co-criação com Design Sprint e a etapa de prototipação

Depois de mapear os fluxos a fim de entender melhor a complexidade do sistema, partimos para o escritório do cliente em São Paulo para realizar uma adaptação curta do Design Sprint com os usuários (antes de começar a pandemia). Optamos por essa abordagem tendo em vista que cada “dono de carteira” necessitava visualizar uma informação diferente do outro dentro desse mesmo produto e tendo em vista que todos eram bastante experientes em suas áreas e no uso do sistema. A diretriz escolhida foi reunirmos todos para chegar mais rapidamente em um ponto comum. O Design Sprint foi uma experiência muito bacana e ajudou a colocar todos na mesma página, além de dar um start mais rápido na etapa de arquitetura da informação, pois na co-criação junto com os usuários já conseguimos sair com vários rabiscos de como as telas deveriam ser. 

O Design Sprint com a participação dos usuários só foi possível pelo fato destes apresentarem uma boa maturidade e clareza sobre suas necessidades e forma preferencial de trabalho, e tendo em vista que se tratava de um sistema interno com um universo de  usuários bastante específicos

Depois de rodar o Design Sprint, prototipamos os fluxos e wireframes finais de média fidelidade iniciados durante a co-criação ao vivo. Para fazer uma validação com o cliente de forma mais lean, gravamos vários vídeos curtos explicando as propostas de funcionalidades (utilizamos por aqui a extensão do Chrome do Loom para gravações rápidas da tela + áudio) para o líder interno do projeto,  que  compartilhava os protótipos com os participantes do design sprint para um nova rodada de interações. A partir desses vídeos, recebíamos feedbacks, normalmente por e-mail ou através de uma chamada de vídeo para discutirmos pontos que ficaram legais e pontos que precisavam ser alterados. Essa dinâmica nos ajudou a identificar as oportunidades de melhoria de uma forma mais ágil e já alterar  rapidamente o que não estava funcionando.

Componentização do user Interface

Depois dos wireframes finalizados e aprovados, partimos para a etapa de UI. Utilizamos um Design System já em uso em um outro projeto que trabalhamos aqui na Cats desse mesmo cliente, visando um objetivo maior de padronização de componentes dos produtos da empresa. Quando finalizamos a UI tentamos levantar qual seria a melhor forma de validar o resultado final (AI e UI) com o usuário, considerando que parte da interface já havia sido gerada de forma co-criativa com essas mesmas pessoas.

Plano de validação e definição do formato da dinâmica

Aqui nos deparamos com alguns pontos sensíveis. Estávamos com um saldo de poucas horas de projeto para fazer essa última rodada de validações. Precisávamos gerar uma grande quantidade de feedbacks passando pelos diferentes perfis de “compradores” em um curto espaço de tempo, então, levantamos algumas formas de fazer essa validação:

1- Fazer testes de usabilidade individuais (mas achamos que não valeria muito a pena já  que o líder interno já tinha validado e mostrado as telas para vários dos usuários e o teste poderia acabar sendo redundante)

2- Testes de usabilidade com a plataforma do Maze, onde conseguiriamos uma distribuição e aplicação muito mais simples a partir de um link único, resultando em métricas e indicativos de erros de usabilidade (mas acabamos descartando porque o tempo que levaria para montar o projeto no Maze não valeria a pena tendo em vista a quantidade de usuários)

3- Pensamos também em fazer apenas um Focus Group para discutir o look and feel da UI, já que grande parte da arquitetura já havia sido validada por boa parte dos usuários (e também descartamos pois achamos que não seria assertivo validar aspectos gráficos com um grupo variado onde cada pessoa tende a ter uma opinião estética diferente)

Como precisávamos otimizar as nossas horas de trabalho, começamos a pensar em uma forma de validar pequenos detalhes de arquitetura e fluxo junto com a proposta de nova aplicação da UI do sistema. Depois de uma conversa e uma ideação interna com o time da Cats, resolvemos testar um Focus Group de Usabilidade, dessa forma conseguiríamos apresentar a versão final do fluxo para todos os usuários ao mesmo tempo e validar 100% a arquitetura e usabilidade. Pesquisamos como seria essa dinâmica e achamos um artigo (https://medium.com/pminsider/how-to-lead-ux-research-focus-groups-8d5cb960ad3e) que trouxe uma ideia interessante de comorealizar esse tipo de dinâmica. Apesar do direcionamento precisamos adaptar alguns aspectos para a nossa realidade, principalmente porque o focus teria que ser feito de forma remota. 

Entendemos que para fazer o Focus group funcionar precisaríamos de:

• Um protótipo navegável
• Hipóteses para montar o roteiro e as tarefas para os usuários
• Um roteiro bem estruturado
• Alguém para gravar/anotar pontos importantes e insights
• Preparação do moderador do focus group 
• Rodar um piloto para conferir se o protótipo estava de acordo com todas as perguntas e tarefas que seriam feitas aos participantes
• Engajamento e participação efetiva dos usuários durante a sessão

A primeira coisa que fizemos foi separar todos os fluxos que o usuário precisariam realizar e colocar prints deles no Miro. Depois, levantamos hipóteses do que achávamos que o usuário não ia entender ou teria alguma dúvida. Fizemos isso para todos os fluxos que iríamos validar. Depois da equipe levantar essas questões para validação, trouxemos o líder do projeto interno do cliente para repassar essas hipóteses com a gente e verificar se ele levantaria mais alguma. 

Com as hipóteses de todos os fluxos definidas, conseguimos finalizar o nosso roteiro do focus group de usabilidade onde exploramos perguntas sobre:

• Usabilidade e desempenho
• Look and feel e design visual da interface
• Entendimento do conteúdo e taxonomia no sistema

Para uma validação prévia da abordagem, fizemos um teste piloto de como a dinâmica iria funcionar. Esse teste drive serviu para testar bem nossos protótipos e abrir para o pessoal da nossa equipe nos dar feedbacks do que poderia ser melhor. Essa validação foi de extrema importância, pois com ela conseguimos preparar o moderador do focus e corrigir pequenos erros no roteiro e no protótipo.

Focus group de usabilidade

No dia do Focus Group, com o protótipo e roteiro já revisados, validados e organizados, ficamos no aguardo do pessoal entrar na sala no Zoom. Quando iniciamos, fizemos uma pequena explicação de como seria conduzida toda a dinâmica, que iríamos mandar os links dos protótipos de cada fluxo pelo chat da plataforma à medida que avançávamos nos testes, e que eles não deveriam navegar antes de passarmos as tarefas que eles precisariam cumprir.

Avisamos que dariamos um tempo para que todos tentassem realizar as tarefas e no final de cada tempo iríamos fazer um pequeno questionário relativo ao fluxo que eles tinham acabado de seguir. Um ponto muito importante foi que fizemos um acordo verbal com todos que estavam presentes. Como eram 18 participantes, combinamos de antemão de apenas um falar por vez, para facilitar a vida de quem estivesse anotando os comentários, e o pessoal super colaborou com esse acordo pré definido. 

Quando terminamos a pesquisa, perguntamos no fechamento do focus group a percepção geral das pessoas em relação à nova versão do produto para já termos um feedback aberto um pouco mais rápido e recebemos uma resposta bem positiva.

Por fim foi também enviado por e-mail para os usuários um avaliação SUS (System Usability Scale), para termos uma visão geral de métrica de usabilidade sobre a nova proposta de interface do sistema. 

Registros do focus group e atualizações no protótipo

Durante a realização do Focus Group de Usabilidade, anotamos em tempo real diretamente no nosso protótipo os highlights de cada alteração que precisaria ser feita, para facilitar na hora que fossemos aplicar os ajustes Dividimos as tarefas entre a equipe e em pouco tempo conseguimos deixar o protótipo e o fluxo 100%. 

Para finalizar o projeto, chamamos o líder interno para apresentação das últimas alterações e fazer a formalização da entrega final.

Conclusões

Todo mundo já ouviu/leu aquela famosa frase “adapt or die”, pois é, a adaptação foi o carro chefe nesse projeto que começou em um “mundo normal” e terminou no meio de uma pandemia. Eu sei que parece estranho um teste de usabilidade remoto e em grupo, mas foi a partir da necessidade de adaptação causada pelo momento que estamos vivendo que descobrimos e validamos um novo formato de validação de usabilidade e user interface com usuários. 

Os resultados que obtivemos com essa abordagem foram melhores do que nós imaginávamos e a técnica super foi aprovada tanto pela nossa equipe, quanto pelo cliente e pelos próprios usuários. 

Nós não diríamos que isso substitui uma avaliação presencial com o usuário, até mesmo porque da forma que fizemos não conseguimos avaliar a postura e reações dele diante do uso do produto, mas a realidade (tempo, budget, acesso..) nem sempre nos permite rodar no cenário ideal. 

Sem dúvida a maturidade e participação ativa do usuário, que abriam seus microfones para relatar quando tinham dificuldade na realização de alguma tarefa, que davam seus feedback sem hesitar sobre pontos específicos da jornada, e que estavam envolvidos na construção do produto desde o começo do projeto, foram aspectos primordiais para que esse modelo fosse realizado com sucesso.

Esse case foi acompanhado e relatado por:

Luiz Eduardo Luckner – UX Designer na Catarinas e Pós Graduando em Design de Interação pela UNIVALI.

Lais Welter de Abreu – UX Designer na Catarinas e Graduada em Design Gráfico pela UFSC.