A Competição de Avaliação de IHC busca motivar a participação de alunos de graduação e de pós-graduação, bem como professores e profissionais de IHC contribuindo para a formação destes alunos. A Competição de Avaliação tem um caráter essencialmente prático: os participantes fazem a avaliação de um sistema computacional e, assim, aplicam conhecimentos teóricos relacionados a metodologias de avaliação de IHC.
O IHC 2020 terá como tema 'História e Interação''. Na competição de avaliação, em particular, o objetivo é explorar a avaliação de artefatos computacionais interativos e sua relação com a História e seus efeitos globais no passado, presente e perspectivas de futuro. Nesse sentido, a competição visa incorporar a possibilidade de avaliação de tecnologias e sua relação com o legado histórico do passado, bem como de tecnologias e sua relação com o "fazer e contar a história" ou "recontar a história" em episódios marcantes da atualidade. Além disso, a competição visa ainda estimular o seguimento de uma linha de concepção de história mais crítica, abrindo para a avaliação com aplicativos e tecnologias que ajudam na compreensão da História e suas reflexões.
Entre os possíveis artefatos que poderão ser foco da avaliação, do ponto de vista de tecnologias que auxiliam a "fazer, contar e recontar a história" na atualidade estão as redes sociais com situações e discussões envolvendo 'fake news' (cenários político, econômico, social, cultural, legal etc.) e tecnologias colaborativas no suporte ao dia a dia em situações de isolamento (e.g. COVID-19). Do ponto de vista de tecnologias que auxiliam a compreender o legado histórico passado, podem ser avaliadas tecnologias interativas que ganharam grande projeção com as situações de isolamento social com a crise do COVID-19 e fechamento de museus e espaços culturais para o público. Podem ser avaliados aplicativos, websites ou ambientes de realidade virtual e aumentada de museus e espaços culturais do Brasil e do mundo (e.g. Museu Afro Brasil, Museu do Amanhã, RATP Museu Realidade Aumentada, VR Museu Britânico, Museu Nacional do Azulejo em Portugal, dentre outros). Jogos educacionais e jogos sérios ligados ao tema também podem ser avaliados na competição.
Do ponto de vista metodológico, nesta competição de avaliação gostaríamos de desafiar os estudantes a buscar extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience - UX). De acordo com a ISO 9241-210, a experiência do usuário aborda "as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço" e "inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso". Em várias tecnologias interativas relacionadas ao tema desta competição, a "experiência do usuário" tem papel importante no uso desta tecnologia, incluindo suas emoções, sensações e outros aspectos relacionados a UX, e não só aspectos relacionados ao uso do sistema e realização de tarefas no mesmo. Os alunos têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX.
Consideramos importante disseminar o uso de métodos de avaliação de UX que de fato contemplem os aspectos de UX que extrapolam aspectos clássicos de usabilidade, acessibilidade e comunicabilidade, por exemplo. Apesar da ampla disseminação do termo "UX" e adoção do mesmo por muitas empresas, muitas avaliações realizadas em ambientes comerciais ditas "avaliações de UX" não incorporam aspectos mais amplos como as percepções, reações, emoções, crenças, dentre outros. Nesse sentido, a competição traz este desafio de demonstrar a utilização efetiva destes métodos, como exemplos que podem ser replicados em ambientes comerciais.
No âmbito da competição, entre os aspectos de UX a serem avaliados com relevância em potencial, pode-se exemplificar reações com relação a crenças e percepções sobre sistemas interativos com notícias, emoções que emergem da interação com conteúdo com base histórica real e 'fake', ou sentimentos emergentes a partir do uso de tecnologia em situações de fatos históricos, bem como as percepções e reações que emergem a partir da interação com artefatos ligados ao legado cultural do passado.
Para os alunos de pós-graduação, gostaríamos de lançar um desafio "extra", no sentido de explorar métodos de avaliação de UX oriundos de pesquisas recentes da literatura nos seus trabalhos. No âmbito acadêmico, desde a publicação do artigo "User experience - a research agenda" em 2006 por Hassenzahl e Tractinsky, com mais de 2500 citações em março de 2020, muitos trabalhos têm se dedicado a investigar métodos para avaliar aspectos de experiência do usuário. Apesar dos avanços, esta área ainda apresenta mais desafios em pesquisa do que a utilização de técnicas consolidadas há décadas para avaliar outros aspectos da qualidade no uso, como de usabilidade. Os alunos de pós-graduação são convidados a revisar a literatura recente de IHC na busca por métodos com aplicabilidade ao tipo de aplicação escolhida. Na literatura, há propostas específicas para avaliação da experiência do usuário com aplicativos de uso geral, jogos ou com aplicativos interativos de legado cultural. As equipes terão total liberdade para efetuar sua pesquisa na literatura e escolher o(s) melhor(es) método(s) para utilizar. Entretanto, listamos a seguir alguns exemplos de artigos com propostas deste tipo, que não necessariamente precisam ser as adotadas nos trabalhos:
- IJSSELSTEIJN, W. A.; DE KORT, Y. A. W.; POELS, Karolien. The game experience questionnaire. Eindhoven: Technische Universiteit Eindhoven, p. 3-9, 2013.
- PETRIE, H.; OTHMAN, M. K.; POWER, C. Smartphone Guide Technology in Cultural Spaces: Measuring Visitor Experience with an iPhone Multimedia Guide in Shakespeare’s Church. International Journal of Human–Computer Interaction, v. 33, n. 12, p. 973-983, 2017.
- BRÜHLMANN, F; Vollenwyder, B.; Opwis, K.; & Mekler, E. D. Measuring the “Why” of Interaction: Development and Validation of the User Motivation Inventory (UMI). In: Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. p. 1-13.
Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro. Os artefatos computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Propostas com avaliações de artefatos computacionais que intensificam a colaboração social na área da História também são bem-vindas.
As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional.
Equipes de alunos de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.
Após a avaliação, cada equipe deve gerar um relatório contendo:
Nome do(s) método(s) de avaliação utilizado(s);
Justificativa da escolha deste(s) método(s);
Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;
Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);
Resultados da avaliação:
Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;
Fechamento: conclusão e outras observações;
Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) aspectos de experiência de uso nos aplicativo(s).
As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo ACM Master Article (https://www.acm.org/publications/proceedings-template). Os autores devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF.
Os relatórios serão mantidos confidenciais durante o processo de revisão e os relatórios dos finalistas serão mantidos confidenciais até o início do evento, quando, por ocasião das apresentações, as equipes serão identificadas.
A formação da equipe pode ser de dois tipos:
Graduação: no mínimo 3 alunos e no máximo 5 alunos de graduação;
Pós-graduação: no mínimo 2 alunos e no máximo 4 alunos de pós-graduação.
Todas as equipes de alunos de graduação devem ter no mínimo um e no máximo dois supervisores, que podem ser vinculados a uma instituição de ensino superior, instituto de pesquisa ou empresa privada com atuação ligada a IHC. Um dos supervisores pode ser aluno de pós-graduação, caso participe da supervisão de um grupo de alunos de graduação em conjunto com um professor.
As equipes de alunos de pós-graduação deverão ter no mínimo um e no máximo dois supervisores, que deverão ser professores ou pesquisadores vinculado a instituição de ensino superior ou instituto de pesquisa. Neste caso, os supervisores devem ser orientador e co-orientador dos alunos de pós-graduação.
Não haverá possibilidade de se ter alunos de graduação e pós-graduação na mesma equipe. O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.
Para participar da competição, cada equipe deve cumprir três etapas:
Executar a avaliação;
Enviar o relatório de avaliação;
Caso seja escolhido dentre os finalistas, apresentar o relatório de avaliação na sessão de Competição de Avaliação do IHC 2020, em Diamantina - MG.
Prazo de submissão dos relatórios no JEMS: a definir para 2021
Notificação dos finalistas para apresentação no IHC 2020: a definir para 2021
Entrega do relatório final: a definir para 2021
Apresentação no IHC 2020: a definir para 2021
Cada relatório será avaliado por revisores com experiência comprovada em IHC ou em avaliação de sistemas interativos. Serão levados em conta os seguintes critérios de julgamento:
Adequação do sistema/aplicativo ao tema da Competição de Avaliação;
Legibilidade, organização e apresentação do texto do relatório de avaliação;
Definição clara do escopo e objetivo da avaliação;
Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;
Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;
Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolva(m) a participação de usuários, ou outras pessoas fora da equipe);
Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.
Serão selecionados 3 finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se na cidade de Diamantina - MG, Brasil, entre os dias 19 e 23 de outubro de 2020. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2020. Entretanto, é exigida a inscrição e presença de ao menos um membro da equipe.
Cada equipe finalista selecionada que apresenta oralmente no IHC 2020 receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela organização).
A organização do evento tentará viabilizar uma inscrição gratuita para um membro de cada equipe selecionada apara a apresentação oral nesta edição. No entanto, é de responsabilidade inicial dos autores proponentes garantirem a sua inscrição e presença no evento.
Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2020.
Sistema a ser avaliado: Artefatos computacionais de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro;
Critérios a serem avaliados: Qualidade e/ou Experiência de uso;
Métodos a serem utilizados: Conforme escolha das equipes;
Tamanho das equipes:
3 a 5 alunos de graduação + 1 ou 2 supervisores (professores, pesquisadores, pós-graduandos ou profissionais) OU
2 a 4 alunos de pós-graduação + 1 ou 2 supervisores (professores ou pesquisadores).
André Pimenta Freire (UFLA) - apfreire@dcc.ufla.br
Rodrigo Pereira dos Santos (UNIRIO) - rps@uniriotec.br