Nesta apresentação (visual), mostrarei uma retrospectiva do meu trabalho com anotações multimodais em vídeo para a documentação das artes performativas desde 2005. O foco principal será a relevância das anotações idiossincráticas em vídeo como metadados indispensáveis ao documentar digitalmente materiais das artes performativas ou patrimônio intangível visível em geral.
A anotação e a marcação em tempo real diretamente sobre o vídeo, que começou (Cabral et al. 2011) principalmente como uma prática pessoal de quem participa das gravações ou dos processos analíticos de documentação em vídeo para dança, ainda não foram amplamente percebidas como metadados complementares por arquivistas de Património Cultural.
Com base na experiência anterior com os projetos TKB e BlackBox, continuamos a pesquisar práticas de anotação multimodal como parte do processo criativo nas artes performativas contemporâneas. No TKB, a inovação foi aceitar marcações individuais como indícios de indexação e meios de interação entre os artistas, que eram os curadopres das suas próprias obras, gerando assim “arquivos de processos” dinâmicos e pessoais. Em projetos subsequentes financiados pela UE, desenvolvemos um anotador de vídeo em tempo real que funciona como um bloco de notas digital, substituindo as anotações em papel. O “MotionNotes” está agora disponível gratuitamente na web e é utilizado por coreógrafos, etnógrafos, desportistas e educadores em geral.
Ao longo da apresentação, serão dados exemplos de diferentes tipos de anotações que desenvolvemos e utilizamos em vários projetos, como: anotações manuais em vídeo com ELAN; infográficos animados (Fernandes e Jürgens 2017); anotações em tempo real em vídeo 2D (Rodrigues et al. 2019); renderizações de nuvens de pontos 3D (Kuffner, Ribeiro e Fernandes 2018); filmagens em 360º (Jürgens e Fernandes 2018); e Realidade Virtual: interações corporificadas e narrativas interativas (Jürgens, Fernandes e Kuffner 2020).
Gostaríamos de discutir com o público a futura usabilidade dessas anotações multimodais idiossincráticas em novas abordagens de IA e machine learning (como no reconhecimento semi-automático de movimentos humanos, por exemplo) para documentar, arquivar e partilhar conteúdos em vídeo de património cultural intangível. Como cada vez mais modelos de IA dependem de dados multimodais do mundo real, as empresas também precisarão de anotações multimodais para curar uma maior variedade de conjuntos de dados. Isso eventualmente levará museus, galerias de arte, pesquisadores e artistas a inovarem nesse aspecto também.