Aqui estão algumas notas sobre a palestra de Golan Levin na Cybersonica.

Visão Audio (Audiovision) e Computação: História, Paradigmas, Futuro

Os quatro pilares da arte digital, ou por outras palavras as quatro preocupações dos artistas que trabalham nos novos media de base electrónica são:

- Transmediality (tangibility, audiovisuality environment),
- Processuality (generativity, algorithmic processes),
- Connectivity (communication, connection),
- Interactivity (creative flow, play, cybernetic feedback).

Para se perceber "música visual" (a actuar):
- a fórmula que combina a imagem e o som numa união holística.
- uma forma estritamente visual, temporal, análoga mas separada da música.

O trabalho de Levin pertence maioritariamente à primeira fórmula mas muitas vezes aplica as duas.

Sistemas de performances audio-visuais

No seu livro de 1927 "Color-Music: the art of Light", Adrien Bernard Klein escreve "É um facto que quase toda a gente que desenvolve um orgão-de-cor está sobre a falsa sensação de ser o primeiro mortal a tentar fazê-lo.

Investigadores, artistas e cientistas reclamam com regularidade terem sido os primeiros a inventar o orgão-de-cor [Color Organ]. O que não é verdade, tal como a história mostra:

O primeiro aparelho para a actuação visual da música foi construído em 1734 por Louis-Bertrand Castel. O cravinho ocular, fundia a acção do cravinho com uma cassetes transparentes. Em 1844 D. D. Jameson e o seu "Color Organ" filtrava a luz através de líquidos de várias cores e utilizava umas placas de metal para os reflectir na parede. O Pyrophone de Frederic Kasner (1869) ejaculava uns jactos de gás flamejante para dentro de uns tubos de cristal com o intuito de fundir som e imagem. Levin deu muitos exemplos (para uma lista completa basta aceder à sua proposta de tese) e sublinhou dois instrumentos: O Clavilux(1920) de Thomas Wilfred [na imagem em cima] e o Lumigraph de Oskar Fischinger (1948). O primeiro filtrava a luz através de várias camadas de discos de vidro multicolorido, mas o instrumento só produzia imagens, nenhum som. O Lumigraph interompia feixes de luz colorida com uma superfície flexível de pano.

Introduzindo o computador:
- transcende as limitações da física, mecânica e óptica.
- utlrapassa o controlo/generalismo de sistemas físicos.
- tira vantagem das possibilidades permitidas pela computação: iteração e simulação; testes condicionais e constrangimentos (a diferença entre um computador e uma calculadora é que um computador possui a capacidade de perguntar "what if"), armazenamento de dados.

Interfaces visuais para soarem no computador — paradigmas comuns:

- score displays [Mostragem de pautas]
- control-panel displays,
- flow-based networks,
- reactive "widgets" (spriters, romplers),
- navigable terrains (virtual land-mines),
- cellular automata (sonified life).

1. Mostragem de Pautas. São muito eficientes mas:
- possuem geralmente um espaço diagramático ao invés de um espaço mais "gráfico".
- dependem de uma linguagem visual codificada baseada em convenções gráficas. Precisamos da chave!

2. Control panel interfaces. Pecam pela falta de tacitez a duas mãos que a síntese dos anos 70 nos proporcionou.

3. Widget interfaces (metáforas de objectos) possuem propriedades materiais, propriedades físicas ("qual é a altura" e propriedades contextuais (tais como "qual a distância ao próximo objecto).

Reactive widgets: quando tratados individualmente possuem uma mleabilidade limitada, gastam-se rapidamente (media enlatados), sendo que a meabilidade só é atingida através de um grade número (ex. 10,000 widgets). Há um futuro na resintitetização granular e wavelets.

4. Interfaces de espaço navegável(terreno, arquitectura e metáforas de mapeamento) onde navegamos num mundo 3D. Ex. Lab AU, e Vib-ribbon da PlayStation [Imagem em cima].

5. Automata interfaces (sistemas de regras), ex. o trabalho de Tom Betts.

6. Flowchart interfaces (metáforas de rede).

Desafios e armadilhas

- Aleatoriedade: como é que alguém pode estar certo em relação à resposta de um sistema?
- o gosto de sistemas matemáticos, em vez de nos focarmos se significam realmente algo
- mapeamentos cartesianos e diagramáticos,
- interacções de modo em vez de darmos às pessoas feedback sobre a sua posição
- soluções baseadas em ROM.

Algumas direcções bastante excitantes:

- custom physical sensors,
- physical sound actuation,
- alternative imaging (physical pixels, lasers),
- new contexts (phone, PDA, putdoor, furniture),
- better user models (learning systems),
- software cannibalisation (game mods),
- etc.

A segunda parte da palestra de Levin foi uma apresentação do seu trabalho.