← Volver a las experiencias

ABRAHAM ESLI / BIG MAYBE · ESTUDIO 07

La imagen, el sonido
y lo que viene de otros.

La sonificación de fotografías tiene antecedentes. Revisamos proyectos de artistas, investigación y recursos técnicos para convertir sus mecanismos en diez propuestas propias.

La medición se puede repetir. Elegir una escala, un tejido o una animación es parte de la composición: una fotografía admite muchas músicas.

Para comparar los tratamientos visuales mantenemos las pistas anteriores: 35 segundos a 132 BPM, con sus notas y muestras acústicas acreditadas. Trama conserva su pista y ahora tiene recuadros de la mitad de ancho y alto.

ELEGIDA

Telar

Hilos de color que se tensan con cada ataque.

Las 32 columnas se pliegan. Su tensión sigue las envolventes sonoras de las celdas cercanas.

ELEGIDA

Fuga

Los bordes de la imagen se convierten en corrientes de aire.

Las líneas siguen la tangente al gradiente de luz. Las semillas se eligen por fuerza de borde; los puntos recorren esas líneas con el reloj del audio.

ELEGIDA

Trama

El tejido que elegiste, ahora con recuadros de la mitad de ancho y alto.

64 × 48 recuadros: cuatro veces más piezas que antes. El movimiento local responde a los ataques cercanos. La medición musical conserva 32 × 24 celdas.

NUEVA EXPLORACIÓN

Jacquard

Luz convertida en urdimbre: cada cruce decide qué hilo pasa por encima.

Retícula de 64 × 48. Si la luminancia lineal supera 0.18, domina el hilo vertical; si no, el horizontal. El ataque ensancha el hilo cercano. El umbral y el tejido son decisiones de diseño.

National Museums Scotland · The Jacquard loom ↗
Las tarjetas perforadas codifican qué hilos se levantan para construir un tejido.

NUEVA EXPLORACIÓN

Moiré

Dos velos de líneas hacen aparecer una tercera imagen que ondula.

Dos retículas finas se superponen. La luz medida desplaza la segunda; las notas añaden una fase local. Las franjas resultan de la superposición geométrica.

University of Wisconsin–Madison · Fun with Fringes ↗
Dos retículas superpuestas producen un patrón visible de franjas.

NUEVA EXPLORACIÓN

Grabado

Miles de incisiones siguen la dirección de la luz, como una estampa que respira.

Tres trazos por celda. Su orientación sigue la tangente al gradiente de luminancia; su longitud depende de la luz. En zonas sin gradiente usamos una diagonal fija. Los ataques aumentan el grosor local.

Paul Haeberli · Paint by Numbers (1990) ↗
Una imagen puede reconstruirse con trazos cuyo color y orientación derivan de sus datos; el trabajo explora el gradiente para orientar pinceladas.

NUEVA EXPLORACIÓN

Puntada

La fotografía se borda en pequeñas cruces; cada nota levanta un hilo.

Una cruz por celda, en una retícula regular. Color y longitud vienen de la imagen; la envolvente sonora tensa el hilo cerca de la celda que suena.

National Museums Scotland · The Jacquard loom ↗
Las tarjetas perforadas codifican qué hilos se levantan para construir un tejido.

Processing / Daniel Shiffman · Pointillism ↗
Los colores de una imagen se representan con puntos. El ejemplo original usa posiciones aleatorias; nuestra retícula es fija.

NUEVA EXPLORACIÓN

Sarga

Un tejido diagonal recorre las flores y cambia de tensión con el pulso.

Cruces diagonales en 64 × 48 celdas. Un patrón fijo de dos hilos arriba y dos abajo forma la sarga; el color viene de la foto y el sonido mueve la costura local.

National Museums Scotland · The Jacquard loom ↗
Las tarjetas perforadas codifican qué hilos se levantan para construir un tejido.

NUEVA EXPLORACIÓN

Trenza

Tres hebras recorren juntas los bordes de las aves.

Cada curva medida se acompaña de tres hebras con fases separadas. La fuerza del sonido abre la trenza. La curva central deriva del gradiente; el trenzado es una interpretación visual.

Golan Levin · Yellowtail (1998) ↗
La repetición y el desplazamiento de trazos producen una textura animada; cada línea conserva una forma reconocible.

NUEVA EXPLORACIÓN

Isolíneas

La silueta aparece como un mapa de luz, delineado por el sonido.

Contornos que unen valores iguales de luminancia, calculados con marching squares. Las notas iluminan y engrosan los contornos de su zona. Son niveles de luz, no profundidad física.

D3 · Contour polygons ↗
Marching squares extrae contornos de igual valor de una retícula numérica.

NUEVA EXPLORACIÓN

Semitono

La imagen se descompone en una impresión de puntos que se abren al sonar.

64 × 48 puntos fijos. Su color es el promedio de su celda; su radio crece con la raíz de la luminancia y con la envolvente local. No hay posiciones aleatorias.

Processing / Daniel Shiffman · Pointillism ↗
Los colores de una imagen se representan con puntos. El ejemplo original usa posiciones aleatorias; nuestra retícula es fija.

NUEVA EXPLORACIÓN

Partitura

El color se escribe como una partitura de pequeñas barras.

Una barra por celda. Su anchura representa la fuerza de borde; su altura, la luminancia; su color, el promedio RGB. Las notas iluminan barras cercanas, sin destellos globales.

Ryoji Ikeda · test pattern (2008–) ↗
Convierte datos en patrones de barras y explora su relación con la percepción audiovisual.

Sihwa Park · InstaSynth (2017) ↗
Extrae colores dominantes de fotografías y los vincula con síntesis y una estructura visual secuenciada.

NUEVA EXPLORACIÓN

Cauce

La luz fluye en pequeñas estelas de tinta que conservan el dibujo de la foto.

Las estelas recorren tangentes al gradiente de luz. Su velocidad depende de la fuerza de borde y del tiempo del audio; su ancho responde al sonido cercano. Es una animación de datos, no una simulación física de fluidos.

Golan Levin · Yellowtail (1998) ↗
La repetición y el desplazamiento de trazos producen una textura animada; cada línea conserva una forma reconocible.

Levin, Lieberman y colaboradores · Messa di Voce (2003) ↗
Transforma matices de la voz en gráficos expresivos en tiempo real.