Síntesis Digital Algunos tipos de Síntesis digital

Conceptos de Síntesis Digital
Tecnología del Audio y de la
Música
•
•
•
•
Introducción histórica
Conceptos
Algunas técnicas
§ Wavetable
§ Modelo físico
§ Granular
§ Técnicas espectrales
El Sampler
•
Conclusiones
Master en Artes Digitales
noviembre 2003
Sergi Jordà
[email protected]
http://www.iua.upf.es/~sergi
http://www.tecn.upf.es/~sjorda
Sintetizadores digitales : Inicios
•
Recapitulación: la síntesis digital se inventa en 1957, pero hasta mediados de los 70s
ningún sistema funciona en tiempo real.
•
1977: Se comercializa el Synclavier, el primer sintetizador digital comercial. Utiliza
síntesis FM, incluye teclado, monitor de vídeo y un sistema operativo completo con
secuenciador, editor, etc. Por su elevado precio (~30.000-50.000 $), pocos centros (y
menos músicos independientes) pueden permitírselo
§
•
•
•
•
Sintetizadores digitales : Imágenes
Fragmento de Sonic Waters ( Michel Redolfi, 1981), pieza subacuática para
“oyentes bañistas” (se difunde en piscinas o en el mar, a través de altavoces
especiales sumergidos)
•
•
•
1979: Fairlight CMI (~25.000 $). Orientación más “comercial” que la del Synclavier. A
nivel de prestaciones y calidad de sonido se puede comparar con un
PC+Soundblaster+software de principios de los 90s!
1981: El Casio VL-Tone vale menos de 7.000 ptas! Con limitadas capacidades de
síntesis, incorpora ritmos pregrabados y es capaz de secuenciar hasta 100 notas. Es
un juguete pero algunos profesionales lo utilizan (fragmento de O Superman, de
Laurie Anderson +, 1981)
1982: Se comercializa el Compact Disc, inventado en 1979
1983: Yamaha DX-7 (2.000 $) es el BOOM de los sintetizadores digitales. Utiliza
síntesis FM. Aunque muy difícil de programar, produce interesant es sonidos de
bajos, pianos eléctricos, metales, campanas…A partir de entonces todos los nuevos
sintetizadores serán digitales…
The Synthesiser picture archive
Music Machines
SYNTH & MIDI MUSEUM
Síntesis Digital
•
Todas las técnicas que hemos visto pueden implementarse digitalmente(y se
hace…), pero las posibilidades de lo digital van mucho más allá y son infinitas …
•
Se tratade utilizar algoritmos que generen números con un determinado criterio …
•
A grosso modo, s i (con los ajustes, parámetros adecuados, etc.)…
§ …llamamos a la función random() 44.100 veces/seg obtendremos ruido blanco
§ …si en s u lugar llamamos a la función sin() obtendremos una onda sinusoidal
•
Cualquier forma de obtener 44.100 números/seg generará algún tipo de sonido, pero
para que éste no sea totalmente ruidoso deberá tener cierta coherencia-periodicidad
•
Si queremos que estos sonidos tengan una altura definida, o s i queremos además
que estos sonidos evoquen a sonidos naturales o a otros sonidos existentes, los
algoritmos ya no podrán ser de cualquier forma…
•
Otra restricción aparece con el control:
Si queremos que estos sonidos se puedan modificar en tiempo real de una forma
mínimamente intuitiva, los parámetros involucrados no podrán ser de cualquier tipo
Synclavier II (izquierda arriba)
Casio VL-Tone (arriba)
Yamaha DX-7 (izquierda abajo)
Algunos tipos de Síntesis digital
•
•
•
•
Tabla de onda
Modelo físico
Granular
Técnicas espectrales
• El sampler
1
La síntesis por tabla de ondas y la
emulación de instrumentos tradicionales
Síntesis por tabla de ondas
•
•
Posiblemente no sea el método más interesante, pero es uno de los más
utilizados
También es de los más obvios, y fue de hecho el primero que se
implementó, por lo que comenzaremos por él
•
•
•
•
•
Un programa de ordenador se basa en 2 componentes fundamentales:
§ Los datos
§ Los algoritmos
La síntesis por tabla de ondas pone todo el peso en lo primero: los datos
•
La idea es sencilla y puede entenderse como una ampliación de la síntesis
substractiva ya estudiada:
•
§ Mediante tecnología analógica es fácil obtener un número limitado de
formas de onda sobre las que trabajar (sinusoidal, cuadrada, diente de
sierra y triangular)
§ Mediante técnicas digitales se puede partir con igual facilidad de
cualquier forma de onda. Cómo? Porqué?
Síntesis por modelo físico
•
•
Dado que las tablas de onda pueden ser sínteticas, pero también proceder de
sonidos reales, la síntesis por tabla de ondas se utiliza frecuentemente para emular
instrumentos tradicionales
Dado que muy pocos instrumentos acústicos tienen un sonido constante (e.g. el
órgano), para ofrecer unos resultados mínimamente convincentes, la síntesis por
tabla de ondas debe combinarse con una buena programación de envolventes
(ataque, sustain,…) osciladores de baja frecuencia (vibratos, tremolos y filtros) y un
conjunto flexible de filtros
è La síntesis por tabla de ondas es una forma ampliada de síntesis sustractiva
Muchos instrumentos tienen un ataque muy diferente del resto del sonido
(normalmentemás ruidoso)
Para lograr mayor realismo, una de las técnicas utilizadas por la síntesis por tablas
de onda es la de utilizar fragmentos diferentes en el ataque
Cuando la cantidad de memoria aumenta, pasamos de la síntesis por tabla de ondas
al sampler, que veremos más adelante.
Antes comentaremos otros tipos de síntesis típicamente digital
Síntesis Granular
•
Si la síntesis aditiva parte de la idea de
superponer ondas sencillas, la síntesis
granular superpone granos sonoros (en
gran número)
Un grano sonoro es un fragmento sonoro
de muy corta duración (entre 5 y 100 ms)
A estos “granos se les aplica envolventes
suaves para evitar “clicks”
Es una técnica “puntillística” y dado el
gran número de granos que se maneja, se
hace de forma estadística
•
•
La idea es modelar el instrumentoen lugar de modelar el sonido
Si se consiguen introducir todas las ecuaciones físicas que rigen
la acústica de un instrumento real (guitarra, saxo, trompeta…) el
ordenador será capaz de realizar una simulación del sonido de
este instrumento
•
•
Darmouth 4.9
•
•
Principales problemas
§ La física de estos instrumentos es muy complicada,
§ a la hora de escribir-definir las ecuaciones (complejidad para
los humanos)
§ y a la hora de calcularlas una vez definidas (complejidad
para la máquina è pocas voces a tiempo real)
•
Granular synthesis is often used to create what
can be thought of as "sound clouds" — shifting
regions of sound energy that seem to move
around a sonic space. A number of composers
(like Iannis Xenakis and Barry Truax) thought of
granular synthesis as a way of shaping large
masses of sound by using granulation
techniques. These two composers are both
considered as pioneers of this technique (Truax
wrote some of the first special purpose software
for granular synthesis). Sometimes, cloud
terminology is even used to talk about ways of
arranging grains into different sorts of
configurations (Darmouth 4.8)
•
Una pieza granular de Curtis Roads, ganadora
en Ars Electronic 2002
•
Principales ventajas
§ Sonidos realistas
§ Fácil e intuitivo crear nuevos instrumentos imposibles (e.g.
trombón de 10 metros con boquilla de saxo…)
§ De un control interactivo MUY intuitivo (en lugar de controlar
parámetros sonoros como frecuencia de corte, etc. se
controlan parámetros instrumentales como presión sobre la
caña, etc.
•
Investigaciones en sonidos no-musicales (The Sounding Object )
§ Sonidos-caricatura (pisadas, estornudos, etc…)
Granular (2) : Deconstrucción temporal
•
•
•
•
•
Técnicas Espectrales
•
La síntesis granular es una técnica bastante experimental, que no permite
tener un control sonoro absoluto y con la que es difícil obtener cambios muy
abruptos y rítmos m u y marcados
No hay sintetizadores comerciales que la implementen
•
Puede aplicarse:
§ Con material de partida (i.e. los granos) aleatorio
§ Sobre un (o unos) fichero(s ) o fragmento(s ) determinado(s )
§ En vivo sobre la entrada del ordenador
Bajo esta denominación podemos incluir todas las técnicas que
trabajan en el dominio espectral en lugar de hacerlo en el dominio
temporal
Normalmente no son exactamente técnicas de síntesis, sinó de lo
que se denomina analísis/resíntesis, ya que parten de sonidos ya
existentes, para generar otros que guarden ciertas características
de los anteriores
•
Parten de la aplicación directa del Teorema de Fourier:
Un enfoque algo parecido, menos sutil y con resultados más radicales es el
que ofrecen varios nuevos programas, de deconstruir temporalmente el
sonido (ya sea a través de la entrada en vivo o de un fichero )… Drum&bass
radical
§ Software de Akira Rabelais (Mac Only)
§ Ejemplo sonoro
§ Una pieza de deconstructivismo radical de Yasunao Tone (audio CD
manipulado en vivo), también ganadora en Ars Electronica 2002.
§ Se calcula con la máxima precisión posible, el espectro de un
sonido, música o fragmento, y se guarda (esta información
ocupa más que el sonido original)
§ Si no realizasemos ninguna modificación de este espectro,
podríamos obtener de nuevo el sonido inicial , sin ninguna
perdida de calidad, simplemente invirtiendo el proceso
matemático
§ En cambio, si modificamos este espectro de varias formas y
después realizamos el proceso inverso, obtendremos nuevos
sonidos
2
Sería algo equivalente a modificar gráficamente un espectro y
después realizar el proceso inverso (aunque para que este
proceso fuera reversible, i.e. sin perdida), el tamaño (en pixels)
de esta imagen sería muyalto
Posibilidades de las técnicas espectrales
•
Estas técnicas ofrecen posibilidades imposibles de conseguir en el
dominio temporal
•
Por ejemplo:
§ alargar/acortar un sonido sin modificar su altura
§ Modificar la alturade un sonido sin modificar su duración
§ Simular que un sonido suene en un espaciodeterminado
(convolución)
§ Hibridar (morph) varios sonidos entre sí
• Llach- mar y La granja: 3 cosas hay en la vida (1992)
§ Separar sonidos diferentes que suenan simultáneos
§ ……
Síntesis aditiva con técnicas espectrales
Otras formas de Síntesis
Analísis/resíntesis (~aditiva controlada por ordenador…)
Estas nuevas técnicas pueden entenderse también desde el enfoque de la síntesis aditiva:
•
Se da la aparente paradoja de que la síntesis aditiva, el primero método en utilizarse en toda la
historia de la síntesis musical, decayó con la irrupción de los sintetizadores analógicos, para
resurgir con nueva fuerza con la aparición de los actuales ordenadores más potentes. El motivo
de este "retorno" se debe a que ahora es posible ejercer un cont rol automatizado, basado en el
análisis de Fourier, sobre este gran número de parámetros. Esta técnica de control automatizado
denominada a veces como de análisis y resíntesis, permite sintetizar sonidos, tan similares como
se desee a otros ya existentes, a partir de un minucioso análisis de Fourier realizado de estos
últimos. El proceso es aproximadamente el siguiente:
•
Mediante un análisis de Fourier (similar al que ofrece la herram ienta Spectral Analysis de Sound
Forge, pero realizado de una forma más sistemática), se estudia la evolución del espectro de
cualquier sonido en el tiempo (es decir, la amplitud de cada arm ónico en varios instantes del
tiempo) típicamente sobre unas 100 veces/segundo.
•
Con esta información temporal se obtiene la envolvente (evolución de la amplitud en el tiempo) de
cada uno de estos armónicos.
•
A partir de la información contenida en este espectro dinámico, se sintetiza un nuevo sonido,
sumando en cada instante todos los armónicos con sus respectivas amplitudes. El resultado es
un sonido prácticamente idéntico al original, circunstancia que a priori puede parecer que no
presenta ninguna utilidad. Ahora bien, alterando cualquiera de estos parámetros podremos
obtener infinitas variaciones del sonido original.
•
Realizar minuciosamente este proceso de forma manual resultaría imposible. Hoy puede
automatizarse con la ayuda de programas que realizan directament e todos estos pasos y que a
continuación permiten modificar cualquiera de estas amplitudes de forma interactiva.
•
Waveshaping
§ Un tipo muy flexible y variado de modulación digital (y = f(x )) donde x es
una onda o sonido que se transforma a través de una función de
transferencia f. Los tipos de resultados obtenidos varían totalmente en
función de f
§ Applet de ejemplo
•
•
•
•
Varias técnicas de síntesis de voz…
Métodos gráficos
Autómatas celulares, fractales…
….
•
Hoy en día, es posible cualquier combinación de métodos, métodos
híbridos, métodos en serie, combinación de síntesis y de procesado, de
síntesis y de analísis…
Existen cientos de herramientas (programas) para cualquiera de ellos, y la
posibilidad de crear más utilizando lenguajes o entornos de programación
sencillos (gráficos) especialmente orientados a la síntesis y al procesado de
sonido
•
El Sampler : Inicios
El Sampler
•
Ateniéndonos a la definición de síntesis (y sintetizador) el sampler NO es
un sintetizador...
§ Pero dada su importancia histórica y su ubicuidad actual…
§ Dado que todas las técnicas digitales actuales son híbridas e incluyen a
menudo samplers o conceptos similares …
•
… es obligatorio tratarlo a fondo
•
La síntesis por tabla de ondas, parte del supuesto de que el espacio de
almacenamiento es escaso (se guarda un sólo ciclo, o un ciclo y el ataque,
etc…)
Conforme este espacio aumenta podemos tener el sampler, que nos
permitirá guardar un sonido “entero”…
•
•
El Mellotron (1965), es el antecedente analógico, con un loop de cinta y un cabezal de
reproducción en cada tecla! èpoco práctico, poco programable
•
La introducción y penetración del sampler digital durante los 80s puede entenderse desde el
punto de vista de la economía:
§
§
§
§
§
§
§
•
El “típico” sonido de Mellotron King Crimsom: sendos inicios de In The Court of the Crimson
King y Epitaph (from In the Court of the Crimsom King, 1969)
1979: Fairlight CMI, primer sampler comercial (~25.000 $)
1981: Emulator I (~10.000 $)
1984: Ensoniq Mirage (~1.700 $)
1985: Commodore Amiga (ordenador completo con posibilidades de sampler por <1.000 $)
1987: Akai S-950, S-1000…
~2000: Tarjeta compatible SoundBlaster (20 $)
Todos estos sistemas poseen características muy limitadas para los standards de hoy: 8 bits,
poca memoria (~512 Kb èpocos segundos de sonido), no HD (sí diskettes)… Aún así suponen
una revolución en la práctica músical è
§
§
Simplificar el enfoque de la música concreta ( HipHop, etc)
Convertir cualquier sonido en un sonido “musical” (i.e. con el que se pueden interpretar
melodías, como la de este “perro” de 1979)
§
Red House (from The Catherine Wheel, David Byrne 1981): uno de los primeros “solos” de
sampler?
O Superman (from Big Science, Laurie Anderson 1981): vocoder, sampler y melodía de
Casiotone!
§
3
Mellotron y
Fairlight
•
Mellotron
Un Fairlight y
una de sus
ventanas de
edición
El mellotron: cerrado (arriba) y en
fase de “programación” (abajo)
El Sampler : Demos (pasos)
•
•
•
•
Grabar sonido percusivo y extenderlo a todo el teclado (e.g. pianito)
Configurar un sonido sostenido con loop (e.g. grillos)
Configurar un sonido sostenido musical con loop parcial (e.g. flauta)
Configurar un loop rítmico
•
Conceptos
§ Loop
§ Nota base
§ Multisampling (demo GrandPiano, cajade ritmo…)
§ Más envolventes , filtros, osciladores , etc…
Hardware vs. software
El Sampler : Historia y tecnología
•
Primeros modelos hardware con RAM (256 K è serían 3 segundos de
audio a 44.100 y 16 bits, aunque la calidad sonora era menor -8 bits y
menor frecuencia- por lo que cabía más…)
§
§
§
§
1979: Fairlight CMI, primer sampler comercial (~25.000 $)
1981: Emulator I (~10.000 $)
1984: Ensoniq Mirage (~1.700 $)
1985: Commodore Amiga (ordenador completo con posibilidades de
sampler por <1.000 $)
§ 1987: Akai S-950, S-1000…
§ ……………………………….
•
•
•
•
~1994: Tarjetas audio con RAM propia (e.g. Soundblaster AWE32)
~1998: Tarjetas audio con RAM del sistema (e.g. Soundblaster Live
Software con RAM del sistema
Software acceso directo a disco duro (o RAM+HD, e.g. Halion)
•
Hoy (2003) siguen existiendo samplers hardware (~1000 € ) aunque su uso
se limita prácticamente al directo
•
Volviendo a los sintetizadores digitales en un sentido más amplio, también
podemos dividirlos en dos grandes grupos: los sintetizadores por hardware
y los sintetizadores por software, aunque conceptualmente ambos grupos
se basen en los mismos principios
•
Los sintetizadores digitales por hardware son en realidad ordenadores
"disfrazados" (con su CPU, su memoria, su sistema operativo, etc.) que
incorporan potentes chips especializados en procesar sonido (DSP),
capaces de realizar decenas de millones de instrucciones por segundo.
Suelen incorporar un teclado musical y varios controles, botones,
deslizadores, etc. (aunque ninguno es estrictamente obligatorio)
•
Los sintetizadores por software son programas que aprovechan la tarjeta
de sonido del ordenador. Hasta hace poco, estos programas (denominados
también a veces sintetizadores virtuales ) difícilmente podían producir
sonido a tiempo real, pero con la creciente potencia de los procesadores
actuales, existen muchos sintetizadores virtuales que rivalizan con
cualquier dispositivo hardware profesional
Síntesis por Software
(inconvenientes)
Síntesis por Software (ventajas)
+ Flexibilidad, + experimentación, personalización, + economía…
•
Existen muy variados métodos y algoritmos para la síntesis digit al, y la mayoría de
los dispositivos hardware sólo incorpora uno de ellos
•
La síntesis por software permite implementar cualquier método o algoritmo, que
funcionará en cualquier ordenador independientemente de la tarjeta de sonido que
posea, siempre que el procesador disponga de la potencia suficie nte
•
Muchos programas shareware o incluso freeware ofrecen posibilidades de síntesis
innovadoras, experimentales, que ningún fabricante se ha decidido a implementar
todavía. Esto abre de repente un universo de posibilidades casi infinito
•
Muchos de estos programas pueden encadenarse (las salidas de uno pasan a ser
las entradas del siguiente) con lo que se consiguen arquitecturas de una complejidad
inalcanzable en un sintetizador hardware
•
Existen lenguajes y entornos de programación especialmente enfoc adas a la síntesis
que nos permiten crear nuestros propios sintetizadores sin ningún límite (CSound,
PD, MAX, Supercollider, Reaktor…)
•
La flexibilidad de todos estos programas ha roto la barrera entre síntesis y
procesado, que y a puede realizarse también en t.real
- fiabilidad, - potencia, + latencia, + ruido…
•
Los ordenadores se "cuelgan" más que los aparatos dedicados. Por lo tanto, los
conciertos en directo revestirán de una mayor dosis de "emoción“
•
Los programas de síntesis consumen normalmente bastante potencia, por lo que
impiden correr demasiadas aplicaciones musicales a la vez
•
Esta falta de potencia, hace que la latencia (tiempo transcurrido entre una orden del
instrumentista y su consecución sonora) sea mayor, y en algunos casos, pueda
llegar a resultar molesta para un teclista (~ decenas de m s)
•
La calidad final del sonido (ruido de fondo, etc.) dependerá de los componentes de la
tarjeta de sonido instalada en el ordenador. Esta calidad (salvo en el caso de tarjetas
profesionales) suele ser bastante inferior a la de los component es utilizados en los
sintetizadores dedicados
•
Aunque se encuentran ya tarjetas profesionales (o semi ) a partir de los 200€
§ USB o Firewire para portatiles
§ Poco ruido de fondo (24 bits)
§ Menor latencia (<10 m s)
4
Síntesis por software : Links
• Audiomulch http://www.audiomulch.com
• Virtual Synth Page http://www.markwhite.com/vsp/
• Synthzone http://www.synthzone.com/softsyn.htm
Material Complementario
•
José Manuel Berenguer, Marc Dalmases y Sergi Jordà
§ Técnicas de edición y procesado digital del audio
§ Síntesis digital de sonido
Material didáctico para los cursos de Graduado Multimedia a distancia (Universitat Obertade
Catalunya – UPC Fundació Politécnica de Catalunya)
•
Music & Computers, An interactive web-text by Phil Burk, Larry Polansky, douglas repetto, Mary
Roberts and Dan Rockmore
§ Index
§ Chap 4. The Synthesis of Sound by Computer
§
•
También muy recomendables los capítulos 1 y 2 que tratan dos temas ya vistos anteriormente
• 1. The Digital Representation of Sound, Part One: Sound and Timbre
(introducción al sonido en general)
• 2. The Digital Representation of Sound, Part Two: Playing by the Numbers
(introducción al audio digital)
NB. Para poder ejecutar los plug-ins de Music & Computers, se debe bajar el applet de Jsyn
5