2. Recerca

Les àrees de recerca es centren en:

Àudio 3D

  • Captura d'àudio 3D i acústiques 3D
  • Síntesi d'acústiques 3D
  • Rendering d'àudio 3D i navegació
  • Eines de post-producció d'àudio 3D 
  • Àudio 3D en esdeveniments en viu
  • Sistemes d'exhibició per àudio 3D
  • Upmix de contingut estèreo o 5.1 a contingut 3D

 Propagació del so en entorns urbans

   

Àudio 3D

La tecnologia d'àudio 3D desenvolupada per Barcelona Media suposa una evolució de l'àudio surround, proporcionant continguts realment immersius. A diferència dels sistemes surround estàndard 5.1, que no poden reproduir sons fora del pla horitzontal, l'àudio 3D permet:

  • Els sons es poden posar a qualsevol punt de l'espai. L'àudio 3D afegeix la dimensió vertical, generant continguts per a ser reproduïts en configuracions d'altaveus a diferents alçades, i permetent situar els sons en tots els angles.
  • Més realisme i naturalitat. Els sistemes d'àudio 3D proporcionen experiències més immersives,més naturals i espectaculars. L'audiència pot sentir avions i naus volant per sobre els seus caps i explosions i tremolors sota els seus peus.
  • Les reverberacions són 3D. La reverberació és un fenòmen que estem acostumats a escoltar en 3D, quan es produeix un so en una església, el so es propaga a través de milers de camins diferents, que arriben a les nostres oïdes des de múltiples direccions. L'àudio 3D pot reproduir la reverberació amb plena fidelitat, proporcionant una il·lusió de ser a un lloc d'una manera molt més potent que els sistemes surround 2D.
  • Els sons ambient són 3D. L'àudio 3D permet reproduir ambients rics a nivell sonor, amb gavines volant i una carretera propera i gent gaudint. El resultat és una millor naturalitat i un paisatge sonor on els sons provenen de diferents profunditats respecte a l'oient.
  • Independència dels sistema d'exhibició. La banda sonora 3D s'enregistra i es manipula de manera agnòstica a la configuració d'altaveus del sistema d'exhibició. Per a la reproducció, un cop coneguda la configuració d'altaveus, l'àudio 3D es decodifica per a explotar completament les capacitats dels sistema. Així, tot el procés de producció i post-producció no s'ha de realitzar de forma individual per a cada sistema d'exhibició en el que es desitgi reproduir.

Les àrees de recerca que es treballen en àudio 3D són:

Captura d'àudio 3D i acústiques 3D

Recerca sobre diferents sistemes de gravació per a la captació de so 3D. En particular, es treballa des d'un punt de vista físic amb l'objectiu de gravar tota la informació del camp acústic. D'aquesta manera es poden desenvolupar tecnologies de gravació que siguin independents del sistema d'exhibició.
La tecnologia clàssica de captació de so surround es basa en arrays microfònics. Així es capta tan sols la pressió acústica amb la utilització d'agrupacions de micròfons a una certa distància. La disposició dels arrays depèn del sistema d'exhibició necessari.
Barcelona Media aposta per una nova aproximació en la captació, que es basa en enregistrar altres magnituds físiques del camp acústic, principalment, pressió i velocitat, així com harmònics esfèrics d'ordre superior. Aquesta tecnologia permet obtenir tots els paràmetres del camp acústic i reproduir-lo en qualsevol sistema que es precisi.

Síntesi d'acústiques 3D

Desenvolupament de nous algorismes i noves tecnologies per a la propagació i manipulació del so en entorns virtuals:

 

  • Algorismes geomètrics de propagació: desenvolupament d'algorismes de sound rendering -de creació de so adaptat a un model 3D donat -, basats en l'aproximació geomètrica de l'equació d'ones. Actualment, els investigadors de Barcelona Media treballen en algorismes del tipus ray tracing, mètode del "traçat de raigs" per a determinar l'acústica d'ambients, que es basa en la projecció i el seguiment de línies imaginàries de so des del receptor a les fonts sonores de l'escena.

 

Vídeo de ray tracing

 

  • Mètodes numèrics: desenvolupament d'algorismes per a la solució exacta de l'equació d'ones. Més concretament, es treballa en el mètode anomenat de "diferències finites", que també s'utilitza en altres camps de la ciència, particularment en electromagnetisme (per exemple, en l'estudi de la distribució d'antenes per a transmissió del senyal per als mòbils). 

 

Vídeo de FDTD

Rendering d'àudio 3D i navegació

Recerca per a la post-producció d'àudio en aplicacions multimèdia i la generació d'escenes acústiques en 3D per ser escoltades i per ser navegades, on l'escena acústica varia depenent de la posició de l'oient. 

L'acústica dels espais pot provenir d'acústiques d'espais reals enregistrades amb les tecnologies de captació d'acústiques 3D o bé ser acústiques sintetitzades amb la tecnologia de síntesi d'acústiques.

El grup de BM treballa en desenvolupar tecnologia per posicionar i moure fonts sonores en un entorn 3D, així com dotar a aquestes fonts sonores de les característiques necessàries per conformar un paisatge acústic realista. 

Eines de post-producció d'àudio 3D

Recerca en tecnologies per a l'edició, monitorització i codificació d'àudio 3D utilitzant Digital audio WorkStations existents i eines de modelatge 3D externes.

El grup també ha fet recerca en algorismes de deconvolució: creació de nous algorismes per a la dereverberació (eliminicació de l'eco) de sons enregistrats fora de l'estudi.

Vídeo de deconvolució

Àudio 3D en esdeveniments en viu

  • Captació mixta i tècniques de processament per enregistrar àudio en esdeveniments en viu com esports, concerts i teleconferències.
  • Eines i tecnologies per a la reconstrucció i manipulació en directe de l'escena 3D.
  • Tecnologia de streaming d'àudio 3D
  • Tecnologia per a la sincronització d'àudio 3D amb el vídeo a recepció.

Sistemes d'exhibició per a l'àudio 3D

Recerca en diferents tecnologies focalitzades en l'exhibició d'àudio 3D:
  • Detecció automàtica de la configuració dels altaveus (número i posició)
  • Equalització automàtica dels altaveus i de l'acústica de les sales
  • Decodificació d'àudio 3D a una configuració arbitrària: recerca en algorismes per a l'exhibició d'àudio en sistemes de molts altaveus, des del popular surround 5.1 fins a innovadores disposicions d'altaveus a diferents alçades.
  • Decodificació d'àudio 3D a auriculars mitjnaçant Tecnologia binaural capaç de proporcionar sensació tridimensional mitjançant auriculars.

Tecnologia Upmix

Recerca en tecnologies d'inferència de canals que permeten la conversió automàtica de continguts estèreo o 5.1 a Àudio 3D.

 

Fora de l'àmbit de l'àudio 3D, el grup d'àudio de Barcelona Media fa recerca en:

Propagació del so en entorns urbans

L'objectiu d'aquesta recerca és el d'obtenir la corba d'atenuació acústica de la propagació del so en entorns exteriors seguint models estàndards europeus. En particular s'està treballant en:

  • Càlcul de l'impacte acústic de les diferents fonts sonores presents en un entorn a partir d'un model 3D simplificat de l'entorn urbà.
  • Navegació. Càlcul del nivell de pressió sonora en una alta densitat de punts de l'entorn, de forma que es permeti la navegació per l'entorn disposant de les dades de l'impacte acústic en cada punt.
  • Auralització. Possibilitat de reproduir, donades les fonts sonores existents, el so propagat.