3. Seminarski Rad Multimedijalni-Sistemi

UNIVERZITET U BRČKOM EVROPSKI UNIVERZITET INFORMATIKA I TEHNIKA

MULTIMEDIJALNI SISTEMI -seminarski rad-

Kandidat (Senad Eminovic )

Mentor (Doc. Dr. Halid Zigic)

Broj indeksa: 032/12-IN

Brcko, Juni 2013. 1

1. Uvod Multimedija je jedna od intenzivnije upotrebljavanih riječi tokom zadnjih 10-tak godina i uglavnom je vezana za korišćenje računara za predstavljanje informacije sadržane u više medija (slika, tekst, grafika, video,...). U svakom slučaju treba praviti razliku kod pojma Multimedija u pojedinim disciplinama, kada se kombinacijom različitih medija dobija sveobuhvatniji pristup odredjenoj oblasti, od samog inženjerskog pristupa, kada se Multimedijima bavimo u smislu pronalaženja što sveobuhvatnijih algoritama za objedinjavanje ovako složenih informacija u cilju njihove obrade, prenosa i prikaza. Multimedia potiče od latinske riječi multi, koja predstavlja množinu nečega i od riječi medium, čije značenje je centar. Dakle, multimedia znači više centara i asocira na to da se računar koristi u cilju objedinjavanja i kombinovanja više različitih tipova informacija (slike, zvuka, teksta, videa,...) u jedinstven doživljaj.

Osnovu u proučavanju multimedija prestavljaju najznačajniji tipovi multimedijalnih informacija: •

Tekst

•

Grafika

•

Slika

•

Animacije

•

Video

•

Zvuk

Primjetimo da je jedna multimedijalna informacija zapravo kombinacija dva ili više navedenih tipova informacija. Takodje, treba naglasiti da su Multimediji interdisciplinarni i danas predstavljaju presjek sljedećih oblasti:

2

•

Digitalne obrade signala

•

Arhitekture računara

•

Računarskih mreža

Telekomunikacija Generalno, multimedijalne informcije se mogu podijeliti u dvije grupe: I) Vremenski zavisni (zvuk, video i animacije) II) Prostorno zavisne (slika, tekst i grafika) Primijetimo da su animacije, tekst i grafika sintetizovani pomoću kompujtera.

Pretvaranje analognog signala u digitalni Obzirom da se u Multimedijima bavimo digitalnim zapisima signala, to je u slučajevima analognog zapisa originalnog signala (što je čest slučaj) neophodno izvršiti njihovu digitalizaciju. Postupak digitalizacije se može predstaviti sljedećom procedurom: Analogni signal→Odabiranje→Kvantizacija→Digitalizacija Odabiranje ili uzimanje uzoraka analognog signala se dovija po Teoremi o odabiranju, što nam omogućava potpunu rekonstrukciju signala iz njegove diskretne forme. Teoremom o odabiranju je definisan najveći korak izmedju dva odbirka signala: 1 2 f max predstavlja maksimalnu frekvenciju signala koji se odbira. Iz prethoden veze izmedju T≤

gdje fmax

koraka odabiranja i maksimalne frekvecnije se vidi da povećanje koraka odabiranja znači srazmjerno smanjenje maksimalne frekvencije signala (što se može iskoristiti za jednostavna filtriranja signala). Odbirci analognog signala, u skladu sa njegovom prirodom mogu poprimiti sve vrijednosti izmedju minimalne i maksimalne definisane za dati signal. To znači da bi trebalo koristiti ogroman broj bita da bi se odbirci signala mogli tačno prikazati u digitalnoj formi. Jasno je da ovaj zahtjev nije moguće ispuniti u praksi, pa se svi odbirci moraju predstaviti preko konačnog broja bita, kojim je 3

definisan i broj kvantizacionih nivoa, čije vrijednosti mora poprimiti odbirak signala. Dakle, ukoliko je vrijednost odbirka u oblasti izmedju dva kvantizaciona nivoa, on će poprmiti vrijednost bližega. Ovo znači da se originalna vrijednost signala promijenila, što može biti shvaćeno kao uticaj šuma, koji se naziva šum kvantizacije. Ukoliko se signal predstavlja sa n bita u digitalnom obliku onda će on imati 2n kvantizacionih nivoa. Radi ilustracije navedimo primjere 8 bitnog i 16 bitnog signala; prvi je predstavljen sa 256, a drugi sa 65536 kvantizacionih nivoa, odnosno mogućih vrijednosti. Iz ove kratke analize jasno je da digitalni predstavljenj ima odredjene nedostatke. To je razlog da navedemo prednosti i mane digitalnog predstavljanja signala. Prednosti: 1. Univerzalnost prezentacije 2. Robustnost na šumove 3. Skladištenje različitih tipova informacija na istom uredjaju 4. Prenos raznih tipova informacija preko istog kanala 5. Obrada i manipulacije raznih signala kompjuterskim programima Manje više sve navedene prednosti su očigledne, osim ove koja se odnosi na robustnost na šumove. Naime, kod digitalnog signala 0 ili 1 zapravo znače visok naponski nivo (često 5V) i nizak naposnki nivo (često 0V). Najčešće se kao prag izmedju 0 i 1 uzima polovina raspona od napona logičke nule do napona logičke jedinice (u navedenim slučajevima 2,5V). Digitalni signal je prilikom prenosa takodje izlože uticaju šuma, ali očigledno je da ovaj uticaj nema efekta dokle god njime nije toliko promijenjena vrijednost napona da sa nivoa logičke jedinice predje na nivo logičke nule i obratno.

Nedostaci: 1. Šumovi kvantizacije 2. Aliasing 3. Potreba za velikim kapicitetom medija za skladištenje 4. Potreba za kompresijama

4

Pored navedenih klasifikacija multimedijalnih informacija, interesantno je i dati podjelu s aspekta interaktivnosti. U tom slučaju postoje dva tipa sistema: -Pasivni ili linerani kod koga korisnik nema kontrolu nad informacijom (TV program, Film, Emitovanje) -Interaktivni ili nelinearni kod koga korisnik ima kontrolu nad formom prezentacije, brzinom i vremenu. U svim navedenim podjelama ne treba zaboraviti da Mutlimedijalni sistem mora biti kompjuterom kontrolisan sistem, odnosno kompjuter mora biti uključen makar za prezentaciju infromacije.

Na samom početku smo rekli da multimediji u sebi uključuju više disciplina, zato je važno i napraviti neki sistematski pristup ovoj oblasti kroz različite podoblasti koje sačinjavaju odredjenu logičku cjelinu i omogućavaju lakši pristup u proučavanju ove kompeksne oblasti. Svakako da u prvu grupu podoblasti treba svrstati izučavanje sljedečih tipova informacija: Audio, Video, animacije, Grafika i slika. Kroz izučavanje ovih informacija stalno se prožimaju algoritmi za kompresije podataka i kompjuterske arhitekture za njihovu brzu obradu. Druga grupa podoblasti bi bila sačinjena od: Optičkih medija za smještanje podataka, Quality of service, Mreža, Komunikacija, Programiranja, ... Treća grupa: Analiza sadržaja, Zaštita sistema, Sinhronizacije, Grupne komunikacije,... Četvrta grupa je vezana za korisnike i predstavlja razne aplikacije kojim se nećemo baviti tokom ovog kursa.

Primijetimo da su telekomunikacione mreže i prenos signala veoma važni u multimedijima. Razlog za ovo je priroda multimedijalnih podataka, sa slučajevima periodičnog, slabo periodičnog i aperiodičnog toka podataka. Takodje kao rezultat kompresije može da se javi variranje količine podataka u datom paketu Primjeri multimedijalnih podataka 5

Neki prosti primjeri dobro poznatih podataka i njihova zahtijevnost prilikom prenosa ili skladištenja biće ovdje prezentirani. Tekst Neformatirani tekst 1 byte/karakteru Formatirani tekst (više fontova, veličina) 2 byte/karakteru Jedan primjer za formatirani tekst 64 linije/strani 80 karaktera/ liniji 80x64x2x8=84 Kb prenos preko modema 14.4K traje 5.7s Kolor slika Dimenzija 1024x768 piksela (slika je sačinjena od piksela) RGB 8 bita/boji, 24 bita/pikselu 1024x768x24=18.8 Mb Preko modema: 14.4 kb/s potrebno 21 min 28.8 kb/s potrebno 10 min Primjer prenosa glasa preko telefona 8KHz potrebno je 8000x8bita= 64 Kb/s Primjer prenosa video signala 640x480x24=27.7 MB/s (true color) 640x480 rezolucija slike (frame-a)

6

Osnovne transformacije Predstavljanje signala (bilo jednodimenzionih audio, dvodimenzionih slika i trodimenzionog video signala) u transformacionim domenima igra krucijalnu ulogu u raznim obradama, kao na primjer kompresijama i filtriranjima. Od posebne važnosti je Fourierova transformacija, koja čini osnovu i za niz drugih transformacija definisanih u obradi signala. Ukažimo na potrebu i značaj Fourierove transformacije preko jednog jednostavnog primjera. Naime, posmatrajmo jedan sinusoidalni signal.

Slika 1.1 Predstavljanje signala: a) vremenski domen b) frekventni domen Vidimo da je ovaj signal u potunosti definisan frekvencijom i amplitudom. Ova dva parametra se mogu dobiti preko Fourierove transformacije signala. Dakle, prikaz ovog signala u frekventnom domenu je dat na Slici 1.1b. Posmatrajmo sada signal oblika prikazanog na Slici 1.2. U ovom slučaju je očiglednija efikasnost predstavljanja u frekventnom domenu.

Slika 1.2 Prikaz složenog signala a) vremenski domen b) frekventni domen

7

Iz frekventnog prikaza je jasno da je signal zapravo sastavljen od dvije sinusoide različite frekvencije i amplitude. Signal naročito biva „nečitljiv“ ako je zahvaćen šumom u vremenskom domenu, Slika 1.3a. Prelazeći u frekventni domen, Sloika 1.3b, vidimo svu prednost ovakvog predstavljanja signala.

Prethodni prikaz signala u frekventnom domenu može biti ostvaren preko Fourierove transformacije. Na Slici 1.1a sinusoida je predstavljena preko dva pika u frekventnom domenu. Razlog za to se može naći u samoj prirodi Foureirove transformacije, kod koje se u slučaju realnih signala javljaju i negativne frekvencije koje nemaju fizički smisao. To je razlog da se prije obrade signal transformiše u njegovu analitičku formu ili da se koriste transfromacije poput diskretne kosinusne. Fourierova transformacija signala f(t) je definisana sa: F (ω) =

∞

∫

f (t )e − jωt dt

−∞

Obzirom da se u Multimedijima bavimo diskretnim signalima, to je neophodno definisati diskretnu Fourierovu transformaciju: N −1

DTF (k ) = ∑ f (n)e

−j

2π nk N

n =0

Iz definicije je lako izvesti da je Fourierova transformacija diskretnih signala, periodična po frekvenciji sa periodom 2π. Da bi izračunavanje Fourierove transformacije bilo efikasnije (kraće) razvijeni su algoritmi za njeno brzo računanje. Osnovni algoritam je tzv. FFT algoritam (Fast Fourier Transform). Dobijanje signala iz njegove Fourierove transformacije se vrši preko inverzne Fourierove transformacije: ∞

1 F (ω )e jωt dω ∫ 2π −∞ U diskretnom domenu inverzna Fourierova transformacija je data sa: f (t ) =

8

f ( n) =

1 N

N −1

∑ DFT (k )e

−j

2π nk N

k =0

Radi sticanja rutine pri radu sa Fourierovom transformacijom daćemo primjer predstavljanja jednostavnog signala u frekvencijskom domenu korišćenjem programskog jezika Matlab. Prikazati signal y = sin(150π t ) za t ∈ (−1,1) u Fourierovom domenu. Uzeti korak odabiranja T=1/1000. » t=-1:1/1000:1; »y=sin(150*pi*t); »F=fft(y); »F=fftshift(F); »plot(abs(F)) Naredba fft je korišćena za računanje Fourierove transformacije, a fftshift da bi negativne frekvencije

prilikom prikaza bile pozicionirane sa lijeve strane nulte frekvencije koja predstavlja

srednju tačku niza (algoritam FFT računa Fourierovu transformaciju tako što negativne frekvencije pozicionira od srednje tačke na desno, što nije prirodan način prikaza negativnog i pozitivnog dijela ose. Primjetimo da je maksimalna frekvencija definisana korakom odabiranja i iznosi fmax=1/ (2T)=500Hz, dok se frekvencija signala f dobija 2π ft = 150π t ⇒ f = 75 Hz , što zadovoljava uslov f≤fmax. Filtriranje u Fourierovom domenu Pored toga što omogućava efikasno predstavljanje signala, frekventni domen je veoma pogodan za filtriranja signala. Jednostavna filtriranja u frekventnom domenu se mogu obaviti pomoću filtara: niskopropusnika, visokopropusnik i prpusnika opsega. Navedeni filtri imaju sljedeće oblike: Filtar niskopropusnik

Filtar visokopropusnik

Propusnik opsega

1 za ω < ω g H (ω ) =  0 za ostalo ω 1 za ω > ω g H (ω ) =  0 za ostalo ω

9

1 za ωd < ω < ω g H (ω ) =  0 za ostalo ω Filtriranje datim filtrima se može obaviti tako što se spektar signala (predstavljen Fourierovom transformacijom) pomnoži sa odgovarajućim filtrom, a potom se preko inverzne Foureirove transformacije dobije filtrirani signal. Posmatrajmo primjer filtriranja govornog signala korišćenjem Matlaba. Signal proba.wav filtrirajmo niskopropusnim filtrom sa graničnom frekvecnijom 1,1025kHz. Učitajmo signal proba.wav snimljen u direktorijumu temp na C disku »[y,x]=wavread(‘c:\temp\proba.wav’); »% promjenljiva y predsatvlja signal, a x frekvenciju odabiranja tog signala »size(y) ans=44000 x ans=22050 »%dužina signala je 44000 odbiraka,a maksimalna frekvecnija 11025Hz »F=fft(y); »F=fftshift(F); »H=[zeros(1,x/2-2200) ones(1,4400) zeros(1,x-2200)]; »%Vidimo da su pozitivne frekvencije od 22000-tog do 44000-tog odbirka. Dakle 22000 odbiraka predstavlja 11025 Hz odnosno 2200 odbiraka predstavlja 1102,5Hz. Isto važi i za negativne frekvencije. Dakle 4400 odbiraka sa jedne centrrianih oko nulte frekvencije (središna tačka vektora F) predstavljaju frekvencije ispod 1102,5 Hz. »Ffilt=F.*H; »Ffilt=fftshift(Ffilt); 10

»yfilt=ifft(Ffilt); »soundsc(real(yfilt),x) Naredba soundsc se koristi za reprodukciju filtriranog signala preko zvučnika. Ukoliko se u ovoj naedbi zaboravi x, onda će reprodukcija biti vršena po difoltnoj vrijednosti 8184 i dobiće se u ovom slučaju neprirodan zvuk, odnosno jako usporen jer je brzina reprodukcije podešena za frekvenciju odabiranje 8184, što značida će toliki broj odbiraka u sekundi biti poslat na zvučnik.

11

2. DIGITALNI AUDIO 2.1 Priroda zvuka Zvuk je posljedica vibracije materijala. Ove vibracije izazivaju talasne fluktuacije oko materijala koji vibrira. Zvuk se dosta lako prenosi kroz gasove jer su oni zapravo najveće energetsko stanje materije, to je i razlog velike pokretljivosti gasova u odnosu na tečnosti. Brzina zvuka iznosi 344 m/s (na temperaturi od 20 stepeni Celzijusa) Važna karakteristika zvučnog talasa je frekvencija. U multimedijalnim aplikacijama posebna pažnja se posvećuje govoru i muzici, njihovim karakteristikama, prenosu i reprodukciji. Zvuk koji ima prepoznatljivu periodičnost je karakterisan kao muzički signal. Veoma važno je znati frekvecijske spektre muzike i govora. Naime frekvencijski spektar muzike je od 20 Hz do 20 kHz, dok je kod govora od 50 Hz do 10 kHz. Medjutim, najznačajnije komponente govornog signala se nalaze izmedju 700 Hz i 6600Hz. Posmatrajmo šta utiče na percepciju zvuka kod čovjekovog slušnog sistema. Zapazimo da do slušnog sistema stižu dva tipa talasa: direktni i reflektovani. Na osnovu odnosa direktnih i reflektovanih talasa stvaramo predstavu o distanci sa koje se emituje zvuk. Kašnjenja reflektovanih talasa nam daju informaciju o geometriji prostorije u kojoj se emituje zvuk.

12

Slika 1.1 Primjer prostiranja zvuka unutar zatvorene prostorije Obzirom da je naš slušni sistem stereo, na osnovu kašnjenja direktnog talasa detektovanog izmedju lijevog i desnog uha, stvaramo predstavu o poziciji izvora zvuka unutar neke prostorije. Vremensko kašnjenje od jednog do drugog uha iznosi oko 0.7 ms. Interesantno je zapaziti da ako neki zvučni signal zakasnimo sa jednog od zvučnika za 15-tak ms, čak i u slučaju iste amplitude imaćemo utisak de je slabija amplituda zvuka sa strane zvučnika kod koga je izazvano kašnjenje, te da utisak možemo promijeniti ako povećavamo amplitudu. Ukoliko kašnjenje predje 50 ms čuće se dva različita zvuka. Veoma važna veličina, kada se govor o zvuku je nivo zvučnog pritiska SPL (Sound Preasure Level). Ova veličina govori koliki je odnos zvučnog pritiska u odnosu na refrentni nivo zvučnog pritiska Po=20 µPa, koji je zapravo prag čujnosti, odnosno najmanji nivo zvučnog pritiska koji se može registrovati našim slušnim sistemom u bešumnojokolini. Nivo zvučnog pritiska se dobija iz: SPL = 20 log

P [dB ] P0

Nezaobilazna u audio tehnici je familija krivih koja definiše frekvencijsku zavisnost osjetljivosti, u funkciji različitih zvučnih prirtisaka. Ovo je tzv. Fletcherova kriva i data je na Slici 1.2

Slika 2.2 Fletcherova kriva

13

2.2 Razvoj sistema za smještanja i reprodukciju audio zapisa

Prvi zapis i reprodukcija audio signala je uradjena 1877 godine (Edisonov phonograph). Prvi gramofon potiče iz 1893 godine, dok je 1925. godine počela relizacija električnih sistema koji zamjenjuju mehaničke. Emitovanje AM audio signala počinje 1930. godine. Od 1948. godine u upotrebi je LP sistem sa vremenom reprodukcije od oko 25 minuta. Kada se uporede navedeni rezultati može se doći do zaključka da je već i do tada postojao značajan napredak u audio industriji. Naime prvi gramofoni su imali vrijeme reprodukcije od oko 2 minuta sa 78 obrtaja u minuti, sa frekvencijskim opsegom 200Hz-3 kHz i dinamičkim opsegom od 18 dB, dok su ovi posljedni imali frekvencijski opseg 30Hz -15 kHz i dinamički opseg od 65 dB. Napori da se poboljšaju performanse audio uredjaja doveli su do korišćenja kasetofona i traka za kasetofone tokom 60 tih i 70 tih godina. Razvoj kompakt diska počinje 70 tih godina prošlog vijeka, kada je intenzivno radjeno na razvoju optičkog video diska. Tako 1977. godine Mitsubishi, Sony i Hitachi demonstriraju njihov digitalni audio disk DAD. Ovaj disk je bio dimenzija kao LP ploča, odnosno 30 cm prečnika. Philips i Sony nastavljaju da rade zajedno na ovom sistemu i kao rezultat toga proizveden je disk prečnika 12 cm, kapaciteta 74 minuta (što je jednako trajanju devete Beethoven-ove simfonije). Uporedo sa razvojem digitalnih audio uredjaja rasla je potreba i za razvojem sistema za emitovanje digitalnih audio signala (Digital Audio Broadcasing DAB). Tako je 1987 godine počeo Evropski projekat Eureka 147 u okviru kojeg ja počeo rad na razvoju DAB. Širina opsega je 1.54 MHz, signal je kodiran standardom MPEG layer II i uključuje mogućnosti frekvencija odabiranja od 48 kHz i 24 kHz. Broj frekvencijskih blokova za opseg 87-108 MHz je 12, dok je za VHF (174-240 MHz) predvidjeno 38 blokova, a za L opseg (1.452-1.492 GHz) predvidjena su 23 bloka. Blok šema DAB sistema je data na slici 1.3.

14

Slika 2.3 Blok šema DAB sistema Pored pomenutih medija tokom ovog kursa ćemo se upoznati i sa Mini diskom, SACD diskom (Super Audio CD) kao i DVD audio diskom.

2.3 Uticaj odabiranja i kvantizacije na kvalitet audio signala Već smo pomenuli da je odabiranje prvi korak u dobijanju digitalnog signala iz analognog. Prisjetimo se da diskretizacija u vremenskom domenu izaziva periodično produženje u frekvencijskom. Ukoliko je diskretizacija izvršena po toeremi o odabiranju onda se, teorijski, osnovna komponenta spektra neće preklapati sa periodično produženim. Medjutim, ukoliko je korak odabiranja veći onda dolazi do preklapanja odnosno aliasinga.

Slika 2.4 Ilustracija efekta aliasinga 15

Sasvim je očigledno da se izdvajanje osnovnog spektra signala od periodično produženih komponenti mora obaviti pomoću filtra. Za ovu svrhu treba upotrijebiti veoma strm antialiasing filtar (fuunkciaj prenosa data na slici 1.5), koji je veoma skup.

Slika 2.5 Primjer funkcija prenosa filtra sa strmim prelazom U velikom broju realnih aplikacija potrebno je dobiti željeni rezultat sa ekonomičnijim varijantama antialiasing filtara. Tada je neophodno izvršiti odabiranje sa manjim korakom od onog koji je definisan teoremom o odabiranju. Tako na primjer kod CD-a vršimo odabiranje sa 44100 Hz iako je maksimalna frekvencija signala koji želimo reprodukovati 20 kHz. Odabiranje signala može se izvršiti sa kolom datim na slici:

Slika 2.6 Kolo za odabiranje

16

Vidimo da je upotrijebljen jedan FET tranzistor, kao prekidački element i njime se upravlja preko signala Fs kojim je definisana frekvencija odabiranja. Jedinični pojačavač realizovan preko oprecionog pojačavača obezbjedjuje veliku otpornost, a time i veliku vremensku konstantu pražnjenja kondenzatora C. Dakle napon na kondenzatoru se neće mijenjati izmedju dva upravljačka impulsa Fs. Nakon odabiranja potrebno je izvršiti kvantizaciju. Broj kvantizacionih nivoa je ograničen, a sami signal može imati beskonačno različitih vrijednosti, što uzrokuje da signal nakon kvantizacije može zadovoljiti samo odredjen stepen tačnosti koji je definisan brojem kvantizacionih nivoa. Drugim riječima kvantizacijom se unosi odredjeni šum, nazvan kvantizacioni šum. Veoma korisno je izvesti relaciju koja će dati vezu odnosa signal šum S/N i broja bita kojim je uslovljen broj kvantizacionih nivoa. Posmatrajmo kvantizacionu grešku za dati bit n ilistrovanu na slici.

Slika 2.6 Vjerovatnoća greške kvantizacije Označimo sa N broj intervala kod n bitnog sistema tj. N=2n. Ako je amplituda signala V tada je kvantizacioni interval dat sa Q=V/(N-1) Kako je kvantizacioni šum distribuiran ravnomjerno izmedju ±Q/2 (-Q/2