Taller 1 PDF

 

Taller de repaso Teor eor´´ıa de la informac info rmaci´ i´on,Unipanamericana on,Unipanamericana 5 de agosto de 2019 1. Suponga que las califi calificacio caciones nes para teor teor´´ıa de la infor informaci´ maci´ oon n est´aan n dadas por las siguientes letras, A, B, C, D, F. ¿Cu´aanta nta informaci´o hay si el profesor le dice que su nota no fue F?. Con base en lo anterior,¿cu´aanta nta informaci´oon n se necesita para saber su nota?. 2. Se tiene una baraja compuesta por 52 cartas. a )

Calc Calcule ule la canti cantidad dad de informac informaci´ i´oon n cuando se sabe que una carta escogida al azar tiene un coraz´oon. n.

b)

Calc Calcule ule la canti cantidad dad de informac informaci´ i´oon n cuando se sabe que una carta escogida al azar tiene un rostro.

c )

Calc Calcule ule la canti cantidad dad de informac informaci´ i´oon n cuando se sabe que una carta escogida al azar tiene un coraz´oon n y un rostro.

d )

Si se escoge una car carta ta que ya se sabe que es una carta de corazones corazones y que tiene un rostros, ¿cu´aanta nta informaci´on on se necesita para saber exactamente el tipo de carta?.

3. Calcule Calcule H   H ((x) para la siguiente fuente de memoria nula que tiene seis s´ıımbolos: mbolos:  1  1  1   1   1 P A  = 2   P B   = 4   P C   = P   P E  C   = 8   P D  = E   = 20   P F  F   = 40 . Encuentre la cantidad de informaci´oon n contenida en los mensajes ABABBA y FDDFDF, compare con la cantidad de informaci´oon n obtenida para un mensaje cualquiera de 6 s´ıımb mb ol olos os.. 4. Calcule la tasa de informaci´oon n de un tel´eegrafo grafo que emite dos s´ımbolo ımbolos, s, punto y linea. La duraci´oon n del punto es de 0.2 segundos mientras que la linea dura el doble de tiempo. La proba probabilida bilidad d de emisi emisi´´oon n de la linea es la mitad de la probab probabilidad ilidad de emisi emisi´´oon n del punto. 5. Para la fuente de markov de la figura 1. a )

calcule la entrop entrop´´ıa de la fuente.

b)

calcule la entrop entrop´´ıa  conjunta  de la l a fuente cua cuando ndo se env env´´ıan dos s´ımb ımbolo olos. s.

c )

calcule la entrop entrop´´ıa  condicional  de la fuente.

 

Figura 1: Fuente de markov. 6. Una fuente binaria tiene las siguientes probabilidades de transmisi´oon n de cero o uno, P 0   =  P 1   = 1/2. Adem´aass las probabilidades de recibir un valor dado que se envi´o otro son:   P  son: P (0 (0||1) = (1| (1|0) = 3/ 3/4. Calcule la entrop entrop´´ıa condicional de la fuente.