Entrop�a, antes: Re: [ideoL] Longitud de las palabras binarias

Thu, 07 Mar 2002 05:40:22 -0800 



                David,


>>Es decir, que el c�digo lineal es m�s predecible que el no lineal, por lo mismo es 
>menos informativo (por tanto, menos eficiente)
pues si puedes predecir (completar) lo que falta tras conocer parte del sistema no 
necesitas
el resto.<<
[david]
Esa es la idea, solo que es justo al rev�s el m�s impredecible es el que da m�s 
informaci�n ... cuando en un crucigrama te aparece
en una casilla una Z o una W, tienes much�smas m�s pistas que si te aparece una A o 
una C. Es decir, la aparici�n de una fen�meno
poco probable da m�s informaci�n porque restringe mucho m�s las posibilidades. Es 
decir la aparici�n un hecho improbable da MAS
INFORMACI�N porque REDUCE Mucho m�s la INCERTIDUMBRE.
[mariano]
Si, te entiendo, y me confund�, obviamente si la entrop�a es mayor la impredicibilidad
es mayor.
No obstante, un c�digo con m�xima entrop�a o totalmente impredecible (es decir,
donde todos los fen�menos son raros) simplemente no puede comunicar nada;
es como decir algo en un idioma que se desconoce por completo.
Un c�digo totalmente predecible, tampoco comunica nada, porque es como decir
lo que ya se sabe. Es preciso un codigo de entrop�a intermedia (ca�tico) para que
algo se pueda trasmitir, es decir en parte predecible y en parte impredecible;
es como decir algo nuevo (desconocido) en un idioma conocido.

Por lo dem�s, es la informaci�n que has dado en la respuesta a Juan lo que hechaba
en falta, es decir, saber por qu� una entrop�a de 1,75 para el c�digo que presentabas
era la apropiada (si la hubieras dado como tanto por ciento de entrop�a tambi�n lo
hubiera entendido).
Escrib�as a Juan:
�Puede demostrarse matem�ticamente que un c�digo m�nimo tiene la misma
informaci�n por signo que la entrop�a asociada (en tuyo tiene una inf por
signo 1,25 < 1,75 = entrop�a, con lo cual autom�tico es ambiguo como muestra
el hecho de q una secuencia de 0 y 1 no se descomponga de manera �nica!�

Un saludo muy cordial,
                                                                        mariano




--------------------------------------------------------------------
IdeoLengua - Lista de Ling�istica e Idiomas Artificiales
Suscr�base en [EMAIL PROTECTED]
Informacion en http://ideolengua.cjb.net


 

Su uso de Yahoo! Grupos est� sujeto a las http://e1.docs.yahoo.com/info/utos.html 


























					Responder a