[david escrib�a]
>> midiendo la cantidad de informaci�n asociada (entrop�a) de este sistema de
>conceptos: -(p1�log p1 + p2�log p2 + p3�log p3 + p4�log p4) = 1,75.<<
[mariano escrib�a]
>>Esto es interesante, me refiero al concepto de entrop�a. No llego a entender la
>explicaci�n que das, porque no s� cual es el termino de comparaci�n.<<
_________________________________________
[david respondiendo]
1) La entrop�a DEPENDE SOLO DE SISTEMA, NO DEPENDE DEL C�DIGO ELEGIDO, esta entrop�a
es una medida de la diversidad-complejidad del sistema y en t�rminos de informaci�n si
se quiere es "la cantidad de informaci�n por signo que se requiere para especificar el
sistema, es decir, una secuencia cualquiera".
As� con las porbabilidades: Prob(C1) = 1/2, Prob(C2) = 1/4, Prob(C3) = 1/8 y Prob(C4)
= 1/8 cualquier secuencia aleatoria tipo (q respete las anteriores probabilidades):
C1-C2-C2-C1-C3-C4-C1-C3-.... tendr�a una complejidad media dada por su entrop�a = 1,75.
2) Ahora entran los c�digos en escena ... conocida la entrop�a del sistema enventamos
una codificaci�n, es decir a cada signo del conjunto {C1, C2, C3, C4} la cantidad de
informaci�n de un c�digo se mide por el n�mero medio de bits, para el c�digo m�nimo
que constru�a la INFORMACI�N POR SIGNO = ENTROPIA. Evidentemente existe una infinidad
de c�digos, que pueden clasificarse seg�n:
a) INFORMACI�N POR SIGNO > ENTROP�A --------> C�digo redundante por el ejemplo el
c�digo de 2 bits por signo, como lo era C1--->00, C2---->01, C3---->10, C4----->11
b) INFORMACI�N POR SIGNO = ENTROP�A ---------> C�digo m�nimo, puede existir o no en
funci�n del tipo de codificaci�n que se escoja. Un c�digo m�nimo es: C1----> 0,
C2---->10, C3---->110, C4---->111
c) INFORMACI�N POR SIGNO < ENTROP�A ------> C�digo ambiguo, como el c�digo que
construy� Juan:
C1--> 0, C2--->1 C3---->01, C4 --->10 (ojo q este c�digo es ambiguo pq una secuencia
de 1 y 0 no puede ser descompuesta de una sola manera en secuencias de {C1, C2, C3,
C4} mientras que los c�digos en a) y b) si permiten la reconstrucci�n de la secuencia
original en t�rminos de {C1, C2, C3, C4}.
-_______________________________________________________
>> Tal y como lo entiendo el codigo lineal de 2 bits implicar�a una entrop�a de 2 =
>(1/4�2 + 1/4�2 + 1/4�2 + 1/4�2) que es mayor que la del c�digo no lineal con 1,75.<<
Esto ser�a correcto para otro sistema con Prob(C1) = 1/4, Prob(C2) = 1/4, Prob(C3) =
1/4 y Prob(C4) = 1/4 y el efecto un c�digo de 2 cifras como 00, 01, 10, 11 ser�a
m�nimo ya que ahora la entrop�a ser�a igual a -(1/4�log 1/4 + 1/4�log 1/4 + 1/4�log
1/4 + 1/4�log 1/4) = - ln 1/4 = ln 4 = 2 [no lo dije antes pero los logaritmos
usualmente se toman en base dos, y entonces las unidades se llaman bits, si se usa
otra base tenemos lo mismo pero medido en otras unidades de informaci�n]o
El sistema que se propon�a Prob(C1) = 1/2, Prob(C2) = 1/4, Prob(C3) = 1/8 y Prob(C4) =
1/8 es algo menos complejo que el del anterior p�rrafo ya que es m�s previsible:
sabemos que es bastante m�s probable que C1 aparezca en una secuencia cualquiera que
no C3 o C4, por ejemplo. De ah� que su entrop�a sea menor: -[1/2�log 1/2 + 1/4�log 1/4
+ 1/8�log 1/8 + 1/8�log 1/8] = -[1/2�(-1) + 1/4�(-2) + 1/8�(-3) + 1/8�(-3)] = [ 1/2 +
2/4 + 6/8 ] = 1,75 (si tenemos en cuenta que estamos en base 2 estas operaciones
resultan bastante triviales).
____________________________________
>>Es decir, que el c�digo lineal es m�s predecible que el no lineal, por lo mismo es
>menos informativo (por tanto, menos eficiente) pues si puedes predecir (completar) lo
>que falta tras conocer parte del sistema no necesitas
el resto.<<
Esa es la idea, solo que es justo al rev�s el m�s impredecible es el que da m�s
informaci�n ... cuando en un crucigrama te aparece en una casilla una Z o una W,
tienes much�smas m�s pistas que si te aparece una A o una C. Es decir, la aparici�n de
una fen�meno poco probable da m�s informaci�n porque restringe mucho m�s las
posibilidades. Es decir la aparici�n un hecho improbable da MAS INFORMACI�N porque
REDUCE Mucho m�s la INCERTIDUMBRE.
________________________
David S�nchez
[Se han eliminado los trozos de este mensaje que no conten�an texto]
--------------------------------------------------------------------
IdeoLengua - Lista de Ling�istica e Idiomas Artificiales
Suscr�base en [EMAIL PROTECTED]
Informacion en http://ideolengua.cjb.net
Su uso de Yahoo! Grupos est� sujeto a las http://e1.docs.yahoo.com/info/utos.html
