Entrop�a-incertidumbre estad�stica asociada a un suceso aleatorio con i resultados posibles: S(p1,...,pn) = k�[suma sobre i]( pi�log(1/pi)) donde cada uno ocurre con por probabilidad pi [p1 probabilidad del suceso-fonema 1, ... pn: probabilidad-fonema del suceso n]
Escrib� muy r�pido mi mensaje y olvid� decir un par de cosas importantes: [1] Imaginemos dos experimentos A y B. Supongamos que en la experimento A podr�an ocurrir digamos 101 cosas diferentes: A0 .... A100 y que la probabilidad de A1 = 0,99 y la de los otros sucesos es Ai = 0,0001 (i > 1). En esa situaci�n casi siempre siempre que hicieramos el experimento A observar�amos el resultado A1 (un 99% de las veces) con lo cual a pesar de la gran cantidad de resultados la entropia ser�a relativamente baja: S = k�[0,99 log (1/0,99) + 100�0,0001 log (1/0,0001)] = k�[0,0099 + 0,0092] = ... S = 0,0191�k Imaginemos ahora un experimento B en el que pueden suceder tambi�n 101 cosas pero todas igualmente probables (en esta situaci�n mosntruosa nadie se atrever�a a decir nada o a invertir o apostar por ninguna de B0, B1, ... B100). La incertidumbre, a pesar de existir el mismo numero de posiblidades que antes ser�a alt�sima: S = k�[101�(1/101) log(101)] = 4,6151�k Es decir teniendo tanto A como B el mismo numero de resultados posibles, la situaci�n monstruosa B tiene 241,63 veces m�s incertidumbre que la A (4,6151/0,0191 = 241,63!!!) Creo que esto ilustra el muy bien como de bien funciona la f�rmula. Por otra parte en un suceso determinista o seguro si aplicamos la f�rmula tenemos S = 0 [es decir no es necesario a�adir informaci�n para predecir el resultado, en otras palabras, no hay incertidumbre] [2] En la f�rmula anterior la elecci�n de la constante k solo afecta a las unidades en que medimos la incertidumbre pero si considermos las entrop�as relativas a dos sucesos A y B es decir Srel = SA/SB es indpendiente de la elecci�n de k. [en inform�tica se suele escoger k = 1/ log 2, y del n�mero resultante se dice que son bits; en f�sica se usa k = constante de Boltzman 1,38�10^(-23) de hecho la famosa constante de los gases universales R es R = Nk, k: constante de Boltzmann, N: n�mero de Avogadro; esta constante aparece en varios lugares por ejemplo un gas monoat�mico tiende a tener una capacidad calor�tica cerca de 3R/2, uno diat�mico 5R/2, etc... un metal a alta temperatura tienda a tener una capcidad calor�fica de 3R etc etc] David S. Bueno ya s� acabo con el tema jejejej -------------------------------------------------------------------- IdeoLengua - Lista de Ling�istica e Idiomas Artificiales Suscr�base en [EMAIL PROTECTED] Informacion en http://ideolengua.cjb.net Desglose tem�tico http://groups.yahoo.com/group/ideolengua/files/Administracion/top-ideol.htm Su uso de Yahoo! Grupos est� sujeto a las http://e1.docs.yahoo.com/info/utos.html
