[Fis] The information-entropy relation clarified: The New Jerseyator

2018-06-02 Thread Sungchul Ji
Hi  FISers,


One simple (and may be too simple) way to distinguish between information and 
entropy may be as follows:


(i)  Define  information (I) as in Eq. (1)


  I = -log_2(m/n) = - log_2 (m) + log_2(n)  
 (1)


where n is the number of all possible choices (also called variety) and m is 
the actual choices made or selected.


(ii) Define the negative binary logarithm of n, i.e., -log_2 (n), as the 
'variety' of all possible choices  and hence identical with Shannon entropy H, 
as suggested by Wicken [1].  Then Eq. (1) can be re-writtens as Eq. (2):


   I = - log_2(m) - H   
(2)


(iii) It is evident that when m = 1 (i.e., when only one is chosen out of all 
the variety of choices available) , Eq. (2) reduces to Eq. (3):


I = - H 
 (3)


(iv) As is well known, Eq. (3) is the basis for the so-called the "negentropy 
priniciple of Information" frist advocated by Shroedinger followed by 
Brillouin,and others.  But Eq. (3) is clearly not a principle but a special 
case of Eq. (2)  with m = 1.


(v)  In conlcusion, I claim that information and negative entropry are not the 
same qualitatively nor quantiatively (except when m = 1 in Eq. (2)) and 
represent two opposite nodes of a fundamental triad [2]:







 Selection

H 
>  I
  (uncertainty before selection)
 (Uncertainty after selection)





Figure 1.  The New Jerseyator model of information (NMI) [3].  Since selection 
requires free energy dissipation, NMI implicates both information and energy.  
That is, without energy dissipation, no energy, and hence NMI may be viewed as 
a self-organizing process (also called dissipative structure) or an ‘-ator’.  
Also NMI is consistent with “uncertainty reduction model of information.”



With all the best.


Sung


P.s.  There are experimetnal evidences that informattion and entropy are 
orthogonal, thus giving rise to the Planck-Shannon plane that has been shown to 
distiguish between cancer and healthy cell mRNA levels.  I will discus this in 
n a later post.



References:

   [1]  Wicken, J. S. (1987).  Entropy and information: suggestions for common 
language. Phil. Sci. 54: 176=193.
   [2] Burgin, M (2010).  Theory of Information: Funadamentality, Diversity, 
and Unification.  World Scientific Publishing, New Jersey,

   [3] Ji, S. (2018).  The Cell Langauge theory: Connecting Mind and Matter.  
World Scientific Publishing, New Jersey.  Figure 10.24.
___
Fis mailing list
Fis@listas.unizar.es
http://listas.unizar.es/cgi-bin/mailman/listinfo/fis


Re: [Fis] Is information physical? A logical analysis

2018-06-02 Thread Francesco Rizzo
Cari Tutti,

ho affrontato la questione dell’accoppiata energia−informazione altre
volte. Ora aggiungo, altrettanto brevi considerazioni in proposito.
L’energia è un modo di essere dell’informazione e l’informazione è un modo
di essere dell’energia.

In apodittica o estrema sintesi:

* *Informazione naturale o termodinamica*: *I* = −*S* = neg−entropia
(energia libera)  dipendente dalla *forma* o distribuzione/diffusione delle
molecole o particelle: *entropia* (energia degradata) è equilibrio o
diffusione omogenea o indifferenziata delle particelle o molecole, perché
il gradiente termico (separazione delle molecole calde e veloci da un lato
e fredde e lente dall’altro) salta: *neg**−**entropia* è dis−equilibrio o
disposizione eterogenea o  differenziata delle particelle o molecole dando
luogo ad un (talvolta verosimile) gradiente o differenziale termico;

* *Informazione genetica *è: informazione delle informazioni: moneta
biologica che riempie e determina la vita: comunicazione−trasmissione
genomica da cui dipende la *forma* struttural/funzionale o
funzional/strutturale degli organismi umani, animali e vegetali; energia
vitale connessa al codice inscritto nei geni: alla base del passaggio della
ricerca biologica dal metabolismo alla genetica;

* *Informazione matematica*: teoria strutturale delle proprietà statistiche
della fonte implicante studi di ingegneria della trasmissione
dell’informazione relativi a processi che trasmettono unità di informazione
non significanti; secondo Shannon e Weaver  [140] l’informazione è il
valore di equi probabilità che si realizza tra molte possibilità
combinatorie ed è direttamente proporzionale all’*entropia *(misurata in
bit) di un dato sistema ;

* *Informazione semiotico**−**semantica*: teoria strutturale delle
proprietà generative di un s−codice che sottendono processi in cui unità
significanti di informazione sono trasmesse a fini comunicativi; l’s−codice
sovrapposto alla equiprobabilità del sistema lo domina comunicativamente,
riducendone l’informazione matematica, ma rendendo possibile la
comunicazione di significati selezionati, trasmessi e ricevuti.

Se l’informazione può essere definita sia come entropia sia come neg−entropia,
questo discende dal fatto che nel primo caso si tratta di informazione
matematica, nel secondo caso di informazione semiotico−semantica. Allora
come si fa a dire o scrivere che l’informazione non ha niente a che vedere
con l’energia, quando l’energia è una forma di informazione e
l’informazione è una forma di energia?

Cari colleghi, Vi chiedo scusa per lo  stile espressivo (oltre che per la
lingua italiana) usato, oltre che per lo  schema assai sintetico che
propongo alla vostra significativa attenzione. Comunque, Vi ringrazio per
la compagnia che mi fate. Il tempo ci martirizza, rendendoci testimoni
della nostra e altrui storia. Un abbraccio affettuoso a tutti.

Francesco.








2018-05-31 17:28 GMT+02:00 Joseph Brenner :

> Stan,
>
>
>
> Good, but things can also run in the opposite direction. How about variety
> (plus more energy) generating more variety, more possibilities and allowing
> new ‘information’ to emerge? Standard logical analysis is inadequate
> because it cannot handle this picture.
>
>
>
> Joseph
>
>
> --
>
> *From:* Fis [mailto:fis-boun...@listas.unizar.es] *On Behalf Of *Stanley
> N Salthe
> *Sent:* jeudi, 31 mai 2018 16:21
> *To:* Burgin, Mark; fis
>
> *Subject:* Re: [Fis] Is information physical? A logical analysis
>
>
>
> Mark -- What Shannon referred to as 'entropy' was 'variety'. 'Information'
> per se was achieved by way of a reduction or winnowing of this variety of
> possibilities, leaving 'information' to survive.
>
>
>
> STAN
>
>
>
> On Wed, May 30, 2018 at 10:24 PM, Burgin, Mark 
> wrote:
>
> Dear Loet,
> Only one remark. There is no Shannon-type information but there is
> Shannon's measure of information, which is called entropy.
>
> Sincerely,
> Mark
>
>
> On 5/23/2018 10:44 PM, Loet Leydesdorff wrote:
>
> Dear Mark, Soren, and colleagues,
>
>
>
> The easiest distinction is perhaps Descartes' one between* res cogitans*
>  and* res extensa* as two different realities. Our knowledge in each case
> that things could have been different is not out there in the world as
> something seizable such as piece of wood.
>
>
>
> Similarly, uncertainty in the case of a distribution is not seizable, but
> it can be expressed in bits of information (as one measure among others).
> The grandiose step of Shannon was, in my opinion, to enable us to
> operationalize Descartes'* cogitans* and make it amenable to the
> measurement as information.
>
>
>
> Shannon-type information is dimensionless. It is provided with meaning by
> a system of reference (e.g., an observer or a discourse). Some of us prefer
> to call only thus-meaningful information real information because it is
> embedded. One can also distinguish it from Shannon-type information as
> Bateson-type information. The latter can be deba