> On 11 Apr 2023, at 20:34, Antonio Casilli <[email protected]> > wrote: > > >> PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i >> testi da cui sono stati allenati è proprio ciò che non sanno fare. > > Beppe, "stochastic parrot" non è questo. > Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly > stitch[es] together sequences of linguistic forms (...), according to > probabilistic information about how they combine, but without any reference > to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza. Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc. Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte. — Beppe > C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei > pappagalli stocastici perché reiterano visioni del mondo egemoniche. > > > > > From: Enrico Nardelli <[email protected]> > > > > To: Nexa <[email protected]> > Subject: [nexa] Statement from the listed authors of Stochastic > Parrots on the “AI pause” letter > Message-ID: <[email protected]> > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > (mi pare non sia passato in lista) > > > Statement from the listed authors of Stochastic Parrots on the “AI pause” > letter > > Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina > McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) > > March 31, 2023 > > /Tl;dr: The harms from so-called AI are real and present and follow from the > acts of people and corporations deploying automated systems. Regulatory > efforts should focus on transparency, accountability and preventing > exploitative labor practices./ > > [ > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=3&ESV=10.0.19.7431&IV=C0D3F84B83A3ADF9A9711D5730AF0D3E&TT=1681238065612&ESN=rcaYZzF9axLPITL%2FasBT5CtJuv5i%2BRH33XCClymc4K8%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=F39EA873D0E9320C2A335DB652D5533905C9FF6449D5C5F45DCCB6CC45AF9875 > | > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=2&ESV=10.0.19.7431&IV=64D496B7C182D9192CD349B1A479DB51&TT=1681238065612&ESN=ZX2NE757cciYdfJgiGFrTGd36prtK8BSsXt8mvE8oWI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=27E68C321FF683A3D17BB08C5B7B157186C4F96D526B45A0CEE56FBC4ABAFF10 > ] > > > / > > -- > > -- EN > > _______________________________________________ > nexa mailing list > [email protected] > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=1&ESV=10.0.19.7431&IV=676F1670BA9DCD847C12D274E7F8C22E&TT=1681238065612&ESN=b4I11VUz7GMbIGWtYuJqDBIv0vZeu7WfOqYIZNPWEgI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9zZXJ2ZXItbmV4YS5wb2xpdG8uaXQvY2dpLWJpbi9tYWlsbWFuL2xpc3RpbmZvL25leGE&HK=5F12D1D92C1B0088E491E97109C573A20F082B699D7CEEF415106D13ABCFDA26 _______________________________________________ nexa mailing list [email protected] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
