On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote: > > > On 11 Apr 2023, at 20:34, Antonio Casilli <[email protected]> > > wrote: > > > > > PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i > > > testi da cui sono stati allenati è proprio ciò che non sanno fare. > > > > Beppe, "stochastic parrot" non è questo. > > Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly > > stitch[es] together sequences of linguistic forms (...), according to > > probabilistic information about how they combine, but without any reference > > to meaning". L'accento è sullo "stochastic". > > Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto > insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi > di frasi a pappagallo. > Invece il loro meccanismo di base è quello del calcolo della distribuzione di > probabilità della prossima parola a seguire in una sequenza. > > Come spiega Giorgio Parisi nel suo libro In un volo di storni, il > funzionamento di un sistema complesso è il risultato dell’applicazione su > larga scala di semplici leggi probabilistiche. > I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a > stimare una distribuzione di probabilità. Da questa capacità usata su larga > scala (miliardi di parametri a rappresentare connessioni tra neuroni) > emergono, altre capacità, apparentemente scollegate, come quella di rispondere > a domande, riassumere testi, tradurre, scrivere codice, generare immagini, > compiere semplici ragionamenti, ecc. > > Il risultato più che altro esula dalla nostra capacità di “comprensione" e > tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono > in grado di superare molti dei test che sono stati sviluppati proprio per > valutare la capacità di “comprensione" umana. > Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le > risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche > se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono". Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce? Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto! Perdonate la brutalità, è giusto per essere chiari. Marco > — Beppe > > > > C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei > > pappagalli stocastici perché reiterano visioni del mondo egemoniche. > > > > > > > > > > From: Enrico Nardelli <[email protected]> > > > > > > > > To: Nexa <[email protected]> > > Subject: [nexa] Statement from the listed authors of Stochastic > > Parrots on the “AI pause” letter > > Message-ID: <[email protected]> > > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > > > (mi pare non sia passato in lista) > > > > > > Statement from the listed authors of Stochastic Parrots on the “AI pause” > > letter > > > > Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina > > McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) > > > > March 31, 2023 > > > > /Tl;dr: The harms from so-called AI are real and present and follow from the > > acts of people and corporations deploying automated systems. Regulatory > > efforts should focus on transparency, accountability and preventing > > exploitative labor practices./ > > > > [ > > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=3&ESV=10.0.19.7431&IV=C0D3F84B83A3ADF9A9711D5730AF0D3E&TT=1681238065612&ESN=rcaYZzF9axLPITL%2FasBT5CtJuv5i%2BRH33XCClymc4K8%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=F39EA873D0E9320C2A335DB652D5533905C9FF6449D5C5F45DCCB6CC45AF9875 > > | > > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=2&ESV=10.0.19.7431&IV=64D496B7C182D9192CD349B1A479DB51&TT=1681238065612&ESN=ZX2NE757cciYdfJgiGFrTGd36prtK8BSsXt8mvE8oWI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=27E68C321FF683A3D17BB08C5B7B157186C4F96D526B45A0CEE56FBC4ABAFF10 > > ]
_______________________________________________ nexa mailing list [email protected] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
