On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote: > Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, > citando l’affermazione “More is Different” di Philip Warren Anderson (premio > Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason > Wei: Emergent Abilities of Large Language > Models https://openreview.net/pdf?id=yzkSU5zdwD > > Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi > nobel, in chiacchiere da bar, fai pure.
No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero. Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile. Grazie dell'interessante suggerimento e della conferma. Marco P.S.: Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto. Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. Citare i Nobel non conferisce automaticamente peso ad un'opinione. > — Beppe > > > On 12 Apr 2023, at 17:33, Marco A. Calamari <[email protected]> > > wrote: > > > > > > On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote: > > > > > > > On 11 Apr 2023, at 20:34, Antonio Casilli > > > > <[email protected]> wrote: > > > > > > > > > PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a > > > > > pappagallo i testi da cui sono stati allenati è proprio ciò che non > > > > > sanno fare. > > > > > > > > Beppe, "stochastic parrot" non è questo. > > > > Timnit Gebru et al. ne parlano nel senso di un dispositivo che > > > > "haphazardly stitch[es] together sequences of linguistic forms (...), > > > > according to probabilistic information about how they combine, but > > > > without any reference to meaning". L'accento è sullo "stochastic". > > > > > > Ma non è questo quello che fanno i LLM della serie GPT: non attaccano > > > affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe > > > appunto pezzi di frasi a pappagallo. > > > Invece il loro meccanismo di base è quello del calcolo della distribuzione > > > di probabilità della prossima parola a seguire in una sequenza. > > > > > > Come spiega Giorgio Parisi nel suo libro In un volo di storni, il > > > funzionamento di un sistema complesso è il risultato dell’applicazione su > > > larga scala di semplici leggi probabilistiche. > > > I Large Language Models come GPT-3 fanno appunto questo: sono stati > > > allenati a stimare una distribuzione di probabilità. Da questa capacità > > > usata su larga scala (miliardi di parametri a rappresentare connessioni > > > tra neuroni) emergono, altre capacità, apparentemente scollegate, come > > > quella di rispondere a domande, riassumere testi, tradurre, scrivere > > > codice, generare immagini, compiere semplici ragionamenti, ecc. > > > > > > Il risultato più che altro esula dalla nostra capacità di “comprensione" e > > > tendiamo a concludere che non hanno capacità di “comprensione”, anche se > > > sono in grado di superare molti dei test che sono stati sviluppati proprio > > > per valutare la capacità di “comprensione" umana. > > > Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà > > > le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, > > > anche se a volte inesatte. > > > > > > Scusa Giuseppe, ma hai usato la parola "emergono". > > > > Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza > > complesso da manifestare, una proprietà "emergente", non prevista dal suo > > progetto. > > Dei comportamenti imprevisti che lo stanno portando ad essere, almeno > > statisticamente, in grado di "capire" la domanda e fornire la "risposta > > corretta", se la conosce? > > > > Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto! > > > > Perdonate la brutalità, è giusto per essere chiari. Marco > > > > > — Beppe > > > > > > > > > > C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei > > > > pappagalli stocastici perché reiterano visioni del mondo egemoniche. > > > > > > > > > > > > > > > > > > > > From: Enrico Nardelli <[email protected]> > > > > > > > > > > > > > > > > To: Nexa <[email protected]> > > > > Subject: [nexa] Statement from the listed authors of Stochastic > > > > Parrots on the “AI pause” letter > > > > Message-ID: <[email protected]> > > > > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > > > > > > > (mi pare non sia passato in lista) > > > > > > > > > > > > Statement from the listed authors of Stochastic Parrots on the “AI > > > > pause” letter > > > > > > > > Timnit Gebru (DAIR), Emily M. Bender (University of Washington), > > > > Angelina McMillan-Major (University of Washington), Margaret Mitchell > > > > (Hugging Face) > > > > > > > > March 31, 2023 > > > > > > > > /Tl;dr: The harms from so-called AI are real and present and follow from > > > > the acts of people and corporations deploying automated systems. > > > > Regulatory efforts should focus on transparency, accountability and > > > > preventing exploitative labor practices./ > > > > > > > > > > > [ > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=3&ESV=10.0.19.7431&IV=C0D3F84B83A3ADF9A9711D5730AF0D3E&TT=1681238065612&ESN=rcaYZzF9axLPITL%2FasBT5CtJuv5i%2BRH33XCClymc4K8%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=F39EA873D0E9320C2A335DB652D5533905C9FF6449D5C5F45DCCB6CC45AF9875 > > > > > > > | > https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464&URLID=2&ESV=10.0.19.7431&IV=64D496B7C182D9192CD349B1A479DB51&TT=1681238065612&ESN=ZX2NE757cciYdfJgiGFrTGd36prtK8BSsXt8mvE8oWI%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly93d3cuZGFpci1pbnN0aXR1dGUub3JnL2Jsb2cvbGV0dGVyLXN0YXRlbWVudC1NYXJjaDIwMjMv&HK=27E68C321FF683A3D17BB08C5B7B157186C4F96D526B45A0CEE56FBC4ABAFF10 > > > > ] >
_______________________________________________ nexa mailing list [email protected] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
