On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote: > il termine spregiativo di “stochastic parrot” che è stato affibbiato > ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed > è costato a Gebru il posto a Google. Nell’articolo si sostiene che: > > An LM is a system for haphazardly stitching together sequences of linguistic > forms it has observed in its vast training data, according to probabilistic > information about how they combine, but without any reference to meaning: a > stochastic parrot. > > Questa affermazione è superficiale e inesatta, perché non tiene conto di > alcune > cose: > > 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un > significato alle parole, un problema che ha eluso la filosofia e la > linguistica > per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma > Hinton in proposito: > “Many people who think it’s just statistics are thinking in terms of program > models or counting the co-occurrence frequencies of words. We think this > process of creating features of the embeddings and then interactions between > features is actually understanding. Once you’ve taken the raw data of symbol > strings and you can now predict the next symbol not by things like trigrams, > but the huge number of features interacting in very complicated way to predict > the features of the next word and from that make a prediction about the > probability of the next word, the point is that is understanding, at least I > believe that is understanding. I believe that is what our brains are doing. > But > that’s an issue to be discussed by the research community and it would be > great > if we could convince people that they are not just stochastic parrots.”
questa cosa mi confonde un po': a chi/a chi sta parlando Hinton? Perche' le critiche a certi discorsi vengono da quelli che non hanno alcun bisogno di essere convinti di non essere semplici pappagalli, ma sono LORO a dire di essere molto di piu'. A dire che il cervello umano e' solo un'altra macchina sono altri. E dimostrare che gli esseri umani non sono pappagalli stocastici mica esclude che lo siano gli LLM. Sicuramente questo sara' piu' chiaro nel dibattito. Ne sara' disponibile una trascrizione? Grazie, Marco -- https://mfioretti.substack.com _______________________________________________ nexa mailing list [email protected] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
