Sempre da totale profano, io avevo capito che -- con "Dovremmo estrarre conoscenze dalle miniere degli LLM" -- si intendesse: - Non ciò che "sanno" (totalmente "copiato"), - Ma "come possano aver imparato statisticamente una lingua" (...che è tutto un altro discorso).
Ovvero, si parla di metodo (di apprendimento di linguaggio) -- fra l'altro, autocostruito (il che non è banalissimo, né banalizzabile) -- non di contenuto (di generica conoscenza). Sbaglio, Guido? ----- Original Message ----- From: Enrico Nardelli To: [email protected] Sent: Saturday, March 01, 2025 7:56 PM Subject: Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale Due riflessioni: Il 01/03/2025 11:40, Guido Vetere ha scritto: la lessicografia dovrà trovare il modo di estrarre conoscenze dalle miniere degli LLM, e che queste conoscenze dovranno basarsi su modelli teorici adeguati, che forse ancora non abbiamo. Dovremmo estrarre "conoscenze dalle miniere degli LLM" cioè da qualcosa che è stato alimentato con conoscenza già esistente? A me questo ragionamento ricorda un po' i tentativi di costruire il moto perpetuo... Il fatto che per fare certe operazioni non ce ne sia bisogno non significa nulla: si riusciva a navigare anche senza l'idraulica, per dire ... Giusto! Infatti mi è venuta in mente l'osservazione di Leonardo (Trattato della pittura – https://it.wikisource.org/wiki/I_pensieri_(Leonardo_da_Vinci,_1904)/Pensieri_sulla_scienza), che forse stiamo dimenticando Quelli che s'innamoran di pratica sanza scienza son come 'l nocchiere, ch'entra in navilio sanza timone o bussola, che mai ha certezza dove si vada, Non è che ci stiamo "innamorando" un po' troppo della "pratica" degli LLM? Ciao, Enrico Il 01/03/2025 11:40, Guido Vetere ha scritto: La bipartizione sintassi-semantica (che data indietro almeno al '600) fu già rifiutata dalla Lexicon-Grammar di Maurice Gross (Méthodes en syntaxe, 1975), portata anche in Italia da Annibale Elia. Gli LLM confermano oggi che i 'pattern' sintattico-semantici, benché esibiscano 'somiglianze di famiglia', vanno presi uno a uno, e di fatto solo la forza bruta computazionale può compiere l'impresa. Credo (l'ho scritto anche qui) che la lessicografia dovrà trovare il modo di estrarre conoscenze dalle miniere degli LLM, e che queste conoscenze dovranno basarsi su modelli teorici adeguati, che forse ancora non abbiamo. Ma cento miliardi di numeri in virgola mobile non sono una teoria linguistica, perché una teoria è un modello causale. Il fatto che per fare certe operazioni non ce ne sia bisogno non significa nulla: si riusciva a navigare anche senza l'idraulica, per dire ... G. On Tue, 25 Feb 2025 at 05:52, Giuseppe Attardi <[email protected]> wrote: Per anni ho pensato che per capire il linguaggio si dovesse passare attraverso l’analisi sintattica e poi per quella semantica, perché così dicevano i testi di linguistica. Ho sviluppato un parser a dipendenze multiligua basato su word embedding e rete neurale che funzionava molto bene. L’ultima incarnazione si chiama DiaParser e si trova su GitHub: https://github.com/Unipisa/diaparser Tuttavia John Hewitt ha scoperto, usando un probe sintattico, che le matrici di attention dei transformer contengono una rappresentazione dell’albero sintattico della frase. Altri layer delle metrici corrispondono ad altri fenomeni, come l’anafora. I word embedding, che sono al primo livello del transformer, danno una rappresentazione molto articolata del significato delle parole, inclusi sinonimi e relazioni semantiche tra parole. A questo punto l’ipotesi che si debba insegnare esplicitamente la grammatica e la semantica a un modello ha vacillato. Del resto i bambini imparano a capire e parlare una lingua ben prima di andare a scuola e che gli vengano insegnati i concetti linguistici astratti. Probabilmente l’esposizione a 30 milioni di frasi nei primi tre anni di vita è sufficiente (c’è chi dice siano di più, tenendo conto anche dei feedback visivi). Quindi, mai dare per scontate certe ipotesi che ci sembrano ovvie. Ho provato quindi a chiedere questo a ChatGPT. Analizza questa frase: lei suona il violino e lui la tromba. Cosa fa lui esattamente? ChatGPT: La frase è ambigua perché la costruzione grammaticale lascia spazio a due interpretazioni: 1. Interpretazione comune e probabile: “Lei suona il violino e lui [suona] la tromba.” Qui si sottintende il verbo “suonare” anche per il secondo soggetto, quindi si capisce che entrambi stanno suonando strumenti musicali. 2. Interpretazione ambigua e comica: “Lei suona il violino e lui la tromba” potrebbe essere letto in modo diverso, dove “la tromba” non è lo strumento musicale ma un’azione riferita a “lei”. In italiano colloquiale, “trombare” può avere un significato volgare (sinonimo di “fare sesso”). Se si legge in questo modo, la frase assume un doppio senso ironico. Il contesto in cui viene detta o scritta la frase aiuta a chiarire quale delle due interpretazioni sia corretta. Potrebbe darsi che ChatGPT abbia letto da qualche parte la spiegazione di ARM. Ma anche concludere che il modello non sa fare certe cose potrebbe essere azzardato. On 14 Feb 2025, at 16:59, Angelo Raffaele Meo <[email protected]> wrote: Difendo Richard Stallman ed anche l'Intelligenza Artificiale. Nel 1960, quando quasi tutti i partecipanti a questo dibattito non erano ancora nati oppure frequentavano l'asilo, io realizzai uno dei primi prototipi di quel capitolo dell'Intelligenza Artificiale che chiamiamo "riconoscimento della voce". Riconosceva sotto dettatura una ventina di parole distinte, isolate, basandosi sull'analisi acustico-lessicale del segnale vocale. Ad esempio, i brevissimi istanti di silenzio caratteristici della lettera esplosiva "t" suggerivano la parola "sette" oppure la parola "otto", mentre le vocali hanno spettri di frequenza diversi. In quella prima fase della ricerca comprendemmo, ad esempio, che la dettatura automatica o la traduzione da una lingua ad un'altra richiedono l'integrazione dell'analisi lessicale con l'analisi sintattica, ma è ancora più importante l'analisi semantica. Fui io ad introdurre un esempio significativo che è stato citato più volte. Consideriamo la frase "lei suona il piano e lui la tromba". Due diversi alberi sintattici possono sottendere quella frase. Nel primo albero sintattico la parola "tromba" è un'unità nominale; nel secondo albero sintattico la stessa parola è unità verbale. Per l'ascoltatore che non sa nulla della vita sentimentale di lei e lui, "tromba" è un'unità nominale; invece, per l'ascoltatore che sa che lei e lui sono amanti, in un particolare contesto della conversazione, in virtù di quel capitolo della semantica che è chiamato "pragmatica", "tromba" diventa un'unità verbale, con implicazioni importanti sul processo di traduzione. In questo momento, introdurre la semantica o la pragmatica nell'elaborazione del linguaggio naturale è ancora difficilissimo. Quindi, Intelligenza Artificiale interpretata alla lettera non esiste ancora. Sono sicuro che questo fosse il significato della provocatoria affermazione di Stallman e quindi che Stallman abbia ragione. Comunque, senza usare semantica o pragmatica, in virtù di una raffinata elaborazione statistica e della capacità tecnologica di trattare immensi volumi di dati, quel nuovo insieme di discipline scientifiche che chiamiamo Intelligenza Artificiale sta producendo risultati meravigliosi. La dettatura automatica e la traduzione da una lingua all'altra sono due esempi significativi. Commettono ancora qualche errorino ma sono di grandissima utilità. Viva l'Intelligenza Artificiale, chiara dimostrazione dell'intelligenza naturale di homo sapiens. ------------------------------------------------------------------------ From: nexa <[email protected]> on behalf of Giuseppe Attardi <[email protected]> Sent: Friday, February 14, 2025 12:20 PM To: [email protected] <[email protected]> Subject: Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale È anche peggio di così, come ammettono nei manuali per medici: I medici spesso utilizzano termini vaghi come "altamente probabile", "improbabile" o "non è da escludere" per descrivere la possibilità di una malattia. <default_share_msd.jpg> Strategie per il processo decisionale clinico - Argomenti speciali - Manuali MSD Edizione Professionistimsdmanuals.com On 14 Feb 2025, at 12:00, [email protected] wrote: From: Giacomo Tesio <[email protected]> To: [email protected] Subject: Re: [nexa] Perché Richard Stallman sbaglia in tema di intelligenza artificiale Message-ID: <[email protected]> Content-Type: text/plain; charset=UTF-8 Giuseppe, mi permetto un buon consiglio non richiesto: Il 14 Febbraio 2025 10:36:55 UTC, Giuseppe Attardi ha scritto: Quante probabilità ho che sia questo o quello? Quant’è la probabilità di guarigione? Quanto stima possa durare la riabilitazione? Quant’è il rischio di ricadute? È tutto un ragionare a spanne su probabilità stimate a naso. se il tuo medico risponde a domande come queste con stime numeriche delle probabilità (a naso o meno), cambia medico. -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: [email protected] online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --
