Salve Bruno, quanto tempo hai speso a verificare la correttezza dell'output?

In altri termini, hai riletto i due testi appuntando a parte i riferimenti al 
denaro
per poi verificare che fossero citati tutti e che tutti quelli citati fossero 
corretti?

Se sì, qualcuno prima di te ha fatto tale lavoro pubblicandone i risultati in 
ciò 
che poi è diventato parte del dataset sorgente di chatgpt.

In altri termini chatgpt non ha individuato le occorrenze del denaro nei testi, 
ma
solo recitato il lavoro fatto precedentemente da altri.
Senza menzionare tale lavoro, ovviamente.


Se non hai fatto tale scrupolosa verifica, scommetto una pizza che ne ha 
come minimo omessi alcuni, nonostante
si tratti di testi classici su cui simili
analisi sono già state condotte
<https://philpapers.org/rec/DANIDN>

Ma d'altro canto se non hai fatto scrupolosamente tale verifica,
ti sei fidato acriticamente del software, esattamente come Jovannotti.


Questi software possono essere utili solo quando la correttezza dell'output
non è applicabile.

Se gli chiediamo cosa pensa della torta alla nocciola, qualunque output sarà
equamente (in)utile... e disconnesso dall'esperrienza di cucinarla e mangiarla.

Se però una risposta corretta esiste, come nel caso delle 5 parole più 
frequenti in un
corpus, allora qualunque risposta diversa da quella corretta è... sbagliata.

Se anche l'output contenesse 4 delle parole più frequenti, ma la quinta 
non fosse una delle 5 più frequenti, quell'output sarebbe sbagliato.

Se anche l'output sul denaro nei promessi sposi avesse omesso o fabbricato 
una sola occorrenza del concetto, tale output sarebbe errato.

Naturalmente, diffondere informazioni false o incomplete non è ancora reato,
ma è importante comprendere che "l'ha detto chatgpt" significa "non ha
alcuna attinenza con la realtà" (né alcun significato).


Giacomo

Il 18 Aprile 2025 17:12:00 UTC, Bruno Gambarotta <[email protected]> 
ha scritto:
> Ho chiesto a ChatGPT di indicarmi tutte le volte che nei Promessi Sposi di 
> Manzoni e nello Zibaldone di pensieri di Leopardi si parlava di denaro e lui 
> ha eseguito il compito con le adeguate citazioni, con le date e tutto quanto.
> ________________________________
> Da: nexa <[email protected]> per conto di Giacomo Tesio 
> <[email protected]>
> Inviato: giovedì 17 aprile 2025 23:00
> A: [email protected] <[email protected]>; Eleonora Colombo 
> <[email protected]>; Antonio <[email protected]>
> Oggetto: Re: [nexa] Jovanotti e ChatGPT
> 
> Scusa Eleonora,
> 
> Il 17 Aprile 2025 19:20:19 UTC, Eleonora Colombo ha scritto:
> > Possiamo dire che il risultato di questo bel lavoro ci dice che l'AI lavora
> > sicuramente bene ma che da sola non basta?
> 
> a ChatGPT sono state richieste, più volte, le 5 parole più frequenti in un 
> certo
> corpus testuale.
> 
> La risposta corretta è (assumo che l'analisi di Antonio sia corretta) questa 
> lista:
> 
> - mondo
> - amore
> - vita
> - cuore
> - tempo
> 
> E ChatGPT non ha (ovviamente) risposto tale lista nemmeno una volta.
> 
> Ovvero ha fornito risposte errate il 100% delle volte.
> 
> 
> In che senso "l'AI lavora bene"?
> 
> Non mi viene in mente nessun mestiere in cui sbagliare il 100% delle volte è
> considerato "lavorare bene".
> 
> 
> 
> Giacomo

Reply via email to