Certo Guido, On Tue, 30 Jul 2024 12:00:05 Guido Vetere wrote:
> quando i modelli multilingua di Meta, DeepMind e Mistral sui > benchmark italiani vanno al doppio di quelli 'autarchici', > qualcosa dovrà pur dire vuol semplicemente dire che Meta, DeepMind e Mistral hanno incluso migliaia di quiz e test a risposta multipla nella base dati utilizzata per programmare statisticamente i propri software. La cosa ti sorprende? E' da un po' che va avanti: https://www.businessinsider.com/list-here-are-the-exams-chatgpt-has-passed-so-far-2023-1 https://www.ama-assn.org/practice-management/digital/chatgpt-passed-usmle-what-does-it-mean-med-ed https://edition.cnn.com/2023/01/26/tech/chatgpt-passes-exams/index.html Ora, per quanto restii a smettere di parlare di "intelligenza artificiale" e stronzate simili, i ricercatori che hanno programmato i "modelli" che tu chiami "autarchici" non hanno come obbiettivo primario buttare fumo negli occhi agli sprovveduti che non sanno come funziona un LLM ed è dunque prevedibile che non avranno ottimizzato particolarmente simili "imitation games". Giacomo
