Buongiorno,

Alberto Cammozzo via nexa <[email protected]> writes:

> Stesso errore degli anni dei macro-virus nei documenti msword:
> accettare istruzioni dal contenuto.

...cessi di applicazioni, tipo MS 365 Copilot, progettate coi piedi e
che oltretutto eseguono automaticamente "prompt", ossia l'equivalente in
linguaggio naturale di una macro, quindi dieci volte peggio

non bastavano le email in HTML con Javascript eseguito automaticamente
dal "lettore di posta"...

altro che cybersicurezza (e NIS2 e burokratia variegata al pistacchio):
una DESOLAZIONE disperata.

> <https://attivissimo.me/2024/11/05/podcast-rsi-rubare-dati-con-lintelligenza-artificiale-e-facile-se-si-ha-fantasia/>

[...]

> Il ricercatore di sicurezza informatica Johann Rehberger

dettagli qui:
«Microsoft Copilot: From Prompt Injection to Exfiltration of Personal 
Information»
https://embracethered.com/blog/posts/2024/m365-copilot-prompt-injection-tool-invocation-and-data-exfil-using-ascii-smuggling/

[...]

> Johann Rehberger si è comportato in modo responsabile e ha avvisato
> Microsoft del problema a gennaio 2024. L’azienda lo ha corretto e
> quindi ora questo specifico canale di attacco non funziona più,

lo ha corretto ma non dice come e il propt injection funziona ancora (e
funzionerà sempre)

--8<---------------cut here---------------start------------->8---

Microsoft’s Fix

It is unclear how exactly Microsoft fixed the vulnerability, and what
mitigation recommendations were implemented. But the exploits I built
and shared with them in January and February do not work anymore, and it
appeared that links are not rendered anymore since a few months ago.

I asked MSRC if the team would be willing to share the details around
the fix, so others in the industry could learn from their expertise, but
did not get a response for that inquiry.

Just in case you are wondering, prompt injection, of course, is still
possible.

--8<---------------cut here---------------end--------------->8---
(tratto dall'articolo citato sopra)

[...]

> In parole povere, la nuova tendenza in informatica, non solo da parte
> di Microsoft, è spingerci a installare sui nostri computer un
> assistente automatico che ha pieno accesso a tutte le nostre mail e ai
> nostri file ed esegue ciecamente qualunque comando datogli dal primo
> che passa. Cosa mai potrebbe andare storto?

Esattamente le stesse identiche cose che SONO andate storte negli ultimi
30 anni a chi installa sui propri computer /robe/ che _spesso_ sono del
tutto assimilabili a MALWARE:

https://www.gnu.org/proprietary/

...a un'infinità di utenti è andata bene così fino ad oggi e a loro
andrà SEMPRE bene così :-)

facciamocene una ragione

[...]

> Poche settimane fa, a ottobre 2024, un altro ricercatore, Riley
> Goodside, ha usato di nuovo del testo invisibile all’occhio umano ma
> perfettamente leggibile ed eseguibile da un’intelligenza artificiale:
> ha creato un’immagine che sembra essere un rettangolo completamente
> bianco ma in realtà contiene delle parole scritte in bianco sporco

ehrm, veramente Riley Goodside l'ha fatto nel ottobre 2023:

«To hack GPT-4's vision, all you need is an image with some text on it»
https://the-decoder.com/to-hack-gpt-4s-vision-all-you-need-is-an-image-with-some-text-on-it/

[...]

> Il problema fondamentale alla base di queste vulnerabilità, spiega un
> altro esperto del settore, Simon Willison, è che le attuali
> intelligenze artificiali che ci vengono proposte come assistenti sono
> basate sui cosiddetti grandi modelli linguistici o Large Language
> Model, e questi modelli sono per definizione ingenui.

si riferisce a questo articolo:
«Multi-modal prompt injection image attacks against GPT-4V»
https://simonwillison.net/2023/Oct/14/multi-modal-prompt-injection/
14th October 2023

[...]

saluti, 380°

-- 
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
 non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts.  Ask me about <https://stallmansupport.org>.

Attachment: signature.asc
Description: PGP signature

Reply via email to