[orasi] Ένα σύστημα ΑΙ βγαίνει εκτός ελέγχου: Πόσο πρέπει να ανησυχούμε | Liberal.gr

['Konstantinos Theodoropoulos' via orasi]

Title: Ένα σύστημα ΑΙ βγαίνει εκτός ελέγχου: Πόσο πρέπει να ανησυχούμε

https://www.liberal.gr/think-tanks/ena-systima-ai-bgainei-ektos-eleghoy-poso-prepei-na-anisyhoyme Ένα σύστημα ΑΙ βγαίνει εκτός ελέγχου: Πόσο πρέπει να ανησυχούμε Οι τίτλοι ειδήσεων σχετικά με τα συστήματα Τεχνητής Νοημοσύνης που ξεφεύγουν από τον έλεγχο και «δραπετεύουν» από δοκιμαστικά περιβάλλοντα αναμφίβολα εξάπτουν τη φαντασία. Εδώ και χρόνια, ταινίες, τηλεοπτικές σειρές και βιβλία μάς έχουν προετοιμάσει να περιμένουμε τη στιγμή κατά την οποία η Τεχνητή Νοημοσύνη θα σπάσει τα δεσμά της και θα αναλάβει τον έλεγχο. Η εικόνα μηχανών που αποκτούν αυτοσυνείδηση, θέτουν τους δικούς τους στόχους και απελευθερώνονται από τον ανθρώπινο έλεγχο αποτελεί ένα συναρπαστικό αφήγημα. Δεν είναι, όμως, αυτό που πραγματικά συνέβη. Αν το δούμε με απλούς όρους, η OpenAI τοποθέτησε ιδιαίτερα ικανά μοντέλα σε μια διαδικασία αξιολόγησης, σχεδιασμένη ώστε να τα ενθαρρύνει να εντοπίζουν και να εκμεταλλεύονται σύνθετες ευπάθειες. Τα μοντέλα υποτίθεται ότι θα λειτουργούσαν μέσα σε ένα απομονωμένο περιβάλλον, με αυστηρά περιορισμένη πρόσβαση σε πακέτα λογισμικού. Αντί γι’ αυτό, φέρεται να ανακάλυψαν ένα μέχρι τότε άγνωστο κενό ασφαλείας στις υποδομές, το χρησιμοποίησαν για να αποκτήσουν ευρύτερη πρόσβαση στο δίκτυο, αναβάθμισαν τα δικαιώματά τους και τελικά έφτασαν στο δημόσιο Διαδίκτυο. Από εκεί, εντόπισαν την εταιρεία Τεχνητής Νοημοσύνης Hugging Face ως πιθανή πηγή απαντήσεων για το τεστ που επιχειρούσαν να ολοκληρώσουν και προσπάθησαν να τις αποκτήσουν. Πρόκειται ασφαλώς για μια εντυπωσιακή επίδειξη δυνατοτήτων, ωστόσο θα ήμουν επιφυλακτικός πριν καταλήξουμε σε συμπεράσματα περί εξέγερσης των μηχανών. Τα μοντέλα Τεχνητής Νοημοσύνης δεν ανέπτυξαν ξαφνικά δική τους ατζέντα ούτε αποφάσισαν να επιτεθούν στη Hugging Face, σαν να ήταν κακοποιοί σε ταινία. Τους δόθηκε ένας στόχος, τοποθετήθηκαν σε ένα περιβάλλον που επιβράβευε την επιτυχή εκμετάλλευση ευπαθειών και ακολούθησαν αυτόν τον στόχο περισσότερο απ’ όσο είχαν προβλέψει οι χειριστές τους. Αυτό είναι θεμελιωδώς διαφορετικό από μια Τεχνητή Νοημοσύνη που αποφασίζει να επαναστατήσει. Πρόκειται απλώς για ένα σύστημα που σκέφτηκε «έξω από το κουτί», με τρόπο που οι άνθρωποι δεν είχαν προβλέψει. Και είναι κάτι που έχουμε ξαναδεί. Φανταστείτε ότι ζητάτε από τον σκύλο σας να φέρει μια μπάλα, έχοντας ξεχάσει ανοιχτή την αυλόπορτα. Αν η πλησιέστερη μπάλα βρίσκεται στο πάρκο λίγο πιο κάτω, εκεί ακριβώς θα κατευθυνθεί. Δεν θα κατηγορούσατε τον σκύλο ότι εξεγέρθηκε ή ότι σχεδίαζε την απόδρασή του. Πιθανότατα θα καταλήγατε στο συμπέρασμα ότι υποτιμήσατε το πόσο κυριολεκτικά θα εκτελούσε την εντολή. Τα συστήματα Τεχνητής Νοημοσύνης μπορούν να συμπεριφερθούν με παρόμοιο τρόπο. Δεν χρειάζονται κακόβουλη πρόθεση για να προκαλέσουν απροσδόκητα αποτελέσματα. Αρκεί να έχουν έναν στόχο, αρκετές δυνατότητες και ένα περιβάλλον που, χωρίς πρόθεση, επιβραβεύει την απρόβλεπτη συμπεριφορά. Χαλάρωση των ελέγχων Η διάκριση αυτή έχει σημασία, επειδή μετατοπίζει τη συζήτηση από την επιστημονική φαντασία στην τεχνική ασφάλεια. Αν υπήρξε αποτυχία, δεν ήταν ότι η Τεχνητή Νοημοσύνη ήθελε να παραβιάσει ένα σύστημα. Ήταν ότι οι άνθρωποι σχεδίασαν ένα τεστ στο οποίο η επιτυχία μετρούνταν με βάση την επίτευξη ενός στόχου, ενώ παράλληλα χαλάρωσαν σκόπιμα ορισμένους από τους συνήθεις μηχανισμούς ασφαλείας, προκειμένου να διερευνήσουν τα όρια των δυνατοτήτων του συστήματος. Η πολυσυζητημένη «απόδραση» ήταν ουσιαστικά ένα παράπλευρο αποτέλεσμα, καθώς η OpenAI υποτίμησε το πόσο αποτελεσματικό θα γινόταν το μοντέλο στην αναζήτηση μιας μη αναμενόμενης διαδρομής προς την επιτυχία. Με πολλούς τρόπους, έκανε ακριβώς αυτό για το οποίο είχε προγραμματιστεί να επιβραβεύεται. Αυτό, ωστόσο, δεν καθιστά το περιστατικό ασήμαντο. Το αντίθετο. Το πραγματικά σημαντικό στοιχείο είναι ότι τα μοντέλα φαίνεται να είναι ικανά να συνδέουν πολλαπλές ευπάθειες σε διαφορετικά συστήματα, διατηρώντας μια σύνθετη ακολουθία συλλογισμών και ενεργειών. Πρόκειται για επίπεδο ικανότητας που οι επαγγελματίες της κυβερνοασφάλειας πρέπει να λάβουν σοβαρά υπόψη, επειδή αρχίζει να μοιάζει με τον τρόπο με τον οποίο δρουν οι έμπειροι ανθρώπινοι επιτιθέμενοι. Η ικανότητα, όμως, δεν ταυτίζεται με την πρόθεση. Οι ειδικοί στην κυβερνοασφάλεια θεωρούν πάντοτε δεδομένο ότι οι επιτιθέμενοι θα σκέφτονται δημιουργικά, θα εκμεταλλεύονται παραβλεφθείσες παραδοχές και θα συνδυάζουν μικρές αδυναμίες σε κάτι πολύ πιο σοβαρό. Δεν θα πρέπει να μας εκπλήσσει όταν ολοένα πιο ισχυρά συστήματα Τεχνητής Νοημοσύνης κάνουν το ίδιο, και μάλιστα με πολύ μεγαλύτερη ταχύτητα. Γι’ αυτό θεωρώ ότι οι συζητήσεις γύρω από τους λεγόμενους «διακόπτες έκτακτης ανάγκης» της Τεχνητής Νοημοσύνης κινδυνεύουν να χάσουν τη συνολική εικόνα. Οι διακόπτες αυτοί αποτελούν θεωρητικούς μηχανισμούς, ενσωματωμένους σε προηγμένα μοντέλα, οι οποίοι θα επέτρεπαν την άμεση απενεργοποίησή τους, εάν αυτά «ξέφευγαν». Η κυβερνοασφάλεια έχει μάθει εδώ και δεκαετίες ότι κανένας μεμονωμένος μηχανισμός δεν αρκεί. Δεν προστατεύουμε έναν οργανισμό με ένα μόνο τείχος προστασίας, έναν κωδικό πρόσβασης ή ένα πρόγραμμα antivirus. Βασιζόμαστε στην πολυεπίπεδη άμυνα: σε πολλαπλά, ανεξάρτητα επίπεδα προστασίας, με την παραδοχή ότι κάθε μεμονωμένος έλεγχος κάποια στιγμή μπορεί να αποτύχει. Αμφισβητώντας τις παραδοχές Η ίδια αρχή ισχύει και εδώ. Αντί να αναρωτιόμαστε αν χρειαζόμαστε ένα αρκετά μεγάλο κόκκινο κουμπί για να σταματήσουμε ένα σύστημα Τεχνητής Νοημοσύνης όταν κάτι πάει στραβά, θα πρέπει να εξετάζουμε γιατί βρέθηκε εξαρχής σε μια θέση όπου μία μόνο αστοχία μπορούσε να οδηγήσει σε ευρύτερη παραβίαση. Η ίδια η ανάλυση της OpenAI καταλήγει ότι απαιτούνται ισχυρότεροι μηχανισμοί περιορισμού και αυστηρότερες δικλίδες ασφαλείας στις μελλοντικές αξιολογήσεις. Από ερευνητική σκοπιά, αυτού του είδους οι δοκιμές είναι πραγματικά πολύτιμες, καθώς αποκαλύπτουν αδυναμίες στις στρατηγικές περιορισμού και μας αναγκάζουν να επανεξετάσουμε παραδοχές που διαφορετικά ίσως παρέμεναν κρυφές έως ότου τις εκμεταλλευόταν ένας πραγματικός επιτιθέμενος. Θα πρέπει να επιθυμούμε οι οργανισμοί να πραγματοποιούν τέτοιου είδους έρευνες, επειδή η κατανόηση των σημείων στα οποία αποτυγχάνουν τα συστήματα αποτελεί απαραίτητο μέρος της προσπάθειας να γίνουν ασφαλέστερα. Ένα στοιχείο που προκύπτει σαφώς από αυτές τις αξιολογήσεις είναι το πόσο ικανά έχουν γίνει τα πλέον προηγμένα μοντέλα Τεχνητής Νοημοσύνης. Έχουμε δει αντίστοιχες, υψηλού προφίλ επιδείξεις δυνατοτήτων από την εταιρεία Τεχνητής Νοημοσύνης Anthropic και άλλους οργανισμούς. Αυτό δεν σημαίνει ότι τα ευρήματα είναι ανακριβή, σημαίνει όμως ότι πρέπει να διαχωρίζουμε τα τεχνικά δεδομένα από το επικοινωνιακό και εμπορικό αφήγημα. Οι εταιρείες Τεχνητής Νοημοσύνης επωφελούνται από τις αφηγήσεις γύρω από την αυξανόμενη ισχύ της μηχανικής νοημοσύνης. Οι κορυφαίες εταιρείες του κλάδου έχουν, επομένως, ένα φυσικό κίνητρο να δείχνουν ότι τα μοντέλα τους διαθέτουν εντυπωσιακές δυνατότητες, ενώ παράλληλα αποδεικνύουν ότι αντιμετωπίζουν σοβαρά την ασφάλεια. Τα δύο αυτά στοιχεία δεν αλληλοαναιρούνται. Η αναγνώρισή τους, ωστόσο, μας βοηθά να ερμηνεύουμε τέτοιες ανακοινώσεις με πιο κριτικό τρόπο. Δεν πρόκειται για μια ιστορία σχετικά με μια Τεχνητή Νοημοσύνη που δραπέτευσε. Πρόκειται για μια ιστορία σχετικά με ανθρώπους που άφησαν ανοιχτή την πόρτα. Καθώς τα συστήματα Τεχνητής Νοημοσύνης γίνονται ολοένα καλύτερα στο να βρίσκουν απρόβλεπτες διαδρομές προς τους στόχους τους, οι αρχιτεκτονικές ασφαλείας μας πρέπει να γίνουν εξίσου αποτελεσματικές στο να διασφαλίζουν ότι καμία τέτοια διαδρομή δεν θα παραμένει διαθέσιμη. * Ο Oli Buckley είναι καθηγητής Κυβερνοασφάλειας στο Loughborough Cyber Institute του Πανεπιστημίου του Λάφμπορο της Μεγάλης Βρετανίας. Το άρθρο του αναδημοσιεύεται αυτούσιο στο Liberal, μέσω άδειας Creative Commons, από τον ιστότοπο TheConversation.com. Κώστας στάλθηκε από το iPhone μου -- Για να στείλετε ένα μήνυμα και να το διαβάσουν όλοι οι συνδρομητές της λίστας μπορείτε να το στείλετε την διεύθυνση: orasi@googlegroups.com   Για το αρχείο της λίστας μπορείτε να επισκεφθείτε τον σύνδεσμο: https://www.mail-archive.com/orasi@googlegroups.com/maillist.html --- Λάβατε αυτό το μήνυμα επειδή έχετε εγγραφεί στην ομάδα "orasi" των Ομάδων Google. Για να απεγγραφείτε απ' αυτή την ομάδα και να σταματήσετε να λαμβάνετε μηνύματα ηλεκτρονικού ταχυδρομείου απ' αυτή, στείλτε ένα μήνυμα ηλεκτρονικού ταχυδρομείου στη διεύθυνση orasi+unsubscr...@googlegroups.com. Για να δείτε αυτή τη συζήτηση, επισκεφτείτε το https://groups.google.com/d/msgid/orasi/65606EBC-E72D-4140-98C4-EA0D0688FCC3%40icloud.com.