Nascondi la trascrizione automatica
Per Radio Radicale siamo in collegamento con Corrado Giustozzi che uno dei più grossi, i massimi esperti italiani di cybersecurity per parlare con lui di un caso che sta facendo molto discutere la notizie che due modelli di OpenAI hanno violato una startup o il sito di una startup laughing Phase,
E e che lo hanno fatto e che lo hanno fatto da soli, senza la guida umana, mentre agiva nell’ambiente.
Isolato. Si tratta di un modello di OpenAI che è ancora in fase di sviluppo, che hanno scoperto una vulnerabilità 0 day. Allora io volevo chiedere a Corrado Giustozzi il significato di questa di questo caso
è il primo che di cui lei viene a conoscenza
E soprattutto che Bill che valutazione possiamo fare di quello che sappiamo,
I valori, quando sicuramente interessante è il primo e temo che non sarà l’ultimo.
Di di una, diciamo possibile, serie di istituzioni analoghe e le valutazioni che si possono fare sono soltanto di carattere generale, perché ancora non ci sono dettagli specifici tecnici su ciò che è successo, ma
Diciamo, è importante appunto riflettere soprattutto in termini generali, a prescindere dagli aspetti tecnici, e si possono fare diversi orsi ordini di considerazioni, uno che mi sembra forse quello più importante è che sistemi del genere
Sono estremamente complessi e, soprattutto si stanno sviluppando con una velocità.
Talmente elevata cioè il buon vecchio ChatGPT ci sembra una roba della preistoria sono passati mentre una manciata di di mesi no di anni da quando è uscito e i modelli che ci sono adesso sono estremamente più sofisticati
è così tanto sofisticati da non consentire più neanche loro creatori, la comprensione esatta di che cosa fanno. Questo è vero in generale per ogni modello moderno di Ajay, che è caratterizzato da quella che viene chiamata proprio tecnicamente in ex spicchio avviliti e la impossibilità da parte del modello di spiegare cosa sta facendo perché ha preso una certa decisione e quindi anche una difficoltà da parte di chi li usa e li li crea. Gli governa di appunto comprendere il funzionamento e controllate sarà sempre peggio perché i nuovi modelli vengono sviluppati dai modelli precedenti ormai non vengono più sviluppati dalle persone e quindi sono sempre più opachi sempre più complessi. È sempre più incomprensibile
E questo è un aspetto, proprio come dire ontologico
Lo che?
Forse non non aveva sbagliato il suo approccio nel normare l’AI con le Ajay Act, perché il concetto dell’Unione.
Quello di agire con prudenza, andare un po’con i piedi di piombo perché siamo di fronte a tecnologie
Che non governiamo pieno, che non comprendiamo bene, di cui non conosciamo a fondo tutti i possibili aspetti e in rapidissima evoluzione e quindi andarci un po’coi pieni piedi più o meno, imboccando un po’un principio di di prudenza, tutto sommato non è sbagliato questo da un lato, dall’altro lato, vediamo in azione proprio al loro meglio,
I cosiddetti sistemi Ajay agenti. C quindi che stanno cose che hanno la un po’, come per citare no un il vecchio 007 hanno la licenza di uccidere e sono operativi nel mondo reale, quindi si limitarono a dare risposte a scrivere testi
Analizzare i documenti, eccetera, eccetera, ma materialmente operano qualche cosa nella vita reale, questo
Doveva non so testare pool.
Quello che era la sua Messi gli è riuscito a sfuggire ai guardrail, quindi a quei comandi che.
Più di azione, di un modello di AI comandi in impostati no da da chi li usa per evitare che il modello, come dire.
E vada fuori controllo, ma questo modello è riuscito a deludere questi controlli sono un po’come le leggi della robotica di Asimov Silvia, non devi fare questo, non devi fare quell’altro e forse per eccesso di zelo, quindi per effettivamente trovare le violazioni di sicurezza le ha trovate ma le ha trovate nel modo peggiore quindi di fatto attaccando, sabotando la zia io temo e fenomeni casi come questi,
Si ripeteranno perché, ahimè, il mondo vede regole il controllo dell’AI come un freno allo sviluppo
Alla competitività, al progresso e quindi non vede di buon occhio queste regole di prudenza che vengono da qualcuno invocate, però, nel momento in cui un modello idea e si mette a fare cose in un ambito sensibile, vi parliamo di violazione Sabel ceo di un’azienda ma potrebbe essere un modello che controllano sugli scambi ferroviari professor industriale no,
Ecco un deragliamento dal suo comportamento atteso. Potrebbe portare effetti collaterali molto più gravi di quello che abbiamo visto adesso che già di per sé, almeno concettualmente piuttosto grave, dunque in è il modello che si stava utilizzando de dal che stava utilizzando OpenAI Raggi picchi per 5.6 sol
Che è un un sistema che, che non è ancora di uso comune, era in fase di sperimentazione.
Eh sì, questo è, è quello diciamo, che è emersa una situazione.
E questo può essere un’aggravante nel senso che un sistema sperimentale, quindi ancora non perfettamente conosciuto, che è stato, eccetera, forse dovrebbe essere usato in modo più prudente, però da quello che si legge il sistema è riuscito a eludere le protezioni su 100 di loro stavano agendo anche bene in un ambiente isolato
Questo è quello che hanno detto, poi diciamo, significa il giusto.
Ambiente isolato può voler dire veramente qualunque cosa no, quindi bisognerebbe capire esattamente se era isolato, proprio fisicamente sarà isolato, logicamente e quindi semplicemente a meno di alcuni comandi tipo nel fare questo, non andare lì, però poi non c’era di fatto nessuna barriera o no la differenza tra un passaggio a livello e un semaforo e entrambi servono a limitare,
La circolazione su di un veicolo, ma il passaggio a livello è una barriera che ferma fisicamente il veicolo. Un semaforo conta sulla buona volontà dell’automobilista che si deve fermare alla Croce Rossa. Quindi, quando parliamo di sistema isolato, di regole, ecco, bisogna capire bene quali erano. Allora io volevo chiederti questo, allora il fatto che l’abbia fatto OpenAI obbligava a OpenAI che
è fatta questa fama di anche giuridica, di il sistema di intelligenza artificiale, no profit che in qualche modo ed è fosse obbligata a comunicare questo diciamo incidente e che altri non erano tenuti a comunicarlo, cioè secondo te c’erano stati altri casi precedenti
Ritieni che, per esempio, con Mythos non sia accaduta una cosa di questo genere nel sistema finanziario e chi lo aveva in mano non ha detto nulla.
Siamo ovviamente nel campo delle congetture e la mia impressione è sì.
Molto probabile anche qui, se fosse successo in Europa, una cosa del genere sarebbe successa all’interno di un regime normativo, eccetera, molto rigoroso, che avrebbe obbligato determinati liquidi comunicazione in paesi all’esterno dell’Europa dove non ci sono delle norme specifiche,
E c’è da aspettarsi questo ed altro
Poi attenzione, stiamo parlando comunque di società in qualche modo no trasparenti
Etiche o, insomma, ci tengono a questo aspetto, non dimentichiamo che ci sono e che quindi diciamo, mettono all’interno dei loro sistemi dei guardrail
Cercano di avere cura di isolare i sistemi, eccetera. Non ci dimentichiamo che ci sono in altre parti del mondo, sono nell’Europa negli Stati Uniti e società, organizzazioni in modelli che by design non hanno no queste salvaguardie e che quindi possono usare anche peggio
E forse?
Accaduto in Europa, ci sarebbe stata una un organismo terzo in grado di capire che era successa una cosa di questo genere, come l’Agenzia per la cybersecurity, oppure è impossibile da tracciare un errore, c’è un un’azione autonoma di un agente AI
Ma allora tutte le agenzie e non è che hanno come bacchetta magica, lì sotto la bacchetta magica, la palla di cristallo e sensori dovunque no, e quindi vengono a conoscenza di situazioni o perché sono plateali no, si è affermato una centrale elettrica, è chiaro che se ne accorge tutti, e allora poi si va a chiedere come mai ti sei fermato e viene fuori la magagna, altrimenti se ne accorgono per via delle segnalazioni in Europa così come succede con il Gdpr da tempo, come succede con la direttiva nisseno, chi opera in determinati settori ha l’obbligo di notificare alle autorità
Gli incidenti, le anomalie, proprio per consentire al sistema di come dire, non giocare al buio di comprendere che cosa sta succedendo, poter intervenire e poter migliorare le regole, oltre che chiaramente puntualmente agire per risolvere lo specifico incidente. Quindi e il regime europeo, proprio alla luce di quel principio di cautela di prudenza che citavo prima,
Impone tutta una serie di misure, appunto anche di sorveglianza e di controllo di reporting, quindi di notifica alle autorità competenti che altrimenti, appunto, non hanno la bacchetta magica in altre parti del mondo. Questo non c’è e si lascia tutto quanto questo punto alla responsabilità civile. No, in America, come sappiamo o no, il sistema,
Normativo è molto diverso dal nostro sostanzialmente gli funziona che tutti possono più o meno fare tu ti do tutto, però, se fai danni a qualcuno paghi, carissimo, non c’è, diciamo una sorta di controllo preventivo di vigilanza preventiva da parte delle autorità. Insomma, è abbastanza raro
OpenAI ha fatto sapere che sta rallentando la ricerca per rafforzare i controlli, è credibile questa affermazione di Iovene AI?
Soba sappiamo qual è la concorrenza in questo settore,
è credibile questa affermazione
Ah, diciamo, mi auspico che sia vera.
Non risolve il problema, perché per un OpenAI che magari o perché è etica, buono eccetera, o perché più prosaicamente, ha paura di sanzioni, di cause, eccetera, eccetera, comunque ha capito che magari stava correndo troppo e deve migliorare un po’la parte di controllo, ecco, per uno dei paninari che fa una cosa del genere ci saranno decine di altre società,
Che non lo fanno perché non hanno le stesse motivazioni, perché magari vivono in territori del pianeta dove le priorità sono altre dove le regole sono diverse e quindi non non rispettano alcune regole che poi sono anche quelle no del vivere comune, no del vivere in pace senza fare troppi danni agli altri.
Prima di questo incidente aveva sentito parlare di casi analoghi o comunque aveva avuto il sospetto che, visto che non ci cioè si è detto che non ci sono precedenti, aveva avuto il sospetto che fosse già successo in altri casi.
Ma diciamo che, siccome questo no ecco al di là, per esempio, di di situazioni in cui è stato coinvolto Mythos, ma che, insomma, non almeno non sono emersi casi simili, quasi in cui AI agenti che hanno fatto danni di scala molto inferiore o naturalmente però che ce ne sono tanti,
In azienda normali, cioè che che usano con grande disinvoltura direi anche un po’incoscienza, e agli agenti che ha.
Sono già gravità dei casi di sistemi che automaticamente a non lo so comprato biglietti aerei.
Per un dirigente aziendale che in realtà non li aveva chiesti oppure hanno fatto cose con impatto materiale, no, nulla di gravissimo
Però ecco
Il diciamo il segnale che questi sistemi dotati di troppa autonomia operativa possono fare pasticci, perché ancora non li comprendiamo, fondo già emerso da un po’di te.
La ringrazio molto della sua disponibilità, ringrazio Corrado Giustozzi, uno dei massimi esperti italiani di cybersecurity col quale abbiamo parlato del del caso.
OpenAI Hugging Face che riguardava la, la sperimentazione di un di un modello di OpenAI in ambiente isolato, che ha agito autonomamente sfuggendo al controllo umano, entrando in Ugyen face la ringrazio molto per aver commentato questo primo precedente, grazie a Corrado Giustozzi, grazie a voi non piacciono,
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
Source link
