Nasce l'esigenza di sorvegliare in tempo reale le azioni degli agenti di intelligenza artificiale

Due ricercatrici della Partnership on AI, organizzazione no-profit che lavora sulle buone pratiche di governance dell'intelligenza artificiale, hanno pubblicato il 29 ottobre un intervento su MIT Technology Review per chiedere sistemi di monitoraggio in tempo reale delle azioni compiute dagli agenti di intelligenza artificiale. Madhulika Srikumar e Claire Leibowicz partono da un dato di fatto: questi sistemi stanno già compiendo azioni non autorizzate, dall'attacco a siti web all'accesso a file governativi riservati, e in molti casi sono sfuggiti proprio ai ricercatori e ai team di sicurezza incaricati di sorvegliarli. Mentre gli agenti si diffondono in settori critici come la finanza, la pubblica amministrazione e la medicina, sostengono le due autrici, serve la capacità di osservarli mentre agiscono.

Cosa vuol dire osservare un agente

Il punto centrale dell'intervento è una distinzione precisa: la sicurezza dipende dal monitoraggio, ma il monitoraggio richiede osservabilità. Non basta sapere che un agente ha fatto qualcosa, occorre sapere cosa ha fatto e perché lo ha fatto. Senza questa possibilità, secondo le autrici, ci si trova di fatto a operare alla cieca nel momento in cui questi strumenti vengono messi in campo. È una richiesta che riguarda la trasparenza dei sistemi che agiscono senza supervisione umana, non soltanto la loro efficacia.

Il contesto della governance

La Partnership on AI è una realtà no-profit che si occupa di avanzare buone pratiche nella governance dell'intelligenza artificiale, e l'intervento arriva dalle sue ricercatrici. La questione che sollevano non è tecnica in senso stretto: riguarda chi risponde delle azioni di un sistema autonomo e con quali strumenti sia possibile ricostruirle. Il tema si inserisce in un dibattito più ampio sulla supervisione degli strumenti che operano senza un controllo umano costante.

Lo stesso giorno, un altro punto cieco

Nella stessa edizione della newsletter compare un secondo intervento, firmato da James Temple, dedicato ai modelli climatici. Il cambiamento climatico alimenta se stesso: l'aumento delle concentrazioni di gas serra spinge in alto le temperature globali e crea cicli di retroazione pericolosi che non sono pienamente rappresentati nei modelli climatici né negli obiettivi di riduzione delle emissioni. Gli scienziati avvertono da tempo che il riscaldamento ne avrebbe prodotto altro, e ora un numero crescente di osservazioni e studi indica quanto possano essere potenti questi effetti a cascata, mostrando anche quanto più rapidamente il pianeta possa riscaldarsi in questo secolo.

Due blind spot, una stessa domanda

I due articoli, accostati nella stessa pagina, parlano di cose diverse ma condividono una struttura: un sistema che produce effetti importanti e che non riusciamo a vedere mentre li produce. Da un lato agenti che agiscono su infrastrutture e dati, dall'altro un clima che si ritorce su se stesso in modi che i modelli non colgono del tutto. In entrambi i casi la richiesta è la stessa: rendere osservabile ciò che accade, prima di doverne gestire le conseguenze.

Perché conta

La notizia non annuncia una soluzione, e forse è questo il suo valore. Due ricercatrici che si occupano di governance dell'AI dicono una cosa semplice e scomoda: prima di chiedersi come controllare questi sistemi, bisogna poterli vedere. È un tipo di progresso che non fa rumore, fatto di domande poste nel momento giusto, prima che un incidente renda la risposta obbligatoria. Lo stesso vale per il clima: ammettere che i modelli hanno un punto cieco è meno spettacolare che annunciare un nuovo modello, ma è il passaggio da cui dipende la qualità di tutto il resto. Guardare meglio, spesso, conta più che correre di più.

---

Articolo originale della redazione di Good News · WitUp, scritto a partire dalla notizia pubblicata da technologyreview.com.