· Good News

Un nuovo rapporto METR mostra che le capacità dell'IA crescono ancora in modo esponenziale

L'organizzazione no-profit di valutazione METR ha aggiornato il suo studio sulle prestazioni dei modelli di intelligenza artificiale. I dati indicano progressi costanti in alcune aree, ma anche limiti sui compiti che richiedono giudizio.

L'organizzazione no-profit METR, che si occupa di valutare le prestazioni dei sistemi di intelligenza artificiale, ha pubblicato il 20 novembre 2026 un aggiornamento del suo "time horizon plot", il grafico che misura quanto a lungo i modelli riescono a portare avanti un compito prima di fallire. Il nuovo rapporto conferma che alcune capacità continuano a crescere lungo una traiettoria esponenziale, ma segnala anche che i modelli restano più deboli sui compiti che richiedono giudizio rispetto a quelli in cui eccellono, come la programmazione. Il grafico originale era diventato virale ma era stato anche largamente frainteso, per la complessità delle misure che utilizzava.

Come funziona la misura

METR valuta i modelli sottoponendoli a un'ampia serie di compiti che erano già stati completati da esseri umani. La difficoltà di ogni compito viene stimata in base al tempo impiegato dai tester umani per portarlo a termine, e i modelli vengono poi classificati in base alla durata dei compiti che riescono a completare. Il grafico precedente mostrava che la lunghezza dei compiti portati a termine dai modelli di frontiera raddoppiava ogni quattro mesi. L'aggiornamento aggiunge nuovi compiti: alcuni stimati molto più lunghi di quelli della serie originale, altri più aperti e meno definiti.

Il nodo dei compiti verificabili

Uno dei temi centrali del dibattito attuale riguarda quanto i progressi sui compiti "verificabili" — quelli in cui è possibile controllare automaticamente se un sistema ha avuto successo o meno — si trasferiscano ai compiti in cui il successo è più difficile da misurare. Il reinforcement learning, la tecnica con cui si addestrano le reti neurali facendo tentare più volte un compito e rafforzando i percorsi che portano al successo, funziona bene proprio dove l'esito è controllabile: per questo i sistemi sono diventati molto capaci nel coding e nella matematica. Applicare lo stesso metodo a compiti meno definiti, come scegliere una nuova direzione di ricerca, è molto più difficile, e per la stessa ragione è complicato valutarne le prestazioni.

Cosa dicono i nuovi test

METR ha incluso nella nuova serie alcuni compiti legati al giudizio, rilevanti per l'automazione della ricerca e dello sviluppo in ambito IA. In uno di questi, ai modelli viene chiesto di progettare nuove valutazioni che METR potrebbe usare nelle proprie ricerche, e i risultati vengono poi giudicati dai dipendenti dell'organizzazione. Nonostante i modelli più avanzati siano ormai migliori di quasi ogni essere umano nell'ingegneria del software, nessuna delle valutazioni progettate dall'IA è stata considerata utile per la ricerca. In un altro compito, i modelli devono valutare argomentazioni filosofiche: anche qui sono rimasti sotto le prestazioni umane.

Segnali di miglioramento

Il quadro non è però statico. Alcuni dei modelli più recenti, come Opus 5.5, tendono a raggiungere quello che METR definisce un livello "al limite della soglia" nei compiti di progettazione delle valutazioni: non ancora utilizzabili per la ricerca, ma promettenti. Appena un anno prima, ogni modello rientrava nella categoria "chiaramente sotto la soglia". Il limite pratico è la difficoltà di costruire e misurare questi test: i tempi di completamento sono in gran parte stimati, perché pagare persone per compiti che potrebbero richiedere centinaia di ore sarebbe troppo costoso, e nel caso delle argomentazioni filosofiche la maggior parte dei giudizi è stata data da una sola persona.

Perché conta

La notizia non è che l'IA abbia superato un nuovo traguardo, ma che la comunità che la misura abbia scelto di guardare anche dove è più scomodo. Per anni le valutazioni si sono concentrate sui compiti verificabili, quelli in cui un punteggio dice tutto; il nuovo rapporto di METR sposta l'attenzione sui compiti aperti, dove il successo è sfumato e il giudizio conta più della velocità. È un progresso che non fa rumore: non un annuncio, ma un ampliamento degli strumenti con cui si prova a capire cosa i modelli sanno davvero fare. Come osserva il linguista e informatico Najoung Kim, il miglioramento osservato dice qualcosa sul momento attuale, ma non è ancora chiaro come estrapolarlo al futuro. E Matt Putz, dello staff tecnico di METR, ricorda che i compiti difficili da verificare restano per loro natura più ardui da studiare e quantificare.

Il valore di questo aggiornamento sta forse proprio qui: nel riconoscere che una misura più onesta, anche quando è meno netta, è più utile di un grafico che sembra dire tutto. Il campo delle valutazioni, come nota il computer scientist Sayash Kapoor, ha bisogno di diventare più creativo, e questa apertura verso compiti aperti è un passo nella direzione giusta, pur con molto lavoro ancora da fare.


Articolo originale della redazione di Good News · WitUp, scritto a partire dalla notizia pubblicata da technologyreview.com.