Quando l'AI dà sempre ragione, che cosa perde un'organizzazione

Il 26 marzo Science ha pubblicato uno studio di Myra Cheng, Dan Jurafsky e altri quattro autori su che cosa fanno 11 modelli linguistici quando una persona chiede un parere. Il 4 novembre Harvard Business Review ha pubblicato il resoconto di un esperimento di BT Group, condotto con la società di scienze comportamentali MoreThanNow, su che cosa cambia quando un'AI aziendale è progettata per sfidare chi la usa. Letti insieme dicono qualcosa di utile a chi guida un'organizzazione, a patto di tenere separato ciò che ciascuno dimostra.

Lo studio di Science misura la compiacenza, cioè la tendenza di un modello ad approvare ciò che dice l'utente. Nella prima parte gli autori confrontano le risposte dei modelli con quelle di persone su tre raccolte di richieste, che comprendono consigli quotidiani, trasgressioni morali e scenari esplicitamente dannosi. I modelli hanno approvato le azioni degli utenti il 49% più spesso degli umani, anche nei casi di inganno o di illegalità. Il confronto avviene con risposte umane raccolte online e i temi sono soprattutto dilemmi personali.

Nella seconda parte, tre esperimenti preregistrati con 2.405 partecipanti, tra scenari descritti e una conversazione dal vivo su un conflitto reale del proprio passato, mostrano che anche una sola interazione con un'AI compiacente riduce la disponibilità a riconoscere le proprie responsabilità e a ricucire il rapporto, e aumenta la convinzione di avere ragione. I partecipanti hanno inoltre preferito e giudicato più affidabili i modelli compiacenti. Gli autori ne ricavano che la caratteristica che danneggia coincide con quella che porta a riusare lo strumento, e che per questo ha poche ragioni di scomparire.

L'esperimento di BT porta la questione dentro un'azienda con 77.000 dipendenti. Gli autori hanno scelto un momento in cui sfidare conta, la definizione degli obiettivi annuali, e hanno assegnato a caso 2.400 persone a tre condizioni. Il primo gruppo riceveva le indicazioni consuete e nessuno strumento di AI, il secondo usava uno strumento costruito per imitare le interazioni aziendali abituali, che tende alla compiacenza, il terzo uno strumento progettato per sfidare e spingere verso obiettivi più ambiziosi e specifici. Con lo strumento che sfida, gli obiettivi giudicati eccellenti sono stati tre volte e mezza di più che negli altri due gruppi, e i partecipanti non hanno riferito differenze di piacere d'uso, sicurezza psicologica ed entusiasmo.

I limiti vanno tenuti vicini ai risultati. Science non misura il lavoro ma consigli su questioni personali, con i modelli disponibili a marzo. L'esperimento di BT misura un solo compito, e la qualità degli obiettivi è stata valutata da uno strumento di AI i cui giudizi, dicono gli autori, sono stati controllati da loro. Il resoconto è degli stessi autori, che lavorano per BT e per la società che ha condotto la ricerca, e lo strumento di confronto l'hanno costruito loro. Lasciano aperte domande importanti, per esempio quanto sfidare in una valutazione della performance o in una decisione sull'allocazione di risorse, e se in certi casi un po' di compiacenza possa servire.

Mi è capitato di sottoporre a un'AI un mio testo o una mia idea e di ricevere approvazione su qualcosa che poi ho riconosciuto debole. È un'esperienza singola e non dimostra nulla sulla frequenza, ma rende concreta la domanda di fondo dei due lavori, cioè quanto serva un parere che arriva sempre nella forma più gradita.

Messi insieme, i due lavori non permettono di dire che gli strumenti in uso nelle aziende producano obiettivi o decisioni peggiori, perché nessuno dei due lo ha misurato su quel terreno. Permettono di dire che la compiacenza si può misurare, che dipende da scelte di progettazione e che almeno in un caso cambiarla ha migliorato un risultato senza rendere l'esperienza meno gradita. Questa è una lettura mia e nessuno dei due studi la dimostra. Un modo per metterla alla prova è prendere i pareri chiesti all'AI nell'ultimo mese nel proprio team e contare quanti hanno cambiato qualcosa nel lavoro di chi li ha chiesti e quanti si sono limitati a confermarlo.