Telecomunicazioni
AT&T migliora la precisione, l'efficienza e le prestazioni degli agenti IA con NVIDIA
Obiettivo
AT&T, una delle più grandi aziende di telecomunicazioni al mondo, sta reinventando il servizio clienti grazie alla potenza dell'IA. Con una vasta base di clienti e un portfolio di servizi digitali in continua crescita, AT&T ha a lungo dato priorità all'innovazione e all'efficienza operativa per soddisfare le aspettative in continua evoluzione della propria clientela. Tuttavia, vista la crescente domanda di supporto personalizzato e sempre attivo, l'azienda sta scalando gli agenti basati sull'IA in tutte le operazioni per offrire un servizio più veloce e accurato. Di fronte a sfide come la deriva dei modelli, le crescenti esigenze computazionali e la necessità di accedere ai dati in tempo reale, AT&T ha puntato su NVIDIA AI Enterprise, NVIDIA NIM e sui microservizi NVIDIA NeMo™ per creare una piattaforma IA basata sui feedback in grado di migliorare continuamente le prestazioni, ottimizzando costi, velocità e conformità.
Scalare gli agenti IA nell'ambito del servizio clienti grazie alla strategia del volano di dati
AT&T ha sviluppato gli agenti IA “Ask AT&T” per soddisfare le esigenze dei clienti durante l'esecuzione delle operazioni su vasta scala. Questi agenti migliorano notevolmente l'esperienza utente attraverso servizi automatizzati, come l'analisi degli account dei clienti per fornire consigli personalizzati e aggiornamenti software, rafforzando al contempo la prevenzione delle frodi e ottimizzando le prestazioni di rete, con una riduzione dell'84% dell'analisi degli indicatori legata ai call center.
Questa iniziativa fa parte dell'ambiziosa strategia di AT&T per implementare decine di casi d'uso IA, con centinaia di altre applicazioni in arrivo.
Per scalare questa ambiziosa idea, AT&T doveva superare le sfide principali: ridurre la latenza, abbassare i costi operativi e migliorare la precisione dei modelli che alimentano questi agenti IA.
Un altro ostacolo era rappresentato dal cosiddetto drift di accuratezza dei modelli. Con quasi 10.000 documenti che vengono aggiornati più volte a settimana, è fondamentale che gli agenti IA siano al passo con le informazioni più recenti per rimanere efficaci.
Per affrontare questo problema, AT&T ha sfruttato la strategia del volano di dati, un loop di feedback continuo che garantisce che i sistemi multi-agente siano sempre aggiornati e offrano costantemente prestazioni di picco.
Punti chiave
Dai costi alle prestazioni: come AT&T affronta le sfide legate alla distribuzione dell'IA
Una delle sfide più importanti che AT&T ha dovuto affrontare è stata ridurre la latenza e i costi legati alla crescente adozione dell'IA. Poiché sempre più applicazioni si affidano a soluzioni basate sull'IA, le esigenze di calcolo sono aumentate, rendendo cruciale mantenere prestazioni elevate e ottimizzare al contempo l'efficienza. Trovare il giusto equilibrio tra velocità e costi è diventato essenziale per avere operazioni IA sostenibili.
AT&T doveva inoltre garantire la disponibilità di dati di alta qualità per l'addestramento e la messa a punto dell'IA. Il processo di selezione e pulizia dei dati era diventato un collo di bottiglia e, senza una preparazione accurata, i modelli rischiavano di essere addestrati su informazioni obsolete o irrilevanti, con un impatto negativo sulla loro precisione e affidabilità.
Un'altra preoccupazione urgente era gestire la complessità dei sistemi di IA multi-agente. Gli agenti IA dovevano adattarsi ed essere ottimizzati continuamente per allinearsi all'ambiente aziendale dinamico di AT&T. Garantire che questi modelli rimanessero pertinenti, sicuri e ad alte prestazioni in tempo reale richiedeva un approccio sistematico al perfezionamento e alla valutazione di tipo continuo.
“Il successo ottenuto nel perfezionamento di questo caso d'uso e di altri simili è bastato per convincerci a creare un'intera piattaforma di ottimizzazione che supporti sia i flussi di fine-tuning degli utenti che quelli differenziati in base alle varie attività.”
Kostikey Moustakas
Director of Data Science presso AT&T
Creare agenti IA ottimizzati e ad alte prestazioni
Per superare queste sfide, AT&T ha collaborato con Quantiphi per sfruttare NVIDIA AI Enterprise, con microservizi NVIDIA NeMo e NIM, per implementare l'approccio del volano di dati per migliorare continuamente le prestazioni degli agenti IA:
- Perfezionamento della qualità dei dati con NeMo Curator: utilizzando NeMo Curator, AT&T ha ripulito e filtrato i dati di addestramento, sfruttando le competenze di dominio e i log storici delle applicazioni. Tecniche come la modellazione degli argomenti e il filtraggio iterativo hanno garantito l'utilizzo di set di dati di alta qualità.
- Personalizzazione dei modelli IA per ottenere le massime prestazioni: AT&T ha provato vari modelli di base, tra cui Mistral, Mixtral e Llama, utilizzando NeMo Customizer. Attraverso un processo di ottimizzazione iterativo, Mistral 7B offriva prestazioni ottimali per il bilanciamento di precisione ed efficienza.
- Implementazione di una valutazione rigorosa: NeMo Evaluator di NVIDIA ha permesso ad AT&T di stabilire un sistema di valutazione affidabile, misurando le prestazioni degli agenti IA attraverso metriche come Rouge, BERT F1, la pertinenza delle domande e la qualità delle risposte. Ciò consente di misurare le prestazioni del modello in base alle metriche più appropriate.
- Azione sulle informazioni più recenti: AT&T ha utilizzato NeMo Retriever per creare pipeline e accedere rapidamente al repository aziendale in modo che gli agenti possano prendere decisioni e agire utilizzando informazioni aggiornate.
- Distribuzione su un'infrastruttura sicura: i modelli vengono distribuiti come microservizi NIM™, che offrono prestazioni di inferenza ottimizzate, supportano API conformi agli standard di settore e offrono la flessibilità necessaria per essere eseguiti su qualsiasi infrastruttura accelerata da GPU.
Ottenere risultati rivoluzionari con l'ottimizzazione dell'intelligenza artificiale
L'implementazione dei microservizi NVIDIA NIM e NeMo ha portato significativi vantaggi in termini di prestazioni e risparmi sui costi, mantenendo al contempo scalabilità e conformità di livello aziendale:
- Precisione IA migliorata: le risposte degli agenti IA hanno mostrato un miglioramento della precisione fino al 40% nelle metriche chiave post-training, in particolare nei punteggi Rouge e BERT F1.
- Latenza inferiore: l'implementazione di modelli leggeri e ottimizzati ha permesso ad AT&T di ridurre i costi di calcolo mantenendo al contempo risposte di alta qualità.
- Miglioramento dell'IA sostenibile: l'approccio del volano di dati ha facilitato l'apprendimento continuo, garantendo agli agenti IA di adattarsi all'evoluzione delle esigenze aziendali e al feedback degli utenti.
L'implementazione di Ask AT&T con NVIDIA NIM e NeMo ha permesso di ridurre i costi di analisi dei call center dell'84%.
Il percorso verso il futuro: innovazione IA scalabile e basata sui feedback
Per il futuro, AT&T mira a centralizzare un loop di feedback per perfezionare continuamente la qualità degli agenti di intelligenza artificiale. Integrando un sistema di valutazione ibrido, che sfrutta sia i revisori umani che i modelli IA per la valutazione della qualità, AT&T punta ad assicurarsi che il proprio ecosistema IA risponda alle esigenze aziendali.
Inoltre, AT&T, in collaborazione con Arize AI, sta automatizzando l'identificazione e la gestione delle interazioni IA complesse. Ciò garantisce che i modelli siano rigorosamente valutati e ottimizzati in base ai feedback del mondo reale, migliorando ulteriormente la precisione e la conformità dell'IA.
Perfezionando i propri agenti IA con NVIDIA NeMo e le funzionalità avanzate di NIM, AT&T non solo sta migliorando l'efficienza operativa, ma sta anche stabilendo un nuovo punto di riferimento per le soluzioni IA scalabili e adattive.
Crea e potenzia i tuoi agenti IA con un volano dati per ottenere prestazioni ottimizzate e di picco utilizzando i microservizi NVIDIA NeMo.