Confluent: dati in real time per l’agentic AI

Quando si parla di intelligenza artificiale applicata ai sistemi e alle decisioni aziendali, il real time non è più un dettaglio, ma diventa elemento differenziante, soprattutto quando a operare sono agenti AI. Un agente può infatti prendere decisioni in autonomia, ma per farlo correttamente deve sapere cosa sta succedendo in azienda proprio nel momento in cui interviene. Ma non è cosa semplice quando le informazioni sono distribuite tra applicazioni e database diversi, che vengono aggiornati con tempi e modalità differenti. E va a finire che un sistema rischia di lavorare su dati già superati, prendendo decisioni che non tengono conto di quanto è cambiato nel frattempo. Avere dati aggiornati e coerenti, disponibili nello stesso momento per tutti i sistemi aziendali, è alla base di Streamhouse, la nuova architettura presentata da Confluent, società del gruppo IBM specializzata nel data streaming. Pensata per raccogliere, elaborare e rendere disponibili continuamente i dati aziendali, la soluzione comprende anche nuove funzionalità della Confluent Data Streaming Platform e la disponibilità generale di Lightning Tables, che permette di interrogare direttamente i dati aggiornati in tempo reale, senza dover ricorrere a un database separato.

Nelle architetture tradizionali, data warehouse, data lake e lakehouse raccolgono informazioni provenienti da sistemi differenti, spesso attraverso aggiornamenti periodici. Sono soluzioni adatte all’analisi dei dati storici e alla reportistica, ma quando si basano su elaborazioni periodiche possono mostrare i loro limiti se applicazioni e agenti AI devono reagire immediatamente a un cambiamento. Peggio ancora se poi i processi coinvolgono più sistemi. Una compagnia aerea, per esempio, gestisce la posizione degli aerei, gli orari dei voli e le prenotazioni mediante applicazioni diverse. Se queste informazioni non vengono aggiornate contemporaneamente, un agente AI incaricato di riprogrammare un viaggio potrebbe assegnare un passeggero a una coincidenza che, nella realtà, non esiste più. Situazioni evitabili condividendo tra i diversi sistemi gli aggiornamenti delle informazioni sui voli, sulla posizione degli aerei e sui posti disponibili. L’architettura Streamhouse registra ogni cambiamento come un evento e aggiorna continuamente il quadro operativo a disposizione delle applicazioni, dei sistemi di assistenza e degli agenti AI, affiancandosi ai data warehouse e ai lakehouse già presenti nelle aziende e permettendo di gestire i dati operativi in tempo reale senza doverli prima trasferire e consolidare in un unico ambiente.

Più funzioni in una piattaforma unica

Per gestire tutte queste attività, Confluent ha riunito nella propria Data Streaming Platform cinque funzioni principali, a partire da Stream, che utilizza Apache Kafka e il motore Kora per trasmettere continuamente gli eventi tra sistemi differenti. Connect mette a disposizione oltre 150 connettori per integrare applicazioni e sorgenti dati, mentre Process, basato su Apache Flink, permette di elaborare e arricchire le informazioni mentre vengono generate. La gestione della qualità, della sicurezza e delle regole di accesso è affidata a Govern, che comprende funzioni di catalogazione, tracciabilità e controllo dei dati. A queste quattro si aggiunge Query, che permette ad applicazioni operative, sistemi di analytics e agenti AI di interrogare direttamente le informazioni raccolte ed elaborate dalla piattaforma.

Per rispondere alle esigenze delle diverse applicazioni, Query offre tre modalità di accesso: Tableflow, che rende i flussi disponibili in formati tabellari aperti, come Apache Iceberg, utilizzabili dai sistemi analitici; Real-Time Context Engine, che fornisce agli agenti AI informazioni aggiornate attraverso il Model Context Protocol; Lightning Tables, che consente alle applicazioni di interrogare direttamente i dati attraverso SQL e API.

Dati interrogabili in real time

Disponibile su Confluent Cloud in ambiente AWS, Lightning Tables permette di trasformare i dati raccolti da Apache Kafka in tabelle continuamente aggiornate, che le applicazioni possono consultare direttamente, senza dover ricorrere a database separati. Le informazioni diventano disponibili entro 100 millisecondi dalla loro generazione e possono così essere usate anche nei processi che richiedono risposte immediate, come il rilevamento delle frodi, la personalizzazione dei servizi o la gestione automatizzata delle attività.

Lightning Tables comprende inoltre funzioni per garantire la sicurezza dei dati e gestire eventuali modifiche senza interrompere le applicazioni collegate. Le informazioni aggiornate possono essere utilizzate anche dai modelli di machine learning, per analisi e previsioni basate su quanto sta accadendo in azienda.

Le nuove funzionalità rientrano nella strategia dati di IBM, che integra le tecnologie di streaming di Confluent con le proprie soluzioni per la gestione, la sicurezza e l’utilizzo dei dati negli ambienti cloud e ibridi.