Data streaming per l’azienda in tempo reale

“Le organizzazioni oggi dispongono di dati generati da una quantità potenzialmente illimitata di fonti interne ed esterne. È quasi impossibile regolarne la struttura, l’integrità, controllare il volume o la rispettiva velocità.” Così Diego Daniele, Regional Director Italy di Confluent, società operativa in ambito piattaforme dati, introduce lo scenario di riferimento quando si parla di trasformazione digitale delle aziende. L’idea è che, in passato, l’infrastruttura legacy era molto più strutturata perché aveva solo una manciata di fonti che generavano dati, mentre l’intero sistema potrebbe essere progettato in modo da specificare e unificare i dati e le loro strutture. “Con l’avvento dei sistemi di stream processing, il modo in cui elaboriamo i dati è cambiato in modo significativo per stare al passo con i requisiti moderni. Le aziende di oggi semplicemente non possono aspettare l’innesco dei processi batch”, prosegue Daniele.

Il contesto evidenziato è di fatto quello in cui le aziende che fanno affidamento su enormi quantità di dati per potenziare i propri modelli di business hanno bisogno di dati e analisi in tempo reale per ottenere enormi vantaggi, tra cui customer experience più personalizzate, analisi predittiva delle frodi e molto altro. Tuttavia, poiché il volume di dati generato da tutta questa attività continua ad aumentare, i sistemi dati legacy faticano a tenere il passo e sta emergendo un nuovo paradigma di piattaforme e architetture di dati moderne. Inoltre, le autorità di regolamentazione continuano a fissare obiettivi avanzati in materia di governance, verificabilità e trasparenza, portando a complesse sfide tecniche.

“Di conseguenza, le aziende che per una varietà di casi d’uso trasformativi utilizzano piattaforme di ‘data streaming’ e architetture ‘event-driven’ per elaborare e accedere ai propri dati in tempo reale, stanno generando valore e ottenendo un vantaggio sul mercato. In questo senso il data streaming è il primo passo per qualsiasi organizzazione basata sui dati, alimentando l’acquisizione, l’integrazione e l’analisi in tempo reale dei big data”, sottolinea Daniele.

Il data streaming nel dettaglio

Per ‘data streaming’ si intende una tecnologia di gestione dei dati in tempo reale che consente l’elaborazione di flussi continui di dati non appena vengono generati. “Con ogni settore che diventa dipendente dal ‘data streaming’, oggi sistemi di streaming come Apache Kafka e Confluent sono utilizzati in ogni settore. Parliamo di scambi di azioni in tempo reale, gestione dell’inventario in real time, social media feed, interazioni di gioco multiplayer e app per richiedere un taxi”, puntualizza Daniele facendo anche un esempio. “Quando un passeggero chiama tramite app un taxi, flussi di dati in tempo reale si uniscono per creare un’esperienza utente senza soluzione di continuità. Attraverso questi dati, l’applicazione riunisce il monitoraggio della posizione corrente, le statistiche sul traffico, i prezzi e i dati in tempo reale (e quelli storici) per abbinare simultaneamente il cliente al miglior conducente possibile, calcolare i costi e stimare il tempo per arrivare a destinazione.”

Tutto questo, tuttavia, pone anche alcune sfide tecnologiche e di processo che vanno superate al fine di trasformarsi in a una vera impresa in tempo reale. Ecco che, secondo Confluent, per conseguire questo obiettivo serve una moderna architettura dati comprensiva della ‘Data in Motion’ come requisito chiave. “Questo aiuta le organizzazioni a connettersi, elaborare e reagire in tempo reale ai propri dati per potenziare le applicazioni in tutta l’azienda. Apache Kafka è diventato lo standard del settore per questa infrastruttura, ampiamente utilizzato e considerato affidabile da oltre il 70% delle realtà Fortune 500. Mentre le aziende possono scegliere di gestire e fornire supporto su Kafka internamente, spesso incontrano la sfida aziendale di gestire un’infrastruttura dati di basso livello, che richiede Fte (full time equivalent) qualificati e investimenti di risorse. Si rendono presto conto che non è facile gestire l’infrastruttura dati o creare e mantenere strumenti fondamentali per una tecnologia open source, e la crescente attenzione e le risorse di cui ha bisogno diluiscono la capacità di innovare ed evolvere il business.”

Il percorso da compiere e le competenze da avere

Ogni azienda ha le sue esigenza e deve intraprendere una serie di azioni per perseguire un’efficace strategia basata sui dati, con relative soluzioni e approccio da seguire. Ecco che Daniele sottolinea come l’architettura dati è rigida, complicata e costosa, il che rende troppo difficile, lenta e a volte proibitiva la trasformazione digitale. Le organizzazioni devono quindi adottare un’architettura flessibile che sia collegabile, distribuita, real time e reattiva. “Se le aziende non hanno il tempo e le risorse per adottare, creare e gestire autonomamente flussi di dati e pipeline, dovrebbero utilizzare soluzioni ‘fully managed’ che offrano una piattaforma completa di data streaming di livello enterprise che consenta alle aziende di connettersi, elaborare e reagire ai propri dati in tempo reale. Confluent offre in tal senso un’esperienza cloud native, completando Kafka con un set olistico di funzionalità di livello enterprise per: aumentare la produttività degli sviluppatori, operare in modo efficiente su larga scala e soddisfare i requisiti architetturali delle organizzazioni prima di passare alla produzione. Su questo tema invitiamo a leggere il nostro ebook ‘Un modo 10 volte migliore di superare le difficoltà di gestione di Kafka’. Alla base della piattaforma c’è il nostro Sla con tempo di attività del 99,99% e l’esperienza guidata dai nostri committer che fornisce supporto e servizi di un team con oltre un milione di ore di esperienza tecnica con Kafka. Qualcosa difficile da replicare internamente alle aziende.” A quello della tecnologia si affianca il tema delle competenze che entrano in gioco nella gestione e costruzione di flussi di dati e pipeline. Su questo versante Daniele ritiene che le organizzazioni che costruiscono e gestiscono autonomamente pipeline e data flow hanno bisogno di ingegneri esperti di Kafka. Devono avere forti capacità di programmazione e algoritmica ed essere competenti in uno dei principali linguaggi di programmazione come Java, Go, C/C++, Python, e coì via. Dopo di che si tratta di esperienza.

“Questi ingegneri hanno bisogno di esperienza nell’utilizzo di diversi strumenti e piattaforme per progettare, creare e supportare sistemi di back-end in produzione con una solida conoscenza delle buone pratiche di ingegneria del software quali revisioni del codice, profonda attenzione alla qualità, alla governance e documentazione. Gli ingegneri che desiderano imparare Kafka per la prima volta o diventare esperti nella creazione e gestione di pipeline di dati in streaming possono seguire corsi gratuiti sul sito developer.confluent.io o seguire corsi online su piattaforme di apprendimento e insegnamento online come Udemy.com e Skillshare.com”, continua il manager italiano ribadendo che gli ingegneri che creano pipeline di dati in streaming e supportano internamente Kafka spesso incontrano la sfida aziendale di gestire l’infrastruttura di dati di basso livello.

“È qui che aziende come Confluent possono fornire una piattaforma di data streaming di livello enterprise completamente gestita in grado di connettere la tua azienda attraverso team ed infrastrutture, creando un business unificato in cui tutti possono accedere ai dati di cui hanno bisogno. Ciò consente agli ingegneri di creare facilmente una categoria completamente nuova di applicazioni moderne basate su eventi e in grado di utilizzare i dati in tempo reale, con conseguente miglioramento delle esperienze dei clienti e operations aziendali più efficienti, il tutto con un ragionevole Tco.”

Gli stakeholder di riferimento

Oggi il mercato delle tecnologie in azienda si rivolge a diverse figure che, nel caso dell’ambito coperto da Confluent, si differenziano a seconda delle problematiche da risolvere; quindi professionisti IT quali sviluppatori, operations ed architetti, Executive Tecnologici (come VP o C-level). “I professionisti IT – afferma Daniele – desiderano creare un’architettura dati affidabile, sicura e scalabile per semplificare lo sviluppo di applicazioni di streaming. Sebbene Kafka sia fondamentale per il moderno stack di dati, l’open source Kafka da solo non offre tutto ciò di cui hanno bisogno immediatamente e presenta molte sfide, costi nascosti e rischi che ho menzionato prima. Anche gli sviluppatori Kafka meno esperti potrebbero non avere le conoscenze per aiutare un’organizzazione a gestire autonomamente le proprie data pipeline. Gli Executive IT devono mitigare i rischi, ridurre i costi e aumentare i ricavi e la produttività. L’utilizzo di una piattaforma di data streaming come Confluent può aiutarli a scoprire, fidarsi e comprendere i propri dati per promuovere una maggiore collaborazione e fiducia e garantire quindi una governance end-to-end, rendere il data streaming ed Apache Kafka enterprise-ready e più conveniente tramite un servizio completamente ‘fully managed’, promuovere una maggiore agilità e promuovere la riutilizzabilità dei dati rendendoli disponibili come prodotto self-service, ovunque sia necessario.”

I casi concreti

Esempi di vita reale di data streaming includono casi d’uso in ogni settore. Ecco che Daniele cita in conclusione alcuni esempi, partendo da quello di Michelin che ha scelto Kafka come base per il suo sistema di gestione dell’inventario in tempo reale. “Mantenere internamente l’infrastruttura di Kafka si è rivelato complesso dal punto di vista operativo, dispendioso in termini di tempo e costoso. La multinazionale specializzata sul mercato degli pneumatici ha implementato il servizio Kafka completamente gestito Confluent Cloud per semplificare le operations, liberare flussi di cassa e ottenere la scalabilità e la resilienza necessarie per alimentare il suo sistema di gestione dell’inventario globale nel cloud. Di conseguenza, l’azienda ha stimato un risparmio sui costi del 35% grazie all’utilizzo di Confluent Cloud, rispetto alle operations on-premise.” Un altro caso di studio è quello di Instacart, che durante la pandemia ha guadagnato mezzo milione di nuovi clienti in poche settimane e aveva bisogno di servire ciascuno di loro con disponibilità in tempo reale.

“La società di delivery ha implementato Confluent Cloud per costruire nuovi sistemi e mantenere attivo il flusso del cibo negli Stati Uniti, supportando 10 anni di crescita in sei settimane attraverso 59.000 location. Ha quindi creato una piattaforma di streaming di dati scalabile in modo che i clienti possano vedere la disponibilità dell’inventario e ottenere ciò che vogliono, quando lo desiderano.” Infine, nel settore dei servizi finanziari, altamente regolamentato, la Royal Bank of Canada (RBC), la più grande banca del Canada, ha implementato Confluent Platform per il data streaming in real time, la migrazione a un’architettura basata su eventi e l’avvio di una trasformazione dei microservizi. “RBC è stata in grado di ridurre notevolmente i costi, aumentare l’efficienza nella creazione di applicazioni, ridurre i tempi di rilevamento delle anomalie da settimane a secondi e implementare il riutilizzo dei dati tra i team per informazioni aziendali pertinenti”, conclude Daniele.