Cloudera aggiorna Iceberg REST Catalog e Lakehouse Optimizer

Cloudera ha reso disponibili alcuni aggiornamenti per Cloudera Iceberg REST Catalog e Cloudera Lakehouse Optimizer, che rientrano, spiega una nota, nell’impegno dell’azienda a fornire il miglior open data lakehouse basato su Iceberg del mercato. Iceberg REST Catalog fornisce ora l’interoperabilità open necessaria per una condivisione fluida e ininterrotta dei dati, mentre Lakehouse Optimizer aiuterà a garantire che questi siano sempre ottimizzati per tutti i motori che accedono ai dati.

AI e analytics stanno iniziando a mostrare tutto il loro potenziale, ma le imprese si trovano ad affrontare ancora ostacoli significativi: architetture di dati complesse, piattaforme isolate e governance incoerente. Oggi le aziende, sottolinea Cloudera, hanno bisogno di architetture di dati aperte, sicure e interoperabili, che supportino i dati ovunque si trovino per abilitare AI e analytics in tutta l’infrastruttura e tra i diversi motori, evitando inefficaci duplicazioni di dati o limitazioni dovute al vendor lock-in.

“Cloudera è stata tra i primi a muoversi nel mondo dei Big Data ed è ancora oggi uno dei principali provider di piattaforme per la gestione dei dati, continuando a investire per rendere il formato di tabella aperto Apache Iceberg sempre più avanzato per un utilizzo enterprise”, afferma nella nota Leo Brunnick, Chief Product Officer di Cloudera. “Le novità annunciate confermano ancora una volta la nostra promessa di fornire ai clienti flessibilità, scalabilità e insight senza compromessi, quando e dove ne hanno più bisogno”.

Cloudera Iceberg REST Catalog, le novità

Cloudera, continua il comunicato, è il primo e unico fornitore a integrare Iceberg REST Catalog in una piattaforma che gestisce l’intero ciclo di vita di dati e AI. L’accesso basato su REST estende la potenza di Apache Iceberg.

Con questo aggiornamento, tutti i clienti Cloudera su Iceberg potranno condividere i dati in maniera sicura e zero-copy nell’intero ecosistema, beneficiando al contempo di una governance unificata tra cloud o data center.

Ciò consente ai motori di analytics e AI di terze parti – come Snowflake, Databricks, AWS Athena, AWS EMR e Salesforce – di accedere direttamente ai dati gestiti da Cloudera, senza doverli copiare o spostare, il tutto in piena conformità ACID e con la garanzia di un’applicazione coerente delle policy tra cloud pubblico, data center e edge.

Tramite Cloudera Shared Data Experience (SDX), poi, i clienti potranno estendere controlli di accesso granulari, lineage e auditing a strumenti di terze parti, acquisendo una governance di livello enterprise e abilitando una democratizzazione sicura dei dati e la conformità su larga scala.

Inoltre, i clienti avranno accesso aperto ai metadati, con la possibilità di scoprire istantaneamente asset di dati senza essere vincolati ai cataloghi proprietari.

Tutti questi miglioramenti riducono il TCO (Total Cost of Ownership) e velocizzano il time-to-value: secondo gli stessi clienti, l’ottimizzazione della visibilità tra le linee di business ha comportato una riduzione fino al 79% dei costi di archiviazione dei dati.

Cloudera Lakehouse Optimizer: le novità

Cloudera Lakehouse Optimizer è un nuovo servizio che consente di automatizzare l’ottimizzazione e la manutenzione delle tabelle per Apache Iceberg all’interno del lakehouse di Cloudera. Il supporto va oltre le funzionalità di manutenzione di base delle tabelle, includendo la riscrittura dei file manifest e di eliminazione della posizione. Ottimizzando in modo intelligente le tabelle, elimina la necessità di attività manuali di gestione dei dati e riduce i costi operativi, consentendo ai clienti di concentrarsi sull’estrazione di insight dai propri dati. I benchmark interni mostrano che questo servizio migliora le prestazioni delle query fino a 13 volte e riduce i costi di archiviazione del 36%.

Cloudera Lakehouse Optimizer è una soluzione aperta, applicabile a ogni motore compatibile con Iceberg su qualsiasi cloud pubblico. Inoltre, fornisce osservabilità e controllo di livello enterprise attraverso un’interfaccia utente unica che consente di definire e modificare le policy a livello granulare per applicarle a una tabella specifica o a un intero catalogo. Nelle versioni future, il servizio sarà reso disponibile on-premise.