Apache HBase è diventato un progetto di alto livello con Apache 10 anni fa e Cloudera ha iniziato a contribuire ad esso contemporaneamente (2010). In questo tempo, è diventato uno degli strumenti open source più grandi e popolari per i big data e uno dei database NoSQL più popolari.
La Apache Software Foundation annuncia il decimo anniversario di Apache HBase
HBase supporta database NoSQL con valori-chiave e colonne larghe ed è utilizzato da aziende di tutto il mondo. Cloudera ha oltre 500 clienti in produzione che lo utilizzano per casi d'uso che vanno da applicazioni transazionali mission-critical, data warehousing, machine learning e ingegneria dei dati. I nostri clienti scelgono HBase per la sua resilienza (con alcuni clienti in grado di realizzare il 100% di uptime delle applicazioni in molti anni), stabilità, prestazioni e bassi costi operativi. I clienti di Cloudera lo distribuiscono autonomamente, insieme a Phoenix, un database basato su SQL basato su HBase e talvolta con Apache Impala e/o Apache Hive che consente loro di eseguire query OLAP basate su SQL su HBase.
Sono Product Manager per l'offerta di database operativi di Cloudera dal 2018 e ho avuto l'opportunità di incontrare molti dei nostri clienti. Sono continuamente impressionato dall'ampia gamma di modi in cui i clienti utilizzano HBase. L'ampiezza dei casi d'uso è così ampia e varia da sfidare la segmentazione. Dopo molte analisi, ho finito con un approccio semplice per classificare i casi d'uso:i clienti che lo usano per supportare le applicazioni mission-critical e quelli che non lo fanno. Le applicazioni mission-critical tendono ad essere di natura transazionale e aiutano i nostri clienti a incrementare i propri ricavi e/o a incrementare l'efficienza operativa. Per loro, se HBase scende, la linea superiore e/o la linea inferiore viene influenzata e, nel peggiore dei casi, le persone possono morire.
Esempi di casi d'uso mission-critical:
- Un fornitore di software sanitario utilizza HBase per alimentare centinaia di applicazioni. Se queste applicazioni falliscono, per qualsiasi motivo le persone possono morire e le spese sanitarie aumentano. Questo cliente ha implementato HBase su oltre 7.000 nodi con oltre 70 PB di dati.
- Un produttore di telefoni cellulari utilizza HBase per abilitare un assistente vocale e molti altri casi d'uso su oltre 6.000 nodi
- Una casa di media finanziari utilizza HBase per alimentare parti della piattaforma e consente ai trader e ad altri di comprendere il contesto rilevante intorno ai movimenti, alle tendenze, ecc. dei prezzi delle azioni su oltre 1.200 nodi
- Una piattaforma di email marketing leader di mercato esegue HBase su circa 1.000 nodi
- Un assicuratore utilizza HBase su circa 1.000 nodi per archiviare tutte le informazioni sui sinistri e le utilizza per gestire tali sinistri durante tutto il loro ciclo di vita
- Un fornitore di servizi bibliotecari utilizza HBase su oltre 400 nodi per supportare prestiti interbibliotecari in tutto il mondo
- Un'azienda globale di distribuzione di energia utilizza HBase su oltre 400 nodi per acquisire letture da oltre 7 milioni di contatori intelligenti e per eseguire l'implementazione automatizzata di team di riparazione per la rete di distribuzione elettrica, applicazioni di fatturazione elettrica e promuovi la formazione continua dei modelli di machine learning
- La più grande società di telecomunicazioni indonesiana, Telkomsel, con oltre 170 milioni di clienti, ha migrato l'intera applicazione CRM dal database MPP legacy a HBase e Impala ed è stata in grado di ottenere tempi di risposta inferiori al secondo su tutte le query CRM per i singoli utenti record di chiamate, profili, ricariche, utilizzo dei dati, ecc. Il vantaggio di avere Impala per interrogare HBase era garantire un'interfaccia ANSI SQL compatibile accessibile tramite JDBC per ridurre al minimo le modifiche CRM.
Esempi di casi d'uso non mission-critical:
- Un produttore di prodotti per la cura della persona utilizza HBase per gestire tutto il marchio del prodotto e i materiali di marketing
- Un produttore di semiconduttori utilizza HBase per archiviare i file di registro dai propri prodotti e li estrae in altri sistemi per l'analisi
- Un provider di telecomunicazioni utilizza HBase per archiviare le proprie tabelle dimensionali per Hive
Ciò che distingue HBase dalle altre offerte NoSQL è la sua integrazione nell'ecosistema Open Source, Big Data, che consente ai clienti di avere un'esperienza end-to-end. Possono usarlo per applicazioni che necessitano di dati dall'edge o applicazioni che devono fornire modelli AI/ML su larga scala o qualsiasi combinazione di questi.
Uno dei ticket di supporto più interessanti che ho visto in Cloudera è stato quando un cliente HBase ha presentato un ticket ad alta priorità indicando che la sua distribuzione mission-critical era inattiva. Non interagivano con noi da più di un anno e non sapevo nemmeno che fossero un cliente importante. Solo in questo caso ho appreso che avevano implementato 1.000 nodi per alimentare una piattaforma di marketing omnicanale su HBase. La radice del problema era che avevano apportato alcune modifiche problematiche alle impostazioni di configurazione 9 mesi prima dell'incidente. Quando si sono finalmente riavviati, le impostazioni di configurazione problematiche hanno avuto effetto costringendoli a chiedere aiuto a Cloudera!
Cloudera si preoccupa profondamente di HBase e ha 15 committer e membri PMC sul progetto. Stiamo anche investendo per renderlo disponibile sul cloud pubblico, con fattori di forma simili a PaaS e dbPaaS.
Esperienze di HBase nel corso degli anni
Dato il nostro impegno e la nostra storia di lunga data con questo progetto, volevamo condividere un paio di esperienze e storie associate a questo progetto da tutto il team di Cloudera.
“Anni fa, stavo partecipando a una conferenza tecnica incentrata su Apache Hadoop. Una sera tardi, stavo tornando nella mia stanza e mi è capitato di vedere un gruppo di persone che ho riconosciuto come clienti di vecchia data rannicchiate attorno a un tavolo. Ora, questi sono un gruppo di persone molto competenti con cui ho lavorato già per molti anni. Girovagando, con l'intenzione di salutare brevemente e riprendere la mia strada dopo una lunga giornata. Si è scoperto che stavano avendo un'interruzione di produzione su uno dei loro sistemi e stavano cercando di risolverlo. Mi sono seduto, ho tirato fuori il mio laptop e sono rimasto con loro per le prossime ore mentre analizzavamo il problema e affrontavamo i problemi che abbiamo riscontrato. Il supporto di applicazioni mission-critical a volte richiede eroi, ma a volte trovi anche alcuni uccelli di piume lungo la strada."
— Ingegnere senior
“Nella natura di molte aziende, è assolutamente fondamentale essere in grado di scalare e continuare a soddisfare i requisiti di bassa latenza del loro sistema mission-critical. Se guardi indietro negli archivi, i nostri clienti hanno avuto momenti difficili per essere all'altezza di standard così difficili. HBase ha gli elementi che hanno reso facile soddisfare tali aspettative, in particolare riducendo al minimo il tempo necessario per attivare la prossima azione migliore."
— Principal Solutions Architect
“Tre anni fa ero un nuovo direttore tecnico di falegnameria presso Cloudera. Conoscevo l'attività open source dell'azienda e sono stato un utente GNU Linux dai tempi del liceo, ma usare l'open source e farne parte sono completamente diversi.
Come nuovo ragazzo dell'azienda, dovevo capire cosa fa il team, quindi mi sono assegnato alcuni ticket di supporto e ho iniziato a lavorarci. Sapevo solo due cose, sono stato uno sviluppatore Java per molti anni, quindi devo essere in grado di farlo e Hortonworks è il nostro concorrente più impegnativo, il che significa che potrebbe essere interessante lavorare con loro.
E poi è successo, con il mio primo ticket Apache HBase in assoluto mi sono imbattuto in Josh Elser, capo del team HBase di Hortonworks, che mi ha mostrato che implementare un compito da principiante può essere più difficile del previsto (con le barre di qualità che il team HBase ha) e che il tuo concorrente può essere il tuo miglior partner nella comunità open source. Alla fine, ha confermato le mie modifiche.
Negli ultimi tre anni molte cose sono cambiate. Cloudera e Hortonworks si sono fusi, ora lavoriamo nella stessa azienda ma Apache e HBase sono gli stessi. Ho poco tempo per lavorare sul codice, ma ne vedo la potenza, vedo come viene utilizzato per servizi che non sapevo esistessero e vedo come fa lavorare insieme persone in tutto il mondo. Connette persone tra aziende, continenti, culture."
— Responsabile tecnico
“HBase e Phoenix sono stati facili da imparare. Data Hub semplifica l'avvio e ora non vedo l'ora che Cloudera Operational Database porti HBase nel prossimo decennio."
— Responsabile tecnico del successo dei clienti
"Negli ultimi 9 anni, sono stato in prima linea allo sviluppo di HBase e ho visto l'evoluzione del modo in cui i nostri clienti utilizzano HBase da un POC a piattaforme mission-critical su larga scala. Il momento più straordinario di questo periodo è stato prima della fusione di Cloudera e Hortonworks, quando i team di entrambe le società hanno lavorato insieme per migliorare la funzionalità di una caratteristica fondamentale del prodotto. Alla fine, il lavoro è stato presentato all'HBaseCon e ha ricevuto un grande riconoscimento da due dei più grandi utenti di HBase. Questa caratteristica alimenta una funzionalità critica utilizzata da oltre 2 miliardi di dispositivi mobili in tutto il mondo”.
– Ingegnere senior
"Un altro grande momento degli ultimi 10 anni di HBase, è stato all'HBaseCon 2015 quando Carter Page di Google ha riconosciuto pubblicamente come HBase si è evoluto in un progetto molto solido"
– Ingegnere senior
“Ho avuto il piacere di partecipare a quasi tutti gli HBaseCon (e di parlare ad alcuni di essi). Questi sono tre dei miei ricordi preferiti di HBaseCon:(1) La diversità di HBase:l'annuncio di HBase 2.0 ha evidenziato non solo il numero di JIRA spediti, ma anche il numero di committer HBase e membri PMC al di fuori degli Stati Uniti, inoltre una donna era a capo dell'HBase PMC , (2) Lo slancio di HBase:l'annuncio di Facebook che stavano lasciando il loro fork personalizzato per andare al 100% a monte di Apache HBase e (3) trampolini di lancio di HBase:a un HBaseCon, uno sviluppatore Bloomberg ha tenuto un discorso sulle repliche di lettura e poi due HBaseCon più tardi , uno sviluppatore Apple ha tenuto un keynote HBaseCon sull'utilizzo delle repliche di lettura in produzione."
– Ingegnere di sistemi senior
In Cloudera, continuiamo a vedere un futuro brillante per questo progetto e ci aspettiamo che si evolva per alimentare le applicazioni di nuova generazione costruite nel cloud in fattori di forma simili a PaaS e dbPaaS, nonché in data center con cloud privato.
Per un'anteprima di ciò che accadrà, dai un'occhiata a Modello DB operativo di CDP Public Cloud .
