Navistar è un produttore globale leader di camion commerciali. Con una flotta di 350.000 veicoli, la manutenzione non programmata e i guasti ai veicoli hanno creato continue interruzioni alla loro attività. Navistar richiedeva una piattaforma diagnostica che li aiutasse a prevedere quando un veicolo necessitava di manutenzione per ridurre al minimo i tempi di fermo. Questa piattaforma doveva essere in grado di raccogliere, analizzare e fornire dati da oltre 70 dati telematici e feed di dati dei sensori da ciascun veicolo della flotta, inclusi i dati che misuravano le prestazioni del motore, la temperatura del liquido di raffreddamento, la velocità del camion e l'usura dei freni. Navistar si è rivolta a Cloudera per creare una piattaforma di diagnostica remota abilitata all'IoT, denominata OnCommand® Connection, per monitorare lo stato dei propri veicoli e aumentare i tempi di attività dei veicoli.
Questo blog dimostra l'uso di tecnologie simili per affrontare problemi di portata molto più piccola ma con parallelismi con quelli affrontati da Navistar. I dati sono stati estratti da una Corvette altamente modificata e ad alte prestazioni (vedi Fig 1) per mostrare i passaggi per caricare i dati da una fonte esterna, formattarli utilizzando Apache NiFi, inviarli a una fonte di flusso tramite Apache Kafka e archiviarli utilizzando Apache HBase per ulteriori analisi.
Fig 1. Corvette del 2008 con motore 6.8L modificato
Per questo esempio specifico, la Corvette in questione ha fatto sostituire tutti i componenti originali del motore di fabbrica a favore di parti più performanti. Il motore è stato demolito fino al guscio, i cilindri sono stati annoiati, l'albero a gomiti e l'albero a camme sono stati sostituiti e sono stati installati nuovi pistoni e bielle, perseguendo l'obiettivo di circa 600 cavalli (vedi Fig 2). Affinché questa nuova configurazione del motore funzioni correttamente, il software del motore è stato sottoposto a una revisione completa. Sebbene la pressione dell'acceleratore diventasse significativamente più drammatica, una conseguenza non intenzionale è stata che i sistemi di diagnostica e di errore originali dell'auto non erano più accurati e quindi dovevano essere disabilitati.
Fig 2. Ricostruzione centrale del motore con tutti i nuovi interni lucidi
Per acquisire e analizzare i dati dei sensori della Corvette, era necessario un percorso affinché i dati fluissero dall'auto a una piattaforma alternativa di analisi e diagnostica. Il primo passo è stato collegare un laptop alla porta diagnostica della Corvette (vedi Fig 3) per importare i dati del sensore su una posizione di archiviazione basata su cloud. S3 è stato utilizzato per questo progetto.
Fig 3. Laptop collegato alla porta diagnostica tramite USB
Il passaggio successivo è stato quello di utilizzare Cloudera Data Platform (CDP), la piattaforma multifunzionale e multi-analitica di Cloudera, per accedere ai servizi necessari per spostare i dati nella destinazione di archiviazione finale per ulteriori analisi. Utilizzando CDP Public Cloud, sono stati allestiti 3 data hub, ognuno dei quali ospitava una serie di servizi open source preconfezionati (vedi Fig 4):
- La prima configurazione è stata NiFi, un servizio creato per automatizzare e gestire il flusso di dati. NiFi è stato utilizzato per importare, formattare e spostare i dati della Corvette dalla sorgente al punto di archiviazione finale.
- Il passo successivo è stato la creazione di Kafka, un servizio di streaming in tempo reale che consente di disporre di elevati volumi di dati come flusso. Kafka offre la possibilità di elaborare i flussi di dati, consentendo anche ad altri utenti la possibilità di iscriversi ai flussi di dati. In questo esempio non ci sono iscritti; tuttavia, questo è un concetto importante che merita una dimostrazione di come configurarlo.
- La configurazione finale era HBase, un database operativo altamente scalabile e orientato alle colonne che fornisce accesso in lettura/scrittura in tempo reale. Una volta che i dati sono stati importati in HBase, Phoenix sarebbe stato utilizzato per interrogare e recuperare i dati.
Fig 4. Diagramma del flusso di dati della Corvette dalla sorgente alla query.
Costruire la piattaforma diagnostica utilizzando CDP per monitorare lo stato di salute e le prestazioni della Corvette è stato un esercizio di successo. L'utilizzo di NiFi e Kafka per formattare e trasmettere i dati del sensore in HBase ora consente di eseguire l'ingegneria e l'elaborazione dei dati avanzate indipendentemente dall'ampiezza dell'espansione del set di dati.
Passaggi successivi
Per vedere tutto questo in azione, vedere i collegamenti sottostanti ad alcune fonti diverse che mostrano il processo che è stato creato.
- Video – Se desideri vedere e ascoltare come è stato realizzato, dai un'occhiata a un rapido video di 5 minuti che mostra la navigazione in tempo reale di CDP con NiFi, Kafka e HBase.
- Tutorial:se desideri farlo al tuo ritmo, guarda una procedura dettagliata con screenshot e istruzioni riga per riga su come configurarlo.
- MeetUps – Se vuoi parlare direttamente con gli esperti di Cloudera e persino con il proprietario di questa Corvette, partecipa a un meetup virtuale per vedere la sua presentazione dal vivo. Alla fine ci sarà tempo per domande e risposte dirette.
- Pagina Utenti CDP:per ulteriori informazioni su altre risorse CDP create per gli utenti, inclusi video aggiuntivi, tutorial, blog ed eventi, fai clic sul collegamento.
