Apache Hadoop è una soluzione open source per l'elaborazione distribuita di big data.
Big data è un termine di marketing che racchiude l'intera idea di dati estratti da fonti come i motori di ricerca, i modelli di acquisto dei negozi di alimentari tracciati attraverso le tessere punti, ecc. Nel mondo moderno, Internet ha così tante fonti di dati che il più delle volte la loro scala li rende inutilizzabili senza un'elaborazione e l'elaborazione richiederebbe quantità incredibili di tempo da parte di un singolo server. Ecco Apache Hadoop
Meno tempo per l'elaborazione dei dati
Sfruttando l'architettura di Hadoop per distribuire le attività di elaborazione su più macchine in rete, i tempi di elaborazione si riducono astronomicamente e le risposte possono essere determinate in tempi ragionevoli. Apache Hadoop è suddiviso in due componenti diversi: un componente di archiviazione e un componente di elaborazione. In termini più semplici, Hapood crea un server virtuale da più macchine fisiche. In realtà, Hadoop gestisce la comunicazione tra più macchine in modo che lavorino insieme in modo così stretto da far sembrare che ci sia una sola macchina che lavora ai calcoli. I dati sono distribuiti su più macchine per essere archiviati e le attività di elaborazione sono assegnate e coordinate dall'architettura Hadoop. Questo tipo di sistema è un requisito per convertire i dati grezzi in informazioni utili sulla scala dei Big Data. Considerate la quantità di dati che Google riceve ogni secondo dagli utenti che inseriscono richieste di ricerca. Se si tratta di una mole totale di dati, non si saprebbe da dove cominciare, ma Hadoop ridurrà automaticamente l'insieme di dati in sottoinsiemi più piccoli e organizzati e assegnerà questi sottoinsiemi gestibili a risorse specifiche. Tutti i risultati vengono poi riportati e assemblati in informazioni utilizzabili.
Un server facile da configurare
Anche se il sistema sembra complesso, la maggior parte delle parti in movimento è nascosta dietro l'astrazione. Impostare il server Hadoop è abbastanza semplice, basta installare i componenti del server su un hardware che soddisfi i requisiti di sistema. La parte più difficile è pianificare la rete di computer che il server Hadoop utilizzerà per distribuire i ruoli di archiviazione ed elaborazione. Questo può comportare la creazione di una rete locale o il collegamento di più reti attraverso Internet. È anche possibile utilizzare i servizi cloud esistenti e pagare per un cluster Hadoop su piattaforme cloud popolari come Microsoft Azure e Amazon EC2. Questi cluster sono ancora più facili da configurare, in quanto possono essere creati ad hoc e poi smantellati quando non sono più necessari. Questi tipi di cluster sono ideali per i test, poiché si paga solo per il tempo in cui il cluster Hadoop è attivo.
Elaborare i dati per ottenere le informazioni necessarie
I big data sono una risorsa estremamente potente, ma i dati sono inutili se non possono essere classificati correttamente e trasformati in informazioni. Attualmente, i cluster Hadoop offrono un metodo estremamente conveniente per elaborare queste raccolte di dati in informazioni.
