Vyhledávání na webu

Nejlepší postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1

V této sérii článků pokryjeme celou budovu Cloudera Hadoop Cluster Building doporučenými doporučenými postupy Vendor a Industrial.

Instalace OS a provedení úrovně OS Předpoklady jsou prvními kroky k vytvoření Hadoop Clusteru. Hadoop může běžet na různých variantách platformy Linux: CentOS, RedHat, Ubuntu, Debian<, SUSE atd., V produkci v reálném čase je většina Hadoop Clusterů postavena na RHEL/CentOS. bude používat CentOS 7 pro demonstraci v této sérii výukových programů.

V organizaci lze instalaci OS provést pomocí kickstartu. Pokud se jedná o cluster se 3 až 4 uzly, je možná ruční instalace, ale pokud vytvoříme velký cluster s více než 10 uzly, je zdlouhavé instalovat OS jeden po druhém. V tomto scénáři přichází na řadu metoda Kickstart, můžeme přistoupit k hromadné instalaci pomocí kickstartu.

Dosažení dobrého výkonu z prostředí Hadoop závisí na zajištění správného hardwaru a softwaru. Vytváření produkčního klastru Hadoop tedy vyžaduje mnoho úvah týkajících se hardwaru a softwaru.

V tomto článku si projdeme různé benchmarky o instalaci OS a některé osvědčené postupy pro nasazení Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

Důležitá úvaha a doporučené postupy pro nasazení serveru Hadoop

Níže jsou uvedeny doporučené postupy pro nastavení nasazení Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

  • Servery Hadoop nevyžadují k sestavení clusteru podnikové standardní servery, ale vyžadují komoditní hardware.
  • V produkčním clusteru se doporučuje mít 8 až 12 datových disků. Podle charakteru pracovní zátěže se o tom musíme rozhodnout. Pokud je cluster určen pro výpočetně náročné aplikace, je nejlepším postupem mít 4 až 6 jednotek, abyste se vyhnuli problémům s I/O.
  • Datové disky by měly být rozděleny jednotlivě, například od /data01 do /data10.
  • Konfigurace RAID se pro pracovní uzly nedoporučuje, protože samotný Hadoop poskytuje odolnost proti chybám u dat tím, že ve výchozím nastavení replikuje bloky do 3. Takže JBOD je nejlepší pro pracovní uzly.
  • Pro hlavní servery je nejlepším postupem RAID 1.
  • Výchozí souborový systém na CentOS/RHEL 7.x je XFS. Hadoop podporuje XFS, ext3 a ext4. Doporučený souborový systém je ext3, protože je testován na dobrý výkon.
  • Všechny servery by měly mít stejnou verzi operačního systému, alespoň stejnou menší verzi.
  • Nejlepší je mít homogenní hardware (všechny pracovní uzly by měly mít stejné hardwarové charakteristiky (RAM, místo na disku, jádro atd.).
  • V závislosti na zátěži clusteru (vyvážená zátěž, výpočetně intenzivní, I/O intenzivní) a velikosti se bude plánování zdrojů (RAM, CPU) na server lišit.

Níže naleznete příklad rozdělení disku na servery s 24TB úložištěm.

Instalace CentOS 7 pro nasazení serveru Hadoop

Věci, které potřebujete vědět před instalací serveru CentOS 7 pro Hadoop Server.

  • Minimální instalace je dostatečná pro Hadoop Servers (pracovní uzly), v některých případech lze GUI nainstalovat pouze pro Master servery nebo Management servery, kde můžeme použít prohlížeče pro webová rozhraní Nástroje pro správu.
  • Konfigurace sítí, názvu hostitele a dalších nastavení souvisejících s OS lze provést po instalaci OS.
  • V reálném čase budou mít například prodejci serverů vlastní konzolu pro interakci a správu serverů – servery Dell mají iDRAC, což je zařízení, ve kterém jsou servery vestavěné. Pomocí tohoto rozhraní iDRAC můžeme nainstalovat OS s obrazem OS v našem místním systému.

V tomto článku jsme nainstalovali OS (CentOS 7) do virtuálního počítače VMware. Zde nebudeme mít více disků pro provádění oddílů. CentOS je podobný RHEL (stejná funkce), takže uvidíme kroky k instalaci CentOS.

1. Začněte stažením obrazu ISO CentOS 7.x do místního systému Windows a vyberte jej při spouštění virtuálního počítače. Vyberte „Install CentOS 7“ podle obrázku.

2. Vyberte Jazyk, výchozí bude Angličtina a klikněte na Pokračovat.

3. Výběr softwaru – Vyberte „Minimální instalace“ a klikněte na „Hotovo“.

4. Nastavte heslo uživatele root, které nás vyzve k nastavení.

5. Cíl instalace – Toto je důležitý krok, abyste byli opatrní. Musíme vybrat disk, na který má být OS nainstalován, pro OS by měl být vybrán vyhrazený disk. Klikněte na „Cíl instalace“ a vyberte Disk, v reálném čase tam bude více disků, musíme vybrat nejlépe „sda“.

6. Další možnosti úložiště – Vyberte druhou možnost (nakonfiguruji dělení), chcete-li nakonfigurovat dělení související s operačním systémem jako /var, / var/log, /home, /tmp, /opt, /swap.

7. Po dokončení zahajte instalaci.

8. Po dokončení instalace restartujte server.

9. Přihlaste se na server a nastavte název hostitele.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

souhrn

V tomto článku jsme prošli kroky instalace OS a osvědčené postupy pro dělení systému souborů. To vše jsou obecné pokyny, v závislosti na povaze pracovní zátěže se možná budeme muset soustředit na více nuancí, abychom dosáhli nejlepšího výkonu clusteru. Plánování clusteru je umění pro správce Hadoop. V příštím článku se podrobně ponoříme do předpokladů na úrovni OS a zabezpečení Hardening.