Vyhledávání na webu

Jak nastavit vysokou dostupnost pro Namenode – část 5


Hadoop má dvě základní součásti, kterými jsou HDFS a YARN. HDFS je pro ukládání Dat, YARN je pro zpracování Dat. HDFS je Hadoop Distributed File System, má Namenode jako Master Service a Datanode jako Služba Slave.

Namenode je kritickou součástí Hadoop, která ukládá metadata dat uložených v HDFS. Pokud Namenode selže, celý cluster nebude přístupný, jedná se o jediný bod selhání (SPOF). Produkční prostředí tedy bude mít Namenode High Availability, aby se zabránilo výpadku výroby, pokud jeden Namenode selže z různých důvodů, jako je havárie stroje, plánovaná údržba atd.

Hadoop 2.x poskytuje proveditelnost, kdy můžeme mít dva Namenody, jeden bude Aktivní Namenode a další bude Pohotovostní Namenode<.

  • Aktivní Namenode – Spravuje všechny operace klienta.
  • Pohotovostní Namenode – Je nadbytečný než Active Namenode. Pokud se Aktivní NN vypne, převezme veškerou odpovědnost Aktivní NN Pohotovostní NN.

Povolení Namenode High Availability vyžaduje Zookeeper, který je povinný pro automatické převzetí služeb při selhání. ZKFC (Zookeeper Failover Controller) je klient Zookeeper, který se používá k udržování stavu Namenode.

Požadavky

  • Nejlepší postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1
  • Předpoklady nastavení Hadoopu a zabezpečení – část 2
  • Jak nainstalovat a nakonfigurovat Cloudera Manager na CentOS/RHEL 7 – část 3
  • Jak nainstalovat CDH a nakonfigurovat umístění služeb na CentOS/RHEL 7 – část 4

V tomto článku povolíme Namenode High Availability v Cloudera Manager.

Krok 1: Instalace Zookeeper

1. Přihlaste se do Cloudera Manager.

http://Your-IP:7180/cmf/home

2. V akci Cluster (tecmint) vyberte „Add Service “.

3. Vyberte službu „Zookeeper“.

4. Vyberte servery, na kterých bude Zookeeper nainstalován.

5. Budeme mít 3 správce zoo, kteří vytvoří kvorum správců zoo. Vyberte servery, jak je uvedeno níže.

6. Nakonfigurujte vlastnosti Zookeeper, zde máme výchozí. V reálném čase musíte mít samostatný adresář/připojovací body pro ukládání dat Zookeeper. V Části 1 jsme vysvětlili konfiguraci úložiště pro každou službu. Pokračujte kliknutím na tlačítko pokračovat.

7. Instalace bude zahájena, po instalaci bude spuštěn Zookeeper. Zde si můžete prohlédnout operace na pozadí.

8. Po úspěšném dokončení výše uvedeného kroku bude stav „Dokončeno“.

9. Nyní je Zookeeper úspěšně nainstalován a nakonfigurován. Klikněte na tlačítko Dokončit.

10. Službu Zookeeper můžete zobrazit na hlavním panelu Cloudera Manager.

Krok 2: Povolení vysoké dostupnosti Namenode

11. Přejděte na Cloudera Manager –> HDFS –> Akce –> Povolit vysokou dostupnost silný>.

12. Zadejte Název Nameservice jako „nameservice1 “ – Toto je společný jmenný prostor pro aktivní i pohotovostní Namenode.

13. Vyberte Second Namenode, kde budeme mít pohotovostní Namenode.

14. Zde vybíráme master2.linux-console.net pro pohotovostní režim Namenode.

15. Vyberte uzly Journal, jedná se o povinné služby pro synchronizaci Active a Standby Namenode.

16. Quorum Journal vytváříme umístěním uzlu Journal na 3 servery, jak je uvedeno níže. Vyberte 3 servery a klikněte na „OK“.

17. Pokračujte kliknutím na tlačítko Pokračovat.

18. Zadejte cestu k adresáři Journal Node. Jen musíme zmínit cestu, kterou při instalaci tohoto adresáře automaticky vytvoří samotná služba. Zmiňujeme se jako ‘/jn’. Pokračujte kliknutím na tlačítko Pokračovat.

19. Začne se aktivovat Vysoká dostupnost.

20. Po dokončení všech procesů na pozadí získáme stav „Dokončeno“.

21. Nakonec dostaneme oznámení „Úspěšně povolena vysoká dostupnost“. Klikněte na tlačítko Dokončit.

22. Ověřte Active a Standby Namenode tím, že přejdete na Cloudera Manager –> HDFS –> Instance.

23. Zde můžete vyřadit dva Názvy, jeden bude ve stavu „Aktivní“ a druhý bude v „Pohotovostním režimu ' stavu.

Závěr

V tomto článku jsme krok za krokem prošli procesem aktivace Vysoká dostupnost Namenode. Důrazně se doporučuje mít Namenode High Availability ve všech clusterech v prostředí reálného času. Pokud při provádění tohoto procesu narazíte na nějakou chybu, zveřejněte prosím své pochybnosti. Vysoká dostupnost správce zdrojů uvidíme v dalším článku.