Jak nainstalovat CDH a nakonfigurovat umístění služeb na CentOS/RHEL 7 – část 4
V dřívějším článku jsme vysvětlili instalaci Cloudera Manager, v tomto článku se dozvíte, jak nainstalovat a nakonfigurovat CDH (Cloudera Distribution Hadoop) v RHEL/CentOS 7.
Při instalaci balíku CDH musíme zajistit kompatibilitu Cloudera Manager a CDH. Verze Cloudera má 3 části –
Například používáme Cloudera Manager 6.3.1 a CDH 6.3.2. Zde 6 je hlavní a 3 je vedlejší verze. Major a Minor musí být stejné, aby se předešlo problémům s kompatibilitou.
Požadavky
- Nejlepší postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 – část 1
- Předpoklady nastavení Hadoopu a zabezpečení – část 2
- Jak nainstalovat a nakonfigurovat Cloudera Manager na CentOS/RHEL 7 – část 3
Vezmeme níže 2 uzly pro instalaci CDH. Již jsme nainstalovali Cloudera Manager v master1, také používáme master1 jako repo server.
master1.linux-console.net
worker1.linux-console.net
Krok 1: Stáhněte si CDH Parcels na Master Server
1. Nejprve se připojte k serveru master1 a stáhněte si soubory CDH Parcels v /var/www/html/cloudera-repos/ cdhadresář . Musíme stáhnout níže uvedené 3 soubory, které by měly být kompatibilní s RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Před stažením těchto souborů se ujistěte, že jste vytvořili adresář cdh v umístění /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Dále stáhněte výše uvedené 3 soubory pomocí následujícího příkazu wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Krok 2: Nastavení úložiště Cloudera Manager na klientech Worker
4. Nyní se připojte k pracovním serverům a zkopírujte repo soubor (cloudera-manager.repo) z repo serveru (master1<) na všechny zbývající pracovní servery. Tento repo soubor zajišťuje serverům, že všechny požadované balíky a RPM budou během instalace staženy z repo serveru.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Po přidání repozitáře uveďte seznam povolených úložišť, abyste se ujistili, že je repo cloudera-manager povoleno.
yum repolist
Krok 3: Nainstalujte démony Cloudera Manager a agenta na pracovní servery
6. Nyní musíme nainstalovat cloudera-manager-daemons a cloudera-manager-agent na všechny zbývající servery.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Dále musíte nakonfigurovat agenta Cloudera Manager, aby hlásil server Cloudera Manager.
sudo vi /etc/cloudera-scm-agent/config.ini
Nahraďte localhost IP adresou serveru Cloudera Manager.
8. Spusťte agenta Cloudera Manager a ověřte stav.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Krok 4: Instalace a nastavení CDH
Balíčky CDH máme na master1 – repo serveru. Ujistěte se, že všechny servery mají repo soubor Cloudera Manager v /etc/yum.repos.d/, pokud použijete automatickou instalaci pomocí Cloudera Manager.
9. Přihlaste se do Cloudera Manager pomocí níže uvedené adresy URL na portu 7180 a použijte výchozí uživatelské jméno a heslo Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Jakmile se přihlásíte, přivítá vás uvítací stránka. Zde najdete poznámky k vydání, nové funkce Cloudera Manager.
11. Přijměte licenci a pokračujte.
12. Vyberte vydání. Ve výchozím nastavení je vybrána zkušební verze, s tím můžeme pokračovat.
13. Nyní postupujte podle kroků instalace clusteru. Pokračujte na uvítací stránce.
14. Pojmenujte Cluster a pokračujte, pojmenovali jsme ho jako „tecmint “. Existují 2 typy Clusterů, které můžete definovat. Pokračujeme s Regular Cluster.
- Regular Cluster: Bude se skládat z uzlů úložiště, výpočetních uzlů a dalších nezbytných služeb.
- Výpočetní cluster: Bude sestávat pouze z výpočetních uzlů. Pro ukládání dat lze použít externí úložiště.
15. Na všechny servery jsme již nainstalovali Cloudera Manager Agents. Tyto servery naleznete v části „Aktuálně spravovaní hostitelé“. Pro automatickou instalaci musíte zadat FQDN nebo IP serverů ve volbě „New Hosts“ a hledat. Cloudera Manager automaticky rozpozná hostitele, na které potřebujeme nainstalovat CDH.
Zde klikněte na „Aktuálně spravovaní hostitelé“, vyberte všechny hostitele výběrem „Název hostitele“ a pokračujte.
16. Vyberte úložiště – doporučeným způsobem je použití Parcel. Kliknutím na „Další možnosti“ nakonfigurujte úložiště.
17. Zadejte adresu URL místního úložiště, jak je uvedeno níže. Odstraňte všechna zbývající veřejná úložiště, která ukazují web (Cloudera Repositories).
Toto je adresa URL místního úložiště CDH, kterou máme v master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Po zadání adresy URL úložiště se na této stránce zobrazí pouze dostupné parcely. Pokračujte v tomto kroku.
19. Nyní se balíky stahují, distribuují, rozbalují a aktivují na všech dostupných serverech.
20. Jakmile jsou Zásilky CDH aktivovány, zkontrolujte Cluster. Tento krok provede kontrolu stavu clusteru. Zde přeskakujeme a pokračujeme.
Krok 5: Konfigurace clusteru
21. Zde musíme vybrat Služby, které se mají nainstalovat do Clusteru. Některé zabalené kombinace budou k dispozici ve výchozím nastavení, my budeme používat Vlastní služby.
22. V Vlastních službách instalujeme pouze Základní komponenty (HDFS a YARN ) pro tento demo účel.
23. Přidělte role serveru. Můžeme přizpůsobit podle našich požadavků. Níže naleznete graf, který popisuje doporučené Rozdělení rolí pro základní malý cluster s 5 až 20 uzly s vysokou dostupností.
24. Vyberte typ databáze, název hostitele, název databáze, uživatelské jméno a heslo. Protože používáme Embedded PostgreSQL, bude vybrán ve výchozím nastavení. Otestujte připojení, mělo by být úspěšné.
25. Tato stránka zobrazí výchozí konfigurační parametry HDFS a Příze, včetně datových adresářů. Zkontrolujte všechny podrobnosti konfigurace a v případě potřeby můžete provést změny. Pak pokračujte v tomto.
26. Tato stránka zobrazí podrobnosti o příkazu „První spuštění“. Můžete jej rozbalit a zobrazit podrobnosti o spuštěných příkazech. Pokud jsou v clusteru nějaké problémy se sítí nebo oprávněními, tento krok selže. Obvykle tento krok rozhoduje o hladké instalaci Cluster Building.
27. Po dokončení výše uvedeného kroku dokončete instalaci kliknutím na tlačítko Dokončit. Toto je řídicí panel Cloudera Manager po instalaci CDH.
http://104.211.95.96:7180/cmf/home
Závěr
Úspěšně jsme dokončili instalaci Cloudera Manager a CDH. V Cloudera Manager Dashboard můžete najít předdefinovanou sadu grafů, kde můžete sledovat Cluster CPU, Disk IO atd. Pomocí tohoto Cloudera Managera můžeme spravovat celý Cluster >. Veškeré administrativní úkony uvidíme v připravovaných článcích.