Jak nainstalovat Apache Kafka v CentOS/RHEL 7

Apache Kafka je výkonný nástroj pro zasílání zpráv, který je široce používán v projektech BigData a v životním cyklu Data Analytics. Jedná se o platformu s otevřeným zdrojovým kódem pro vytváření kanálů pro streamování dat v reálném čase. Je to distribuovaná platforma pro publikování a předplatné se spolehlivostí, škálovatelností a trvanlivostí.

Kafku můžeme mít jako samostatný nebo jako cluster. Kafka ukládá streamovaná data a lze je kategorizovat jako Témata. Téma bude mít několik oddílů, takže dokáže zpracovat libovolné množství dat. Také můžeme mít více replik pro odolnost proti chybám, jako máme v HDFS. V clusteru Kafka je broker komponentou, která ukládá publikovaná data.

Zookeeper je povinná služba pro provozování clusteru Kafka, protože se používá pro řízení koordinace makléřů Kafka. Zookeeper hraje klíčovou roli mezi producentem a spotřebitelem, kde je zodpovědný za udržování stavu všech brokerů.

V tomto článku vysvětlíme, jak nainstalovat Apache Kafka do jednoho uzlu CentOS 7 nebo RHEL 7.

Instalace Apache Kafka v CentOS 7

1. Nejprve musíte do systému nainstalovat Java, abyste mohli spustit Apache Kafka bez jakýchkoli chyb. Nainstalujte tedy výchozí dostupnou verzi Java pomocí následujícího příkazu yum a ověřte verzi Java podle obrázku.

yum -y install java-1.8.0-openjdk
java -version

2. Dále si stáhněte nejnovější stabilní verzi Apache Kafka z oficiálních stránek nebo použijte následující příkaz wget k jejímu přímému stažení a rozbalení.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Vytvořte symbolický odkaz na balíček kafka, poté přidejte cestu prostředí Kafka do souboru .bash_profile a poté jej inicializujte podle obrázku.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Dále spusťte Zookeeper, který je součástí balíčku Kafka. Protože se jedná o cluster s jedním uzlem, můžete spustit zookeeper s výchozími vlastnostmi.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Ověřte, zda je správce zoo přístupný či nikoli, jednoduše telnet na Zookeeper port 2181.

telnet localhost 2181

6. Spusťte Kafka s výchozími vlastnostmi.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Ověřte, zda je Kafka přístupná či nikoli, jednoduše pomocí telnetu na port Kafka 9092

telnet localhost 9092

8. Dále vytvořte vzorové téma.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Vypište vytvořené téma.

kafka-topics.sh --zookeeper localhost:2181 --list

Závěr

V tomto článku jsme viděli, jak nainstalovat cluster Kafka s jedním uzlem v CentOS 7. Jak nainstalovat multinode Kafka Cluster uvidíme v dalším článku.