Como instalar o Apache Kafka no CentOS/Rhel 7

Apache Kafka é um poderoso mecanismo de mensagens, que é amplamente usado em Bigdata projetos e o Análise de dados vida útil. É uma plataforma de código aberto para criar pipelines de streaming de dados em tempo real. É uma plataforma de inscrição de publicação distribuída com confiabilidade, escalabilidade e durabilidade.

Nós podemos ter Kafka como um autônomo ou como um cluster. Kafka armazena os dados de streaming e podem ser categorizados como Tópicos. O Tema estará tendo várias partições para que possa lidar com uma quantidade arbitrária de dados. Além disso, podemos ter várias réplicas para tolerantes a falhas como estamos tendo HDFS. Em um cluster Kafka, o corretor é um componente que armazena os dados publicados.

Zookeeper é um serviço obrigatório para executar um Kafka Cluster, como é usado para gerenciar a coordenação dos corretores Kafka. Zookeeper desempenha um papel fundamental entre produtor e consumidor, onde é responsável por manter o estado de todos os corretores.

Neste artigo, explicaremos como instalar Apache Kafka em um único nó CENTOS 7 ou RHEL 7.

Instalando o Apache Kafka no CentOS 7

1. Primeiro, você precisa instalar Java no seu sistema para executar Apache Kafka sem erros. Então, instale a versão disponível padrão de Java usando o seguinte comando yum e verifique o Java versão como mostrado.

# yum -y install java -1.8.0 -openjdk # java -version 

2. Em seguida, baixe a versão estável mais recente de Apache Kafka No site oficial ou use o seguinte comando wget para baixá -lo diretamente e extraí -lo.

# wget https: // espelhos.Estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.TGZ 

3. Criar um link simbólico para Kafka pacote e adicione o caminho do ambiente Kafka a .Bash_profile Arquive e depois inicialize como mostrado.

# ln -s kafka_2.13-2.7.0 kafka # echo "exportar caminho = $ caminho:/root/kafka_2.13-2.7.0/BIN ">> ~//.Bash_profile # fonte ~//.Bash_profile 

4. Em seguida, inicie o Funcionário do zoológico, que vem embutido com o Kafka pacote. Como é um único cluster de nós, você pode iniciar o Zookeeper com propriedades padrão.

# Zookeeper-Server-Start.sh -daemon/root/kafka/config/zookeeper.propriedades 

5. Validar se o Zookeeper está acessível ou não por simplesmente Telnet para Funcionário do zoológico porta 2181.

# Telnet localhost 2181 

6. Comece o Kafka com suas propriedades padrão.

# kafka-server-start.sh -daemon/root/kafka/config/servidor.propriedades 

7. Validar se o Kafka é acessível ou não simplesmente por Telnet para Kafka Port 9092

# Telnet localhost 9092 

8. Em seguida, crie um tópico de amostra.

# kafka-topics.SH-Create-Zookeeper localhost: 2181-Replicação-fator 1-Partições 1-Topic Tecmint 

9. Liste o tópico criado.

# kafka-topics.sh -zookeeper localhost: 2181 -Lista 

Conclusão

Neste artigo, vimos como instalar um único nó kafka cluster em CENTOS 7. Veremos como instalar um cluster Kafka multinodo no próximo artigo.