Como instalar e configurar o Cloudera Manager no CentOS/Rhel 7 - Parte 3

Neste artigo, descrevemos o processo passo a passo para instalar Gerente de Cloudera Conforme práticas industriais. Na Parte 2, já passamos pela cloudera pré-requisitos, verifique se todos os servidores estão preparados perfeitamente.

Requisitos

• Melhores práticas para implantar o Hadoop Server no CentOS/Rhel 7 - Parte 1
• Configurando pré -requisitos do Hadoop e endurecimento de segurança - Parte 2

Aqui vamos ter um cluster de 5 nós onde 2 mestres e 3 trabalhadores. Eu tenho usado 5 AWS EC2 Instâncias para demonstrar o procedimento de instalação. Eu nomeei esses 5 servidores como abaixo.

Master1.Tecmint.com Master2.Tecmint.com trabalhador1.Tecmint.com trabalhador2.Tecmint.com trabalhador3.Tecmint.com 

Gerente de Cloudera é uma ferramenta administrativa e de monitoramento para todo CDH. Administramos geralmente chamando isso de ferramenta de gerenciamento para Cloudera Hadoop. Podemos implantar, monitorar, controlar e fazer alterações de configuração com o uso desta ferramenta. Isso é muito essencial para gerenciar todo o cluster.

Abaixo estão os usos importantes do gerente de Cloudera.

• Implantar e configurar os clusters do Hadoop de uma maneira automatizada.
• Monitore a saúde do cluster
• Configure alertas
• Solução de problemas
• Comunicando
• Fazendo o relatório de utilização de cluster
• Configurando recursos dinamicamente

Etapa 1: Instalando o Apache Web Server no CentOS

Nós vamos usar o Master1 Como servidor da web para repositórios de Cloudera. Além disso, o gerente de cloudera é webui, então precisamos ter Apache instalado. Siga as etapas abaixo para instalar o Apache Web Server.

# yum -y install httpd 

Depois de instalado httpd, inicie -o e habilite para que ele seja iniciado na inicialização.

# SystemCtl Iniciar httpd # SystemCtl Hittpd 

Depois de iniciar o HTTPD, verifique se o status.

# status Systemctl httpd 

Check-apache-status

Depois de iniciar o HTTPD, abra um navegador no seu sistema local e cole o endereço IP de Master1 Na barra de pesquisa, você deve obter esta página de teste para garantir que o HTTPD esteja funcionando bem.

Verifique a página da web do Apache

Etapa 2: Configure o DNS local para resolver o IP e o nome do host

Precisamos ter um servidor DNS ou configurar /etc/hosts Para resolver o nome de IP e host. Aqui estamos configurando /etc/hosts, Mas em tempo real, um servidor DNS dedicado estará lá para o ambiente de produção.

Siga as etapas abaixo para fazer uma entrada para todos os seus servidores em /etc/hosts.

# vi /etc /hosts 

Isso deve ser configurado em todos os servidores.

13.235.27.144 Master1.Tecmint.com Master1 13.235.135.170 Master2.Tecmint.com Master2 15.206.167.94 Trabalhador1.Tecmint.com trabalhador1 13.232.173.158 Trabalhador2.Tecmint.com trabalhador2 65.0.182.222 Trabalhador3.Tecmint.com trabalhador3 

Configure DNS local

Etapa 3: Configure o login sem senha do SSH

Gerente de Cloudera está sendo instalado em Master1 Nesta demonstração. Precisamos configurar ssh sem senha de Master1 Para todos os outros nós. Porque o Gerente de Cloudera usará o SSH para comunicar todos os outros nós para instalar pacotes.

Siga as etapas abaixo para configurar ssh sem senha de Master1 Para todos os servidores restantes. Nós vamos ter um usuário 'Tecmint'Para prosseguir.

Criar um usuário 'Tecmint'Todos os 4 servidores usando o comando userAdd, conforme mostrado.

# userAdd -m Tecmint 

Para dar o privilégio de raiz ao usuário 'Tecmint', Adicione a linha abaixo em /etc/sudoers arquivo. Você pode adicionar esta linha sob root como dê na captura de tela.

Tecmint all = (todos) todos 

Adicionar usuário ao sudo

Mudar para o usuário 'Tecmint'e crie a chave SSH no Master1 Usando o comando abaixo.

# sudo su tecmint $ ssh-keygen 

Agora copie a chave criada para todos os 4 servidores usando o SSH-COPY-ID comando como mostrado.

$ SSH-COPY-ID -I ~//.ssh/id_rsa.pub [email protegido] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [email protegido] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [email protegido] $ ssh-copy-id -i ~//.ssh/id_rsa.Pub [Email Protected] 

Agora você deve ser capaz de ssh de Master1 para permanecer todos os servidores sem uma senha, como mostrado.

$ ssh mestre2 $ ssh trabalhador1 $ ssh trabalhador2 $ ssh trabalhador3 

Servidores de login sem senha ssh

Etapa 4: Instalando e configurando o gerente de Cloudera

Podemos usar o fornecedor (Cloudera) Repositório para instalar todos os pacotes usando as ferramentas de gerenciamento de pacotes em RHEL/CENTOS. Em tempo real, criar nosso próprio repositório é a melhor prática, porque talvez não tenhamos acesso à Internet nos servidores de produção.

Aqui vamos instalar Gerente de Cloudera 6.3.1 liberar. Já que vamos usar Master1 Como servidor repo, estamos baixando os pacotes no caminho abaixo mencionado.

Crie os diretórios abaixo mencionados em Master1 servidor.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6 

Podemos usar a ferramenta wget para baixar pacotes sobre http. Então, instale wget Usando o comando abaixo.

$ sudo yum -y install wget 

Em seguida, faça o download do arquivo TAR do Cloudera Manager usando o seguinte comando wget.

$ wget https: // arquivo.Cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-Redhat7.alcatrão.gz 

Extraia o arquivo TAR para /var/www/html/cloudera-repos/cm6, Já fizemos Master1 como servidor da web instalando http E nós testamos no navegador.

$ sudo tar xvfz cm6.3.1-Redhat7.alcatrão.gz -c/var/www/html/cloudera-repos/cm6-strip-components = 1 

Agora, verifique se todos os arquivos RPM de Cloudera estão lá em /var/www/html/cloudera-repos/cm6/rpms/x86_64 diretório.

$ cd/var/www/html/cloudera-repos/cm6 $ ll 

Listar arquivos Cloudera

Criar /etc/yum.Repos.D/Cloudera-manager.repo Arquivos em todos os servidores no cluster hosts com o seguinte conteúdo, aqui Master1 (65.0.101.148) é o servidor da web.

[Cloudera-repo] Nome = Cloudera-manager Baseurl = http: /// cloudera-repos/cm6/habilitado = 1 gpgCheck = 0 

Agora o repositório foi adicionado, execute o comando abaixo para visualizar os repositórios ativados.

$ yum repolista 

Listar o repositório de Cloudera

Execute o comando abaixo para visualizar todos os pacotes relacionados à Cloudera disponíveis no repositório.

Lista de $ yum disponível | Cloudera grep* 

Listar pacotes de cloudera

Instale o cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agente cloudera-manager-server cloudera-manager-server-db-2 

Instale Cloudera em Centos

Execute o comando abaixo para visualizar todos os pacotes de Cloudera instalados.

Lista de $ yum instalada | Cloudera grep* 

Lista de pacotes de Cloudera instalados

Execute o comando abaixo para iniciar o Cloudera-SCM-Server-DB que é um banco de dados subjacente para armazenar Gerente de Cloudera e outros metadados de serviços.

Por padrão, Cloudera está chegando pós-gre-sql que está incorporado no Gerente de Cloudera. Estamos instalando o incorporado, em um banco de dados externo em tempo real que pode ser usado. Pode ser Oráculo, Mysql, ou PostGresql.

$ sudo systemctl start cloudera-scm-server-db 

Execute o comando abaixo para verificar o status do banco de dados.

$ sudo systemctl cloudera-scm-server-db 

Verifique o status do banco de dados Cloudera

Configure o dB.propriedades para o Gerente de Cloudera servidor.

$ vi/etc/cloudera-scm-server/db.propriedades 

Configurar o valor abaixo é INTEGRADO fazer Gerente de Cloudera use o Banco de dados incorporado.

com.Cloudera.cmf.dB.setupType = incorporado 

Configurar propriedades do banco de dados Cloudera

Execute o comando abaixo para iniciar o servidor do Cloudera Manager.

$ sudo systemctl start cloudera-scm-server 

Execute o comando abaixo para verificar o status do Gerente de Cloudera servidor.

$ sudo systemctl status cloudera-scm-server 

Verifique o status do gerente de Cloudera

Execute o comando abaixo para iniciar e verificar o status do Gerente de Cloudera agente.

$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Verifique o status do agente gerente de cloudera

Uma vez o Cloudera Manager Server Com sucesso em funcionamento bem, você pode visualizar o webui (página de login) no navegador usando o endereço IP e o número da porta 7180 qual é o número da porta Gerente de Cloudera.

https: // 65.0.101.148: 7180 

Login do gerente de cloudera

Resumo

Neste artigo, vimos um processo passo a passo para instalar Gerente de Cloudera sobre CENTOS 7. Veremos o CDH e outras instalações de serviço no próximo artigo.