Como instalar o CDH e configurar as colocações do serviço no CentOS/RHEL 7 - Parte 4

Em um artigo anterior, explicamos a instalação do Cloudera Manager, neste artigo, você aprenderá como instalar e configurar CDH (Distribuição de Cloudera Hadoop) em RHEL/CENTOS 7.

Ao instalar o pacote CDH, temos que garantir o Gerente de Cloudera e CDH compatibilidade. A versão em cloudera está tendo 3 partes - ... A versão maior e menor do Gerente de Cloudera deve ser o mesmo que CDH Major and Menor Version.

Por exemplo, estamos usando Gerente de Cloudera 6.3.1 e CDH 6.3.2. Aqui 6 é maior e 3 é a versão menor. Major e Menor devem ser os mesmos para evitar problemas de compatibilidade.

Requisitos

• Melhores práticas para implantar o Hadoop Server no CentOS/Rhel 7 - Parte 1
• Configurando pré -requisitos do Hadoop e endurecimento de segurança - Parte 2
• Como instalar e configurar o gerente de Cloudera no CentOS/RHEL 7 - Parte 3

Vamos pegar os nós abaixo de 2 para a instalação de CDH. Já instalamos o gerente de Cloudera em Master1, também estamos usando Master1 Como um servidor repo.

Master1.Tecmint.com trabalhador1.Tecmint.com 

Etapa 1: Baixe as parcelas CDH no servidor mestre

1. Primeiro, conecte -se a Master1 servidor e download CDH Parcels arquivos no /var/www/html/cloudera-repos/CDH diretório . Temos que baixar abaixo 3 arquivos que devem ser compatíveis com RHEL/CENTOS 7.

CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.Parcela CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.parcela.manifesto sha1.JSON 

2. Antes de baixar esses arquivos, certifique -se de criar um CDH diretório abaixo /var/www/html/cloudera-repos/ localização.

$ cd/var/www/html/cloudera-repos/$ sudo mkdir cdh $ CD CDH 

3. Em seguida, faça o download dos 3 arquivos mencionados acima usando o seguinte comando wget.

$ sudo wget https: // arquivo.Cloudera.com/CDH6/6.3.2/encomendas/CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.Parcel $ sudo wget https: // arquivo.Cloudera.com/CDH6/6.3.2/encomendas/CDH-6.3.2-1.CDH6.3.2.p0.1605554-EL7.parcela.sha1 $ sudo wget https: // arquivamento.Cloudera.com/CDH6/6.3.2/encomendas/manifesto.JSON 

Etapa 2: Repo repositório de gerente de cloudera de configuração em clientes trabalhadores

4. Agora, conecte -se a trabalhador servidores e copie o arquivo repo (cloudera-manager.repo) do servidor repo (Master1) para todo o servidor de trabalhador restante. Este arquivo repo garante os servidores que todas as parcelas e RPMs necessárias serão baixadas do servidor repo durante a instalação.

gato>/etc/yum.Repos.D/Cloudera-manager.repo < 
5. Depois que o repo adicionou, liste os repositórios habilitados para garantir que o cloudera-manager repo está ativado.
 
$ yum repolista 
  Verifique os repositórios ativados 
Etapa 3: Instale os daemons de gerente de cloudera e agente nos servidores trabalhadores
 
6. Agora, precisamos instalar Cloudera-manager-daoMons e Cloudera-manager-agente Em todos os servidores restantes.
 
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent 
  Instale os daemons e agentes do gerente de cloudera 
7. Em seguida, você precisa configurar o Gerente de Cloudera agente para relatar o Gerente de Cloudera servidor.
 
$ sudo vi/etc/cloudera-scm-agent/config.ini 
 
Substitua o LocalHost com Gerente de Cloudera Endereço IP do servidor.
  Configurar gerente de Cloudera 
8. Começar Gerente de Cloudera Agente e verifique o status.
 
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Verifique o status do gerente de Cloudera 
Etapa 4: Instale e configure CDH
 
Nós temos CDH encomendas em Master1 - servidor repo. Certifique -se de que todos os servidores estejam tendo arquivo repo do Cloudera Manager em /etc/yum.Repos.d/ Se você seguir a instalação automática usando Gerente de Cloudera.
 
9. Faça login no Cloudera Manager usando o URL abaixo na porta 7180 e use o nome de usuário padrão e a senha de Gerente de Cloudera.
 
http: // 104.211.95.96: 7180/cmf/login nome de usuário: admin senha: admin 
  Login do gerente de cloudera 
10. Depois de fazer login, você será recebido com a página de boas -vindas. Aqui você pode encontrar notas de lançamento, novos recursos do Cloudera Manager.
  Gerente de Cloudera bem -vindo 
11. Aceite a licença e continue.
  Licença de gerente de cloudera 
12. Selecione a edição. A versão do teste foi selecionada por padrão, podemos prosseguir com isso.
  Edição de gerente de cloudera 
13. Agora, siga as etapas de instalação do cluster. Continue a página de boas -vindas.
  INSTALAÇÃO DO CLUTRIO DO GERENTE DO GLOUDERA 
14. Nomeie o cluster e continue, nomeamos como “Tecmint”. Existem 2 tipos de cluster que você pode definir. Estamos prosseguindo com o cluster regular.
 
 
Cluster regular: Consistirá em nós de armazenamento, nós de computação e outros serviços necessários.
 
Computar cluster: Irá consistir apenas em nós de computação. O armazenamento externo pode ser usado para armazenar dados.
 
  Nome do cluster de gerente de cloudera 
15. Nós já instalamos Agentes de gerente de cloudera Em todos os servidores. Você pode encontrar esses servidores em “Hosts atualmente gerenciados”. Para instalação automática, você deve inserir o FQDN ou IP dos servidores no “Novos anfitriões”Opção e pesquisa. O Cloudera Manager detectará automaticamente os hosts nos quais precisamos instalar o CDH.
 
Aqui, clique no “Hosts atualmente gerenciados”, Selecione todos os hosts selecionando 'nome de anfitrião' E continue.
  Hosts atualmente gerenciados 
16. Selecione o repositório - usando Parcela é a maneira recomendada. Clique 'Mais opções'Para configurar o repositório.
  Selecione o repositório 
17. Digite o URL do repositório local, conforme mencionado abaixo. Remova todos os repositórios públicos restantes que apontam a Web (Repositórios de Cloudera).
  Configurações do repositório de encomendas 
Isto é o CDH URL do repositório local que estamos tendo em Master1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Cloudera repo 
18. Depois que o URL do repositório entrou, esta página mostrará apenas parcelas disponíveis. Continue esta etapa.
  Selecione Configurações do repositório 
19. Agora as parcelas estão sendo baixadas, distribuídas, descompactadas e ativadas em todos os servidores disponíveis.
  Instalar parcelas 
20. Uma vez o CDH Parcels são ativados, inspecione o Conjunto. Esta etapa fará um exame de saúde do cluster. Aqui estamos pulando e continuando.
  Inspecione o cluster 
Etapa 5: Configuração do cluster
 
21. Aqui precisamos selecionar o Serviços para ser instalado em Conjunto. Algumas combinações embaladas estarão disponíveis por padrão, estamos indo com Serviços personalizados.
  Configuração do cluster 
22. Em Serviços personalizados, Estamos instalando apenas Componentes do núcleo (HDFS e FIO) para este propósito de demonstração.
  Instalar serviços 
23. Atribua as funções ao servidor. Podemos personalizar de acordo com nossos requisitos. Encontre o gráfico abaixo que descreve o recomendado Distribuição de papéis Para um pequeno cluster básico com 5 a 20 nós com alta disponibilidade.
  Atribuir funções  Distribuições de função recomendadas 
24. Selecione o tipo de banco de dados, nome de host, nome de banco de dados, nome de usuário e senha. Como estamos usando o PostgreSQL incorporado, ele será selecionado por padrão. Teste a conexão, deve ter sucesso.
  Banco de dados de configuração 
25. Esta página mostrará os parâmetros de configuração padrão de HDFS e Fio, incluindo diretórios de dados. Revise todos os detalhes da configuração e você pode fazer alterações, se necessário. Então continue com isso.
  Revise os parâmetros de configuração 
26. Esta página mostrará os detalhes do 'Primeira corridaComando. Você pode expandi -lo para ver os detalhes dos comandos em execução. Se houver algum problema de rede ou permissão no cluster, esta etapa será falhada. Geralmente, esta etapa decide a instalação suave do edifício do cluster.
  Comandos da primeira execução  Comandos em execução 
27. Depois que a etapa acima concluída, clique em 'Terminar'Para concluir a instalação. Este é o painel do Cloudera Manager depois de instalar CDH.
 
http: // 104.211.95.96: 7180/cmf/home 
  Painel de gerente de cloudera 
Conclusão
 
Nós completamos o Gerente de Cloudera e CDH instalação com sucesso. No Painel de gerente de cloudera, Você pode encontrar um conjunto de gráficos predefinidos, onde você pode monitorar a CPU do cluster, disco io etc. Podemos gerenciar o cluster inteiro usando isso Gerente de Cloudera. Veremos todas as operações administrativas nos próximos artigos.