Como configurar alta disponibilidade para Namenode - Parte 5

Hadoop tem dois componentes principais que são HDFS e FIO. HDFS é para armazenar o Dados, FIO é para processar o Dados. HDFS é Sistema de arquivos distribuído Hadoop, tem Namenode como Serviço mestre e DataNode como Serviço de escravos.

Namenode é o componente crítico de Hadoop que está armazenando os metadados dos dados armazenados em HDFS. Se o Namenode desce, todo o cluster não estará acessível, é o ponto único de falha (Spof). Então, o ambiente de produção estará tendo Namenode alta disponibilidade para evitar a interrupção da produção, se um Namenode desce por causa de várias razões como colisão de máquina, atividade de manutenção planejada, etc.

Hadoop 2.x fornece a viabilidade onde podemos ter dois Namenodes, um será Namenode ativo e outro será Namenode em espera.

• Namenode ativo - Ele gerencia todas as operações do cliente.
• Namenode em espera - É redundante de Namenode ativo. Se Nn ativo desce, então Em espera nn assumirá toda a responsabilidade de Nn ativo.

Possibilitando Namenode alta disponibilidade requer Funcionário do zoológico o que é obrigatório para failover automático. Zkfc (Controlador de failover do Zookeeper) é um Funcionário do zoológico cliente que é usado para manter o estado de Namenode.

Requisitos

• Melhores práticas para implantar o Hadoop Server no CentOS/Rhel 7 - Parte 1
• Configurando pré -requisitos do Hadoop e endurecimento de segurança - Parte 2
• Como instalar e configurar o gerente de Cloudera no CentOS/RHEL 7 - Parte 3
• Como instalar o CDH e configurar as colocações do serviço no CentOS/RHEL 7 - Parte 4

Neste artigo, vamos habilitar Namenode alta disponibilidade em Gerente de Cloudera.

Etapa 1: Instalação do Zookeeper

1. Logar em Gerente de Cloudera.

http: // your-ip: 7180/cmf/home 

Painel de gerente de cloudera

2. No Conjunto (Tecmint) Ação Prompt, selecione “Adicionar serviço”.

Adicionar serviço no gerente de cloudera

3. Selecione o serviço “Funcionário do zoológico”.

Serviço de Zookeeper

4. Selecione os servidores onde teremos Funcionário do zoológico instalado.

Adicione o serviço Zookeeper

5. Nós vamos ter 3 Zookeepers formar Quorum Zookeeper. Selecione os servidores, conforme mencionado abaixo.

Crie quorum Zookeeper

6. Configure o Funcionário do zoológico propriedades, aqui estamos tendo os padrão. Em tempo real, você precisa ter pontos de diretório/montagem separados para armazenar Funcionário do zoológico dados. Em Parte 1, Explicamos sobre a configuração de armazenamento para cada serviço. Clique 'continuar'Para prosseguir.

Configure propriedades do Zookeeper

7. A instalação começará, uma vez instalado Funcionário do zoológico será iniciado. Você pode ver as operações em segundo plano aqui.

Instalando o serviço Zookeeper

8. Após a conclusão bem -sucedida da etapa acima, o status será 'Finalizado'.

Zookeeper instalado

9. Agora, Funcionário do zoológico é instalado e configurado com sucesso. Clique no 'Terminar'.

Zookeeper configurado

10. Você pode ver o Funcionário do zoológico serviço no Gerente de Cloudera Painel.

Veja o serviço Zookeeper

Etapa 2: Ativando o Namenode High Disponibilidade

11. Vá para Gerente de Cloudera -> HDFS -> Ações -> Ativar alta disponibilidade.

Permitindo alta disponibilidade

12. Introduzir o Nome do NameService como "NameService1” - Este é um espaço de nome comum para namenode ativo e em espera.

Adicione o nome do NameService

13. Selecione os Segundo namenode onde vamos ter espera Namenode.

Escolha o segundo namenode

14. Aqui estamos selecionando Master2.Tecmint.com para espera Namenode.

Selecione host para namenode

15. Selecione os Diário nós, esses são serviços obrigatórios para sincronizar Ativo e espera Namenode.

Selecione nós Jouranal

16. Nós estamos fazendo Quorum Journal Colocando o Diário Nó em 3 servidores, como mencionado abaixo. Selecione 3 servidores e clique em 'OK'.

Crie um diário de quorum

17. Clique 'Continuar'Para prosseguir.

Atribuir funções ao Quorum Journal

18. Introduzir o Nó do diário caminho de diretório. Apenas precisamos mencionar o caminho durante a instalação deste diretório será criado automaticamente pelo próprio serviço. Estamos mencionando como '/JN'. Clique 'Continuar'Para prosseguir.

Adicionar caminho do nó do diário

19. Ele começará a habilitar o Alta disponibilidade.

Permitindo alta disponibilidade

20. Depois de concluir todos os processos em segundo plano, nós obteremos 'Finalizado' Status.

Alta disponibilidade terminada

21. Finalmente, teremos uma notificação 'Habilitado com sucesso alta disponibilidade'. Clique 'Terminar'.

Alta disponibilidade ativada

22. Verifique o Ativo e Namenode em espera indo para Gerente de Cloudera -> HDFS -> Instâncias.

Verifique a alta disponibilidade

23. Aqui você pode dar dois Namenodes, um estará no 'Ativo'Estado e outro estará em'Espera' estado.

Verifique os namenodos

Conclusão

Neste artigo, passamos pelo processo passo a passo para ativar Namenode alta disponibilidade. É altamente recomendável ter Namenode alta disponibilidade em todos os grupos em um ambiente em tempo real. Por favor, poste suas dúvidas se você enfrentar algum erro ao fazer este processo. Vamos ver Alta disponibilidade do gerente de recursos no próximo artigo.