Como configurar o cluster de vários nós do Hadoop no CentOS 7/6

A biblioteca de software Apache Hadoop é uma estrutura que permite o processamento distribuído de grandes conjuntos de dados em grupos de computadores usando modelos de programação simples.

Nosso artigo anterior sobre Hadoop estava descrevendo como configurar o cluster de um único nó. Este artigo o ajudará a instalar e configurar passo a passo e configurar o Hadoop Multi-Node Cluster no CentOS/Rhel 6.

Detalhes da configuração:

Hadoop Master: 192.168.1.15 (Hadoop-mestre)
Slave Hadoop: 192.168.1.16 (Hadoop-Slave-1)
Slave Hadoop: 192.168.1.17 (Hadoop-Slave-2)

Passo 1. Instale Java

Antes de instalar o Hadoop, certifique -se de ter o Java instalado em todos os nós de sistemas de cluster Hadoop.

# java -version java versão "1.7.0_75 "Java (TM) SE Ambiente de tempo de execução (construção 1.7.0_75-B13) Java Hotspot (TM) de 64 bits VM (Build 24.75-B04, modo misto) 

Se você não tiver Java instalado, use a seguir o artigo para instalar Java.

Etapas para instalar o Java 7 no CentOS/Rhel 7/6/5

Passo 2. Criar conta de usuário

Crie uma conta de usuário do sistema nos sistemas mestre e escravo para usar na instalação do Hadoop

# userAdd hadoop # passwd hadoop 

Alterando a senha para o usuário Hadoop. Nova senha: reddeme a nova senha: Passwd: todos os tokens de autenticação atualizados com sucesso. 

Etapa 3: Adicione o mapeamento FQDN

Editar /etc/hosts Arquivo em todos os servidores mestre e escravo e adicione as seguintes entradas.

# vim /etc /hosts 

192.168.1.15 Hadoop-Mestre 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2 

Passo 4. Configurando o login baseado em chave

É necessário configurar o usuário do Hadoop para ssh sem senha. Use os seguintes comandos para configurar o login automático entre todos os servidores de cluster Hadoop…

# su -hadoop $ ssh -keygen -t rsa $ ssh -copy -id -i ~//.ssh/id_rsa.pub [email protegido] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [email protegido] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [email protegido] $ chmod 0600 ~///.ssh/autorizado_keys $ saída 

Etapa 5. Baixar e extrair a fonte do Hadoop

Faça o download da versão mais recente do Hadoop disponível em seu site oficial apenas no Hadoop-Master Server.

# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // apache.mesi.com.AR/Hadoop/Common/Hadoop-1.2.0/Hadoop-1.2.0.alcatrão.gz # tar -xzf hadoop -1.2.0.alcatrão.gz # mv hadoop-1.2.0 Hadoop # CHOWN -R HADOOP/OPT/HADOOP # CD/OPT/HADOOP/HADOOP/ 

Etapa 6: Configure o Hadoop

Primeiro edite arquivos de configuração do Hadoop e faça as seguintes alterações.
6.1 editar o local do núcleo.xml

# vim conf/site de núcleo.xml 

#Add o seguinte dentro da etiqueta de configuração fs.padrão.nome hdfs: // hadoop-master: 9000/dfs.Permissões falsas  

6.2 Editar HDFS-Site.xml

# vim conf/hdfs-site.xml 

# Adicione o seguinte dentro da tag de configuração DFS.dados.dir/opt/hadoop/hadoop/dfs/nome/data true dfs.nome.DIR/OPT/HADOOP/HADOOP/DFS/NOME TRUE DFS.Replicação 1  

6.3 Editar o MapRed-Site.xml

# vim conf/mapred-site.xml 

# Adicione o seguinte dentro da etiqueta de configuração mapeada.trabalho.Tracker Hadoop-Mestre: 9001  

6.4 edite hadoop-env.sh

# vim conf/hadoop-env.sh 

exportar java_home =/opt/jdk1.7.0_75 exportar hadoop_opt = -djava.líquido.preferipv4stack = exportação true hadoop_conf_dir =/opt/hadoop/hadoop/conf 

Defina o caminho Java_Home, conforme a configuração do seu sistema para Java.

Etapa 7: Copie a fonte do Hadoop para servidores de escravos

Depois de atualizar a configuração acima, precisamos copiar os arquivos de origem para todos os servidores escravos.

# su-hadoop $ cd/opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop hadoop-slave-2:/opt/hadoop 

Etapa 8: Configure apenas no servidor mestre

Vá para a pasta de origem do Hadoop no Hadoop-Mestre e faça as seguintes configurações.

# su - hadoop $ cd/opt/hadoop/hadoop 

$ vim conf/mestres Hadoop-mestre 

$ vim conf/escravos Hadoop-Slave-1 Hadoop-Slave-2 

Nome do nome do formato apenas no Hadoop Master

# SU - Hadoop $ CD/Opt/Hadoop/Hadoop $ bin/Hadoop Namenode -Format 

13/07/13 10:58:07 Informações Namenode.Namenode: startup_msg: /*********************************************** *************** Startup_MSG: Iniciando Namenode startup_msg: host = hadoop-mestre/192.168.1.15 startup_msg: args = [-format] startup_msg: versão = 1.2.0 startup_msg: build = https: // svn.apache.org/repos/ASF/hadoop/Common/Branches/Branch-1.2 -R 1479473; Compilado por 'Hortonfo' em Seg 6 de maio 06:59:37 UTC 2013 startup_msg: java = 1.7.0_25 *************************************************** ***********/13/07/13 10:58:08 Informações Util.GSET: Capacidade de computação para mapa Blocksmap 13/07/13 10:58:08 Informações Util.GSET: VM Tipo = 32 bits 13/07/13 10:58:08 Informações Util.GSET: 2.0% Memória máxima = 1013645312 13/07/13 10:58:08 Informações Util.GSET: Capacidade = 2^22 = 4194304 Entradas 13/07/13 10:58:08 Informações Util.GSET: Recomendado = 4194304, real = 4194304 13/07/13 10:58:08 Info Namenode.FSNamesystem: fsowner = Hadoop 13/07/13 10:58:08 Info Namenode.Fsnamesystem: supergrupo = supergrupo 13/07/13 10:58:08 Info Namenode.Fsnamesystem: ispermissionEnabled = true 13/07/13 10:58:08 Info NameNode.FSNamesystem: dfs.bloquear.invalidar.limite = 100 13/07/13 10:58:08 Informações Namenode.FSNamesystem: isaccessTokenEnabled = false AccessKeyUpDateInterval = 0 min (s), AccessTokenLifeTime = 0 min (s) 13/07/13 10:58:08 Info NameNode.FseditLog: dfs.Namenode.Editar% s.tolerância.comprimento = 0 13/07/13 10:58:08 Informações Namenode.Namenode: nomes de arquivos em cache que ocorrem mais de 10 vezes 13/07/13 10:58:08 Info Common.Armazenamento: Arquivo de imagem do tamanho 112 salvo em 0 segundos. 13/07/13 10:58:08 Informações Namenode.FSEDITLOG: Fechando Editar Log: Position = 4, EditLog =/Opt/Hadoop/Hadoop/DFS/Name/Current/Edits 13/07/13 10:58:08 Info NameNode.FseditLog: Sucesso próximo: truncado a 4, editLog =/opt/hadoop/hadoop/dfs/name/current/edita 13/07/13 10:58:08 Info Common.Armazenamento: Diretório de armazenamento/opt/hadoop/hadoop/dfs/nome foi formatado com sucesso. 13/07/13 10:58:08 Informações Namenode.Namenode: Shutdown_msg: /*********************************************** *************** Shutdown_msg: Desligando o Namenode em Hadoop-Mestre/192.168.1.15 ***************************************************** ***********/ 

Etapa 9: Start Hadoop Services

Use o seguinte comando para iniciar todos os serviços do Hadoop no Hadoop-Mestre

$ bin/start-all.sh