Instale e configure o Apache Oozie Workflow Scheduler para CDH 4.X em Rhel/Centos 6/5

Oozie é um agendador de código aberto para Hadoop, Simplifica o fluxo de trabalho e a coordenação entre os empregos. Podemos definir a dependência entre os trabalhos para dados de entrada e, portanto, pode automatizar a dependência do trabalho usando o Scheduler Ooze Scheduler.

Neste tutorial, eu instalei Oozie no meu nó mestre (eu.e. mestre como hostname e onde namenode/jt estão instalados), no entanto, no sistema de produção Oozie deve ser instalado em um nó Hadoop separado.

As instruções de instalação são divididas em duas partes, chamamos de A e B.

1. A. Instalação Oozie.
2. B. Configuração Oozie.

Vamos primeiro verificar o nome do host do sistema, usando a seguir 'nome de anfitriãoComando.

[[Email Protected]]# HostName mestre

Método A: Instalação Oozie no RHEL/CENTOS 6/5

Usamos o repositório CDH oficial do site da Cloudera para instalar o CDH4. Vá para a seção oficial de download do CDH e faça o download do CDH4 (i.e. 4.6) versão ou você também pode usar o seguinte wget comando para baixar o repositório e instalá -lo.

No RHEL/CENTOS 6

# wget http: // arquivo.Cloudera.com/CDH4/One-Click-Install/Redhat/6/i386/Cloudera-CDH-4-0.I386.RPM # YUM-NOGPGCHECK LocalInstall Cloudera-CDH-4-0.I386.rpm # wget http: // arquivamento.Cloudera.com/CDH4/One-Click-Install/Redhat/6/x86_64/Cloudera-CDH-4-0.x86_64.RPM # YUM-NOGPGCHECK LocalInstall Cloudera-CDH-4-0.x86_64.RPM

Em Rhel/Centos 5

# wget http: // arquivo.Cloudera.com/CDH4/One-Click-Install/Redhat/5/i386/Cloudera-CDH-4-0.I386.RPM # YUM-NOGPGCHECK LocalInstall Cloudera-CDH-4-0.I386.rpm # wget http: // arquivamento.Cloudera.com/CDH4/One-Click-Install/Redhat/5/x86_64/Cloudera-CDH-4-0.x86_64.RPM # YUM-NOGPGCHECK LocalInstall Cloudera-CDH-4-0.x86_64.RPM

Uma vez, você adicionou o repositório CDH no seu sistema, você pode usar o seguinte comando para instalar Oozie no sistema.

[[Email Protected] ~]# yum install oozie

Agora, instale o cliente Oozie (o comando acima deve cobrir a parte de instalação do cliente, no entanto, se não, tente abaixo o comando).

[[Email Protected] ~]# yum install oozie-client

Observação: A instalação acima também configura o serviço Oozie para executar na inicialização do sistema. Bom trabalho! Terminamos a primeira parte da instalação agora vamos passar para a segunda parte para configurar o Oozie.

Método B: Configuração do Oozie no RHEL/CENTOS 6/5

Como Oozie não interage diretamente com o Hadoop, não precisamos de nenhuma configuração mapeada aqui.

Cuidado: Por favor, definir todas as configurações enquanto Oozie não estiver em execução, isso significa que você deve seguir as etapas abaixo enquanto o serviço Oozie não estiver em execução.

Oozie tem 'Derby'Como padrão incorporado no banco de dados, eu recomendaria que você use MySQL DB. Então, vamos instalar o banco de dados MySQL usando o seguinte artigo.

1. Instale o banco de dados MySQL em RHEL/CENTOS 6/5

Depois de terminar com a parte de instalação, vá em seguida para criar o Oozie DB e conceder privilégios, como mostrado abaixo.

[[Email Protected] ~]# mysql -Uroot -P Digite Senha: Bem -vindo ao MySQL Monitor. Os comandos terminam com; ou \ g. Seu ID de conexão MySQL é 3 versão do servidor: 5.5.38 MySQL Community Server (GPL) por Remi Copyright (C) 2000, 2014, Oracle e/ou suas afiliadas. Todos os direitos reservados. O Oracle é uma marca registrada da Oracle Corporation e/ou suas afiliadas. Outros nomes podem ser marcas registradas de seus respectivos proprietários. Digite 'ajuda;' ou '\ h' para obter ajuda. Digite '\ c' para limpar a instrução de entrada atual. mysql> criar banco de dados Oozie; Consulta ok, 1 linha afetada (0.00 seg) mysql> conceder todos os privilégios em Oozie.* para 'oozie'@'localhost' identificado por 'Oozie'; Consulta ok, 0 linhas afetadas (0.00 seg) mysql> conceder todos os privilégios em Oozie.* para 'oozie'@'%' identificado por 'oozie'; Consulta ok, 0 linhas afetadas (0.00 seg) mysql> saída Tchau

Em seguida, configure propriedades Oozie para MySQL. Abrir 'Site Oozie.xml'Arquivo e editar as seguintes propriedades, conforme mostrado.

[[Email Protected] ~]# cd/etc/oozie/conf [[email protegido] conf]# vi oozie-site.xml

Insira as seguintes propriedades (basta substituir o mestre [meu nome de anfitrião] com o seu nome de anfitrião).

 Oozie.serviço.Jpaservice.JDBC.driver com.mysql.JDBC.Motorista Oozie.serviço.Jpaservice.JDBC.url jdbc: mysql: //mestre: 3306/oozie oozie.serviço.Jpaservice.JDBC.Nome de usuário Oozie Oozie.serviço.Jpaservice.JDBC.Senha Oozie 

Baixar e adicionar o MySQL JDBC jarra de driver de conectividade para o diretório Lib Oozie. Para fazer isso, execute o seguinte sério de comando no terminal.

[[Email Protected] Oozie]# CD/TMP/[[Email Protected] TMP]# WGET http: // dev.mysql.com/get/downloads/conector-j/mysql-conector-java-5.1.31.alcatrão.GZ [[Email Protected] tmp]# tar -zxf mysql-conector-Java-5.1.31.alcatrão.GZ [[Email Protected] TMP]# CD MySQL-Connector-Java-5.1.31 [[Email protegido] MySQL-Connector-Java-5.1.31]# CP MySQL-Connector-Java-5.1.31-BIN.jar/var/lib/oozie/

Crie esquema de banco de dados Oozie executando os comandos abaixo e observe que isso deve ser executado como usuário Oozie.

[[Email protegido] ~]# sudo -u oozie/usr/lib/oozie/bin/ooziedb.sh Criar -Run

Saída de amostra

Definindo definição oozie_config =/etc/oozie/conf configuração oozie_data =/var/lib/oozie configuração oozie_log =/var/log/oozie cenário oozie_catalina_home =/usr/libop/bigtop-tomcat catalina_tmpdir =/var/liB /var/run/oozie/oozie.Configuração PID catalina_base =/usr/lib/oozie/oozie-server-0.20 Configuração Catalina_OPTS = -xmx1024m Configuração oozie_https_port = 11443… DOZE OOZIE DB foi criado para a versão Oozie '3.3.2-CDH4.7.0 'Os comandos SQL foram escritos para: /tmp/ooziedb-8250405558513665350.SQL

Você precisa baixar Extjs lib Da Internet para ativar o Oozie Web Console. Vá para a página oficial do CDH ExtJs e faça o download Extjs versão 2.2 bibliotecas ou você pode baixar o pacote usando o seguinte comando.

[[Email Protected] ~]# CD/TMP/[[Email Protected] TMP]# WGET http: // arquivamento.Cloudera.com/gplextras/misc/ext-2.2.ZIP [[Email Protected] TMP]# UNZIP EXT-2.2.ZIP [[Email Protected] TMP]# MV Ext-2.2/var/lib/oozie/

Por fim, inicie o servidor Oozie, executando os seguintes comandos.

[[Email Protected] TMP]# Serviço Oozie Status não está em execução. [[Email Protected] tmp]# serviço oozie start [[email protegido] tmp]# serviço oozie status em execução [[email protegido] tmp]# oozie admin -oozie http: // localhost: 11000/oozie -status Modo: normal

Open Oozie Ui usando seu navegador favorito e aponte para o seu endereço IP. Nesse caso, meu IP é 192.168.1.129.

http: // 192.168.1.129: 11000

Agora, se você vir esta interface do usuário. Parabéns!! Você configurou com sucesso Oozie.

Este procedimento foi testado com sucesso em RHEL/CENTOS 6/5. Nos meus próximos artigos, vou compartilhar como configurar e agendar empregos no Hadoop via Oozie. Fique conectado para mais e não se esqueça de comentar seu feedback.