Como descobrir quem está conectando em seu banco Oracle?

Hoje venho abordar um problema do dia a dia de um DBA. Imagine a situação em que o DBA recebe um chamado de dar unlock em um usuário, poucos minutos depois recebe mais um, e depois outro e etc… Em sistemas é comum a configuração de um mesmo schema em diversos lugares. Agora uma provável alteração de senha pode gerar uma dor de cabeça do tamanho de um AT-AT. 

Como podemos entender qual sistema que está tentando acessar o banco com a senha errada? 

Com o problema descrito, escrevi um código baseado no DBA_AUDIT_SESSION para obter informações do usuário do sistema operacional, usuário do banco, dia e hora da tentativa de acesso e host que está tentando acessar o schema e database. No Código abaixo é possível customizar o username e hora em que é necessário realizar tal pesquisa.

------------------------------------------------------------------------------------------------------------

select 

  os_username, 

  username, 

  to_char(timestamp, 'dd-mm-yyyy hh24:mi:ss'), 

  userhost 

from dba_audit_session

where 

  returncode<>0

  AND (to_char(timestamp, 'dd-mm-yyyy hh24:mi:ss') between '28-12-2016 09:47:00' and '28-12-2016 10:00:00’)

  AND username='nome_do_schema'

order by to_char(timestamp, 'dd-mm-yyyy hh24:mi:ss') desc;

------------------------------------------------------------------------------------------------------------

Agora que a curiosidade de resolver o problema foi saciada, aproveito para explicar o que raios é DBA_AUDIT_SESSION. Para facilitar a vida, cito aqui a definição de auditoria pelo blog http://www.profissionaloracle.com.br/gpo/servicos/easyblog/entry/2009/09/27/auditoria-no-oracle-10g: “Auditoria é a habilidade do banco de dados Oracle poder gerar logs de auditoria (XML, tabelas, arquivos de SO, …) em atividades suspeitas do usuário, como por exemplo: monitorar o que um determinado usuário está fazendo ou até mesmo saber para qual valor a coluna de salário da tabela empregados está sendo atualizadas. Com a auditoria, esses dados são facilmente capturados e guardados para posteriormente serem analisados.”

DBA_AUDIT_SESSION disponibiliza todo os rastros de dados ligados a CONNECT e DISCONNECT.

Obrigado pela atenção mais uma vez.

Lucas Rehem de Azevedo

Links  utilizados nesse post:

http://www.profissionaloracle.com.br/gpo/servicos/easyblog/entry/2009/09/27/auditoria-no-oracle-10g

https://docs.oracle.com/cd/B28359_01/server.111/b28320/statviews_3071.htm#REFRN23021

Migrar informações de Conexão do ODI

Bom dia a todos,

Esse post tem como intuito apenas de mostrar como migrar aquelas suas conexões que você nem lembra mais a senha, para um outro client do ODI.

Para isso é necessário migrar o arquivo snps_login_work.xml. Esse arquivo contém o acesso da conexão do ODI criptografado, basta adicionar esse arquivo no seguinte caminho:

C:\Users\nome_do_usuario\AppData\Roaming\odi\oracledi\

Caso o já tenha um outro arquivo como esse, sugiro que faça um backup.

Após adicionado o arquivo no local, feche e abra o client do ODI. 

Entendendo um pouco mais sobre o relacionamento do HDFS com Namenode e Datanode

Bom dia a todos,

Hoje venho abordar um pouco sobre o que são os Namenodes e o que são os Datanodes. O que eles comem, onde vivem e como se reproduzem.

Um cluster hadoop possui dois tipos de nós:

Namenode(nó mestre)

• Geralmente 1 ou 2 nós. serão 2 quando for necessário manter uma redundância
• Controla arquivos que entram, que saem e e seu local no sistema de arquivos
• É o grande responsável por gerenciar o HDFS. Trabalha no nível gerencial
• Acesso garantido a todos os nós do cluster. 

1. Acesso ilimitado ao HDFS das máquinas do cluster. De maneira que possa ler e escrever

• O HDFS sem o ter o namenode não funciona. Pois é necessário um gerenciador (Namenode)
• Funções:

1. Particiona os arquivos e mandar armazenar nos datanodes
2. Tem o endereço de cada bloco de endereço de dados
3. Encaminha bloco de dados aos Datanodes
4. Fica no nó mestre da aplicação

• Quando ocorre uma falha:

1. Todos os arquivos serão perdidos, exceto se tiver a replicação desses blocos de arquivos nos datanodes

• Recuperação

1. Backup nos datanodes
2. Ter um segundo namenode

Datanode (nó escravo)

• Número ilimitado de nós. Quanto mais nós maior a força de trabalho
• Dispensável em caso de alguma falha desde que os dados de um datanode também esteja em outro datanode
• Tem como função resumida de Processar, devolver e armazenar
• São os trabalhadores que processam os arquivos
• Dependem de instruções repassadas pelo namenode
• Armazenam os blocos de dados do HDFS
• Periodicamente encaminham uma lista ao namenode de tudo que eles tem em seu HDFS. Tal parâmetro é configurável de maneira que envie esse sinal em um tempo maior ou menor

Muito obrigado por toda atenção. Toda e qualquer dúvida/sugestão será bem vinda.

Formato e Conceitos do HDFS

Olá pessoal,

Hoje irei entrar um pouco mais fundo no HDFS. Comentando sobre o sistema distribuído, formato do cluster, tamanho dos arquivos, acesso aos dados e sobre o Hardware.

Sistema distribuído de Arquivos do Hadoop

    - Otimizado para utilizar grande massa de dados
    - Quebra arquivos em partes de maneira que seja possível distribuir os dados entre as máquinas em cluster
        - Essa necessidade vem de que uma máquina só não consegue realizar tal processamento devido que esse arquivo(vamos chama-lo de dataset) extrapola o armazenamento de uma máquina
    - Dessa forma é feito o particionamento desse dataset entre outras máquinas que estão interligadas no cluster
    - Responsável por gerenciar e armazenar os dados através de uma rede
    - o mesmo dado que está sendo processado por um nó é replicado para outros nós. Pois no caso de um nó falhar o dado não processado não é perdido, um outro nó tem a responsabilidade de realizar a tarefa
        - O qual é o maior desafio. Gerenciar e tolerar falhas com o objetivo de evitar a perda de informação
    - O HDFS é o sistema distribuído do hadoop que garante a tolerância a falha através da replicação de blocos de dados através dos nós do cluster.

Formato do Cluster

    - Máquina Master, que é o Mestre do cluster. É quem distribui trabalho para os Slaves e é quem controla o HDFS
    - Máquinas Slaves, que são controladas pelo Master.
    - O ideal é ter um backup do master, que é o que garante a tolerância a falhas do master. não é comum ter uma máquina ociosa para garantir o master, deve ser pensado conforme a necessidade de negócio
        - Caso o sistema não seja critico, não existe a necessidade de ter um master redundante
    - É bom lembrar que o hadoop é escalável, de maneira que é possível adicionar mais nós slaves para melhorar e diminuir o tempo de processamento
   
Grandes Arquivos

    - Megabytes, Gigabytes, Terabytes ou Petabytes de dados
    - O Hadoop está preparado tanto para arquivos grandes quanto para grandes quantidades de arquivos pequenos

Acesso aos Dados

    - A apache criou um sistema de arquivos para grande processamento de arquivos. O que possibilita trabalhar com grande massa de dados.
    - De modo que o dado é escrito uma vez e lido muitas vezes! O Hadoop trabalha melhor escrevendo uma vez e analisando o mesmo dado por diversas perspectivas/códigos.
    - A análise pode ser feita sob uma parte dos dados ou todo o conjunto(dataset) de dados.
        - Primeiro fazer uma classificação e ver o resultado, depois fazer algum outro tratamento e ter outro resultado.
        - É possível colocar um filtro antes de rodar algum tipo de tratamento.

Hardware

    - HDFS não requer um cluster com "Super Máquinas".
    - Podem ser utilizadas máquinas
    - Clusters:
        - Homogêneos: Máquinas que compõem o cluster com a mesma configuração
        - Heterogêneo: Máquinas completamente diferentes. Com processadores e núcleos diferentes, memória ram e etc...
        - O Hadoop é o responsável por lidar com a homogeneidade e com a heterogeneidade
            - A máquina com melhor configuração irá receber mais pacotes do que a com menor configuração

Imagem retirada do site https://datafireball.com/2014/07/page/2/

Obrigado pela atenção. Toda e qualquer sugestão/dúvida será bem vinda

Tolerância a falhas do modelo MapReduce pelo framework hadoop

Olá pessoal,

Hoje vamos comentar sobre um dos pontos mais importantes do Hadoop, a tolerância a falhas.

• De onde vem essas possíveis falhas? Como por exemplo:

1. Código feito pelo programador. Quando a exceção do código acontece, é possível ser um motivo de falha
2. Falha de alguma máquina no cluster. Disco danificado ou cheio, memória ram, processador, e etc
3. Comunicação da rede

• O maior beneficio do hadoop é o de lidar com a falha. de modo que o processamento não seja parado em caso de algum erro. A tolerância a falhas do hadoop independe do programador. o framework do hadoop garante o processamento do trabalho iniciado
• O que acontece numa falha?

1. Quando um erro acontece a JVM comunica ao TaskTracker (Responsável pelas tarefas MapReduce)
2. TaskTracker excecuta uma tarefa atribuida ao Map ou Reduce
3. O erro é registrado em um log por meio do TaskTracker e marca a tarefa como falha
4. Em seguida aquele nó(máquina), é liberado para outra tarefa
5. O nó master é avisado da falha e redistribui o trabalho

• Caso o TaskTracker fique sem comunicação ou muito tempo sem receber informações de algum dos nós do cluster, a tarefa que está/estava naquele nó é considerada nula

1. Esse limite de tempo de resposta é configurado dentro dos arquivos de configuração no map-site

• Não é necessário que a JVM avise que um erro aconteceu para se ter uma falha. Caso ocorra o caso citado acima ele já considera uma falha
• Caso uma mesma tarefa falhe sucessivamente:

1. A tarefa pode ser cancelada, e com isso uma parte do arquivo deixa de ser processada.
2. O número limite de tentativas também é configurado nos arquivos de parâmetros

• Existe um parâmetro, também configurável, que serve para cancelar o processamento como um todo quando houverem muitas falhas. Caso o programador deseje que o processamento seja cancelado por ter um número muito alto de falhas, basta programar o percentual de falhas entre todas as tarefas
• Um dos maiores problemas é se o nó mestre falhar

1. Pois geralmente ele não é substituivel. Acontece quando não se tem um nó mestre redundante. O ideal é que a arquitetura desenvolvida tenha em seu planejamento ter um nó reserva para o nó mestre
2. Assim que o nó mestre falha, o nó substituto continua o trabalho. Todas as tarefas são replicadas para o nó reserva.
3. O nó reserva fica em stand by enquanto o nó principal está funcional
4. Caso não exista redundância, o trabalho inteiro terá de ser reprocessado

Obrigado mais uma vez por toda atenção. 

Toda e qualquer sugestão será bem vinda!

Dados Estruturados x Dados Não Estruturados

Dados Estruturados e Não Estruturados

Dados estruturados

- Estão em um formato especifico/rígido

- Exemplo:

o Dados mantidos em SGBD

§  Tabela de banco de dados (existem tipo de dados rigidos - datatype de uma coluna e tamanho máximo de armazenamento)

§  É possível prever o que será inserido em um campo de uma tabela. se é texto, número, o tamanho máximo e etc

Dados Não Estruturados

·         - Não existe rigidez ou quase nenhum sobre os dados

·         - Não existe datatype, tamanho e etc

·         - Não seguem uma regra. São apresentados como aparecem.

·         - Não possuem estrutura definida
·         - Possui Baixa Integridade 
·         - Tem Escalabilidade Linear

·         - Exemplo:

o    Documentos

o    Imagens

o    Vídeos

o    E-mails

o    Post em redes sociais (Um exemplo prático de uso desse tipo é a análise de sentimento)

o    Dados retirados da internet – blogs

o    Dados de sensores

o    Dados não relacionais

Hadoop x SGBD

Hadoop

·         - Tem a habilidade de lidar com os dois tipos de dados. Estruturados ou não

·        - A grande vantagem do hadoop é a de processar dados não estruturados. O Hadoop processa em lote

·         - O MapReduce processa todos os dados em busca de informação

·         -  Estrutura dinâmica

·         - É indicado em situações onde todos os dados devem ser analisados para se ter uma resposta

·       - Indicado para o caso onde os Dados são gravados apenas uma vez. E são rodados um ou mais algoritmos na mesma base para se ter uma ou mais respostas dependendo do tratamento. Mas adiante teremos um post exclusivo para abordar o desenvolvimento de algoritmos

SGBD

·     - Tem a possibilidade de processamento interativo ou em lote. é possível só processar uma parte de cada vez

·         - Estrutura Rígida e estática

·         - Alta integridade. por ex: a exclusão de um dado que tem dependência em outra tabela

·         - É indicado em situações pontuais. onde em uma consulta é possível ter uma resposta

Toda e qualquer sugestão/dúvida será bem vinda!

Map, Combine e Reduce

Bom dia a todos,

Hoje o meu objetivo é explicar de maneira sucinta as funções Map, Reduce e Combine.


O hadoop trabalha dividindo o processamento em duas funções principais: Map e Reduce.


Primeiro roda a função map, e com os dados resultantes da map o Reduce roda


O código fonte dessas duas funções são implementadas de acordo com o problema. São funções distintas e são feitas pelo programador


O programador além de escrever o código fonte, define os tipos de dados que essas duas funções vão receber


Diante das duas funções, esse modelo MapReduce fornece uma função que acontece entre uma e a outra, a Combine. é encaixada entre o Map e o Reduce


Map

Primeira função a ser executada


cada linha do arquivo/partição que chegou é passada como parâmetro para a função Map


Exemplo de uma função que pode ser aplicada:


map({1,2,3,4}, quadrado) resulta em {1,4,9,16}, gerando uma nova lista


No exemplo acima cada número estava em uma linha do arquivo, sendo que cada linha pode ser processada por uma máquina


o Programador que é o responsável por criar o código da função Map


Os resultados da Map são repassados para a função Reduce


Paralelização e distribuiçÃo são tarefa do Framework hadoop


Reduce

Recebe a lista de dados que foi o resultado do Map. Comparando com o caso anterior, os dados de entrada seriam:


{1,4,9,16}


Aplicar uma função para que a entrada seja reduzida a um único valor de saída


Funções de Reduce Comuns:


Mínimo


Média


Máximo


Ex:


Reduce ({1,4,9,16}, mínimo) = 1


Também criada pelo Programador


Paralelização e distribuição são tarefa do Framework hadoop


Combine

É uma função opcional. Não é obrigatória assim como o Map e o Reduce


É uma função intermediária. Entre o Map e o Reduce.


Pegando os resultados do Map, realiza operações e repassa os resulados para o Reduce


Dessa forma os dados de entrada do Reduce são os dados resultantes da função Combine


Pós processamento do Map e Pré Processamento do Reduce


Também criada pelo Programador


Paralelização e distribuição são tarefa do Framework hadoop


É uma função opcional que funciona como um pré-reduce e tem o objetivo de diminuir a quantidade de dados que chega para a função Reduce




Obrigado mais uma vez pela atenção. Toda e qualquer dúvida/sugestão será bem vinda!

Hadoop - Arquivos de Configuração - Máquinas Master e Slave

Bom dia pessoal,

Hoje vou comentar rapidamente sobre os principais arquivos de configuração do Hadoop.

Arquivos de Configuração Hadoop

- São XML's
- Principais Arquivos:
- Hadoop-env.sh --> Variáveis de ambiente do Hadoop (Home e etc)
- Core-site.xml --> Parâmetros específicos da ferramenta hadoop
- Hdfs-site.xml --> Parâmetros especificos do HDFS (Ex: Tamanho da partição (Block Size))
- Mapred-site.xml --> Tudo que diz respeito ao MapReduce (Ex: Tamanho do Buffer, número de tarefas máximas para cada slave)
- Não XML's
- Slaves
- Contém todos os nós do cluster (IP e nome da Máquina)
- cada linha representa um slave(Worker) do cluster - Namenode
- Masters
- Lista e armazena todas as máquinas Master (o comum é ter 1 master e outro para redundância)
- Cada linha é um Master - Datanode

Obrigado pela atenção. Toda e qualquer dúvida será bem vinda

Mecanismos e Estrutura do Hadoop

Olá Pessoal,

A ideia desses posts é de aproveitar o meu estudo ainda beeeem inicial sobre o assunto e poder compartilhar com todos. Hoje vou abordar de maneira bem resumida os Mecanismos e Estrutura do Hadoop. Toda e qualquer sugestão é bem vinda.

O processo se inicia com o(s) arquivo(s) de entrada (txt e etc...). Esse(s) aquivo(s) fica(m) dentro do HDFS. De modo que são dividos em blocos e processados nas máquinas

O MapReduce divide as 'N' partições em pedaços de 64 MB. Esse tamanho pode ser configurado pelo usuário (block size).

Cluster

- Master

- controla as Slaves

- distribuindo tarefas

- verificando falhas das Slaves

- escolher workers(slaves) inativos para realizarem processos

- Slave (Worker)

- A primeira função utilizada é a Map (Feita pelo programador). O programa fica geralmente no arquivo .jar(caso seja programado em java)

- Todo resultado da função Map é armazenado em buffer. O tamanho do buffer também é configurável, assim como as partições citadas acima.

- Quando o buffer está cheio, os dados são escritos/armazenados em disco

- O resultado da função Map é enviada ao Master

- Os dados são ordenados e agrupados

- O Reduce começa a interação sobre os dados

- Quando tanto a função de map quanto a de reduce terminam, elas notificam o nó master dizendo que o trabalho foi finalizado

- Com isso o master coloca o resultado final em arquivo. Também ficando no(s) arquivo(s) de saída no HDFS

* Lembrando que a paralelização é de responsabilidade do Framework. O programador deve criar as funções Map e Reduce

- O arquivo de programação no hadoop fica no master e é copiado para os Slaves.

Espero que tenham gostado. Em um próximo post vou abordar os arquivos de configuração e tentar entrar um pouco mais no assunto.

Muito obrigado

O uso do Hadoop nas empresas

Um tópico bem interessante discutido no site http://www.cio.com.br, é falado o seguinte: "Segundo um estudo da Forrester, algo entre 60% e 73% dos dados coletados e armazenados pelas empresas, atualmente, não são analisados. “Isso é inaceitável numa era em que perspectivas aprofundadas e melhoria de desempenho configuram-se em uma necessidade competitiva”, avalia os analistas Mike Gualtieri e Noel Yuhanna. "  No link (http://cio.com.br/tecnologia/2016/01/22/hadoop-cinco-empresas-dominam-o-mercado/).

Achei alguns cases bem legais em no site http://computerworld.com.br/. Seguem alguns exemplos:

1. Caesars Entertainment

A companhia de entretenimento em cassinos está usando o novo ambiente Hadoop para identificar diferentes segmentos de consumidor e criar campanhas de marketing específicas para cada um deles. O novo ambiente reduziu o tempo de processamento de 6 horas para 45 minutos para posições-chave. Isso permitiu à Caesars promover uma análise de dados mais rápida e exata, aprimorando a experiência de consumidor e fazendo com que a segurança atendesse os requisitos do setor de pagamentos com cartões. A empresa agora processa mais de 3 milhões de registros por hora.

2. Cerner

A empresa de tecnologia para o setor de saúde construiu um hub de dados corporativos no CDH (Cloudera Distribution), usando processadores Intel Xeon para criar uma visão mais compreensível de qualquer paciente, condição ou tendência. A tecnologia ajuda a Cerner e seus clientes a monitorarem mais de 1 milhão de pacientes diariamente. Entre outras coisas, ela colabora na determinação mais exata da probabilidade de um paciente estar com infecção em sua corrente sanguínea.

3. eHarmony

O site de namoro online recentemente atualizou seu ambiente na nuvem, usando o CDH e os processadores Intel Xeon E5 para analisar um volume massivo e variado de dados. A tecnologia ajuda a eHarmony a disponibilizar novas combinações a milhões de pessoas diariamente. O novo ambiente cloud acomoda análises mais complexas, criando resultados mais personalizados e aumentando a chance de sucesso nos relacionamentos.

4. MasterCard

A empresa foi a primeira a implementar a distribuição CDH do Hadoop após receber certificação PCI completa. A companhia usou os servidores Intel para integrar conjuntos de dados a outros ambientes já certificados. A MasterCard incentiva seus clientes a adotarem o sistema através do seu braço de serviços profissionais, o MasterCard Advisors.

5. FarmLogs

A companhia de software para gerenciamento de produções agrícolas usa analytics em tempo real rodando nos processadores Intel Xeon E5 para fornecer dados sobre colheita, condições de plantio e estado da vegetação para 20% das fazendas americanas. A tecnologia ajuda os fazendeiros a aumentarem a produtividade de seus acres.

Devemos buscar explorar mais isso aqui em nosso País. Pois com um baixo custo podemos ter um crescimento em sua área de negócio através do conhecimento.

Obrigado a todos pela atenção

Fontes:

http://cio.com.br/tecnologia/2016/01/22/hadoop-cinco-empresas-dominam-o-mercado/
http://computerworld.com.br/como-sete-empresas-usam-hadoop-para-reforcar-aplicacoes-de-big-data

Descomplicando, ou não, o Hadoop?

História do hadoop

Em 2003 foi feita uma proposta de uma ferramenta pelo google que deveria ter tais pontos:

- altamente escalavel
- tolerante a falhas
- GFS - google file system, sitema de arquivos distribuidos
- introdução do modelo MapReduce (Será abordado em outro post) - Base de toda a solução           proposta

MapReduce - Modelo de processamento paralelo e distribuido

Surgiu uma ferramenta da Apache - O Apache hadoop (contendo todos os requisitos citados pela google) - Citados acima - open source - Baseado em MapReduce

O projeto apache hadoop:

- Um framework composto por várias outras partes que formam um todo
- Permite o processamento distribuido (várias máquinas em um cluster) e paralelo (cada core do processador vai ficar responsável por parte do processamento)
- Hadoop common - aplicativos comuns a todos os outros módulos/parte do ambiente hadoop
- Hadoop distributed file system (HDFS)
- Sistema de arquivo próprio da ferramenta
- Sistema de arquivos otimizado do hadoop
- sistema preparado para trabalhar com grandes massas de dados de maneira paralela e                    distribuída

Ferramentas:

Hadoop Yarn
- Framework para distribuição de tarefa
- Gerenciar recurso do cluster
- Trabalha com memória disponível, tolerância a falhar de maneira automática
Hadoop MapReduce
- principal idéia da ferramenta
- Em duas funções principais
- Map
- Reduce
- Processamento distribuido, paralelo e tolerante a falhas
Ambari
- Ferramenta para Gerenciar e monitorar o uso das CPU's
- Consumo de CPU, memória e rede por máquina / a utilização total do cluster
- Consegue ver falhar e recupereções do cluster
HBase
- Banco de dados não relacional e distribuido
- Suporta armazenamento estruturado em grandes tabelas (Big Table)
Similar a um SGBD normal mas feito para um volume de dados
- Aproveita todas as vantagens do modelo MapReduce
Hive
- Estrutura para DW (otimizado para dados sumarizados)
- é possível integração das big tables (HBase) com o Hive
- Suporta consultas SQL, indexação e Grandes Conjuntos de dados
Mahout
- Biblioteca para machine learning
- Mineração de dados por meio de classificações, agrupamento e etc
- Similar com a ferramenta ECA
Spark
- Estrutura que prioriza processamento em memória
- Hadoop utiliza muito a gravação em disco x Spark em memória
- MAchine learning, grafos e streaming
Zookeeper
- coordena bloqueios, sincronização de threads e serviços
- mantém e coordena sicronização de threads. Facilita toda a parte de programação

Obrigado por toda a atenção

Sugestões de Backup da ferramenta Oracle Business Intelligence Enterprise Edition 11g

Considerar o caminho "/u01/middleware" como a pasta de instalação do OBIEE

Backup Recomendado para a ferramenta Oracle Business Intelligence Enterprise Edition

/u01/middleware/ -> Toda a pasta de instalação (Inclui weblogic e BI)

/u01/middleware/Oracle_BI1/ -> Pasta de binários do BI

/u01/middleware/instances/instance1/bifoundation/OracleBIPresentationServicesCom

ponent/coreapplication_obips1/catalog/SampleAppLite -> Catálogo (Caminho padrão - Sendo possível utilizar somente até a pasta "catalog")

/u01/middleware/instances/instance1/bifoundation/OracleBIServerComponent/coreapp

lication_obis1/repository -> Camada Semântica

Para o backup da ferramenta deverá ser utilizado o Manual “Oracle Fusion

Middleware Administrator's Guide”, pág: 408, item “Backup and Recovery Recommendations for Oracle BI Enterprise Edition”.

Qualquer dúvida ou sugestão será muito bem vinda

Instalação Oracle Data Integrator 11g em Linux - Resumo

Nesse post vou resumir como funciona uma instalação do ODI 11g

Pré-Instalação Oracle Data Integrator 11g

1º - Configurar o arquivo Hosts

 Inserir no arquivo "/etc/hosts" uma linha com IP, NomeDoHost.Domínio e

NomeDoHost

2º - Criação do usuário oracle com os grupos "oinstall", "dba" e "oper":

 useradd -g oinstall -G dba,oper oracle

3º - Criação do diretório de instalação

Criação do diretório de instalação "/u01/middleware" e colocando o usuário oracle como

"owner"

4º - Inserir no arquivo "/etc/security/limits.conf" as seguintes linhas:

oracle         soft    nproc   2047

oracle         hard    nproc   16384

oracle         soft    nofile  4096

oracle         hard    nofile  65536

oracle         soft    stack   10240

5º - Instalar os seguintes Pacotes:

binutils-2.17.50.0.6

compat-libstdc++-33-3.2.3

compat-libstdc++-33-3.2.3 (32-bit)

elfutils-libelf-0.125

elfutils-libelf-devel-0.125

kernel-headers-2.6.18-194.el5.x86_64.rpm

glibc-headers-2.5-49.x86_64.rpm

glibc-devel-2.5-49.x86_64.rpm

libgomp-4.4.0-6.el5.x86_64.rpm

gcc-4.1.1

libstdc++-devel-4.1.2-48.el5.x86_64.rpm

gcc-c++-4.1.1

glibc-2.5-12

glibc-2.5-12 (32-bit)

glibc-common-2.5

glibc-devel-2.5

glibc-devel-2.5-12 (32-bit)

libaio-0.3.106

libaio-0.3.106 (32-bit)

libaio-devel-0.3.106

libgcc-4.1.1

libgcc-4.1.1 (32-bit)

libstdc++-4.1.1

libstdc++-4.1.1 (32-bit)

libstdc++-devel 4.1.1

make-3.81 sysstat-7.0.0

libXp-1.0.0-8.1.el5.x86_64.rpm

openmotif22-2.2.3 (64-bit) (for Oracle Reports Server)

openmotif-2.2.3 (64-bit) (for Oracle Reports Server)

sysstat-7.*

6º - Inserir (ou modificar) as seguintes linhas no arquivo "/etc/sysctl.conf" :

fs.suid_dumpable = 1

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2097152

kernel.shmmax = 536870912

kernel.shmmni = 4096

# semaphores: semmsl, semmns, semopm, semmni

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default=4194304

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=1048586

Pós-Instalação

ATENÇÃO: EXECUTAR APENAS COMO O USUÁRIO QUE INSTALOU O ODI

1º - Criando o agent:

- Executar o instalador do odi (cd /u01/instaladores/Disk1)

./runInstaller

- Inserir o caminho do jdk

/etc/Java/jdk1.6.0_25

- Selecionar apenas a opção “Instalação Stand-alone” e clicar em próximo

- Inserir a mesma pasta que foi utilizada para a instalação (/u01/ODI) e clicar em próximo

- Escolhe a opção “Ignorar Configuração do Repositório” e clicar em próximo

- Escrever o nome do Agente já existente: (Agent01) e porta 20910 clicar em próximo

- Assim que a instalação terminar continuar a configuração seguindo o passo a passo feito pela equipe da Oracle no seguite link:

http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/odi_11g/setup_odi_agent/setup_odi_agent.htm

2º - Subir o Agente criado: (para que ele suba assim que a máquina for iniciada, basta executar a linha que está em itálico)

Cd /u01/ODI/oracledi/agent/bin

./agent -NAME=Agent01

Apertar as teclas: ctrl+z

escrever bg e apertar enter

Porta:

O agente foi configurado na porta padrão: 20910.

Workshop:

Creating an ODI Project and Procedure to Create and Populate a Relational Table.

Link: http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/odi/10g/10135/odiprocedure_create_populate_table/odiprocedure_create_populate_table.htm

Backup:

/u01/ODI/oracledi/agente -> Agent

-Schema do Banco: DEV_ODI_REPO

Para o backup da ferramenta deverá ser utilizado o Manual “Oracle Fusion Middleware Administrator's Guide”, pág: 411, item “Backup and Recovery Recommendations for Oracle Data Integrator”.

Biblioteca: http://docs.oracle.com/cd/E21764_01/odi.htm

Passo a Passo como inciar Oracle Business Intelligence 11g em ambiente Linux

Passo a Passo como inciar Oracle Business Intelligence em ambiente Linux

ATENÇÃO: EXECUTAR APENAS COMO O USUÁRIO QUE INSTALOU A FERRAMENTA

Considerar o caminho "/u01/middleware" como a pasta de instalação do OBIEE

1º- Subir weblogic

/u01/middleware/user_projects/domains/bifoundation_domain/bin

./startWeblogic.sh

usuário e senha (Usuário: weblogic)

Assim que aparecer que o servidor está com o status de running

Apertar as teclas: ctrl+z

escrever bg e apertar enter

2º- Subir NodeManager

/u01/middleware/wlserver_10.3/server/bin

./startNodeManager.sh

Apertar as teclas: ctrl+z

escrever bg e apertar enter

3º- Subir o Servidor de BI

/u01/middleware/user_projects/domains/bifoundation_domain/bin

./startManagedWebLogic.sh bi_server1

Assim que aparecer que o servidor está com o status de running

Apertar as teclas: ctrl+z

escrever bg e apertar enter

4º- Subir os serviços de BI

/u01/middleware/instances/instance1/bin

./opmnctl startall

Para Descer

./opmnctl stopall

Portas (caso a instalação escolhida tenha sido software only e feita do modo padrão):

7001 (console e Enterprise Manager) - Administração

9705 e 9703 (camada semântica)- Administração

9704 (analytics) - Acesso usuário

Qualquer dúvida será bem vinda.