Curso BI parte1

Implementando Business Intelligence com o Microsoft SQL Server 2005 Eduardo Sá dos Reis e Felipe La RoccaTeixeira

Objetivos Fornecer uma visão sobre os conceitos envolvidos na tecnologia de Business Intelligence.         

O que é Business Intelligence? Porque utilizar uma solucão de BI? Como identificar a necessidade de uma solução de BI Sistemas OLTP x OLAP Data Warehouse e Data Mart Processo ETL Modelagem Multidimensional Surrogate Key Metadados

O que é Business Intelligence?

“Descreve as habilidades das corporações para acessar dados e explorar as informações, analisando-as e desenvolvendo percepções e entendimentos a seu respeito, o que as permite incrementar e tornar mais pautada em informações a tomada de decisão” Wikepedia

O que é Business Intelligence?

É um conjunto de ferramentas e metodologias para gestão do negócio que tem como objetivo final auxiliar os responsáveis pela tomada de decisões através da análise das informações internas e externas à empresa.

O que é Business Intelligence?

• O termo Business Intelligence foi criado pelo Gartner Group em 1992

• BI é também conhecido como Inteligência dos Negócios ou Inteligência Empresarial

O que é Business Intelligence?

Resumindo Business Intelligence é a transformação de dados em informações úteis para tomada de decisão sobre os negócios.

Como identificar a necessidade de uma solução de BI

• Quando possuir diversas fontes de dados • Dificuldades de acesso as informações • Informações centralizadas em pessoas • Grande número de produtos, clientes, fornecedores • Grande volume de dados • Necessidade de acesso as informações históricas • Difícil acesso aos relatórios gerenciais • Muitos dados e poucas informações

Porque utilizar uma Solução de BI ? • Agilidade no processo de tomada de decisões. • Compartilhamento da informação com toda a organização • Aumento da competitividade e melhoria nos resultados. • Incremento na qualidade do planejamento operacional e estratégico • Eliminação da obtenção e processamento da mesma informação em duplicidade.

Quem utiliza um sistema de BI ?

Nível estratégico

Business Intelligence

Nível de conhecimentos Nível administrativo Nível operacional

Sistemas OLTP

Componentes de BI O BI é composto de um conjunto de processos, conceitos e tecnologias DATA WAREHOUSE DATA MART OLAP

DATA MINING ETL

MODELAGEM MULTIDIMENSIONAL

SISTEMAS OLTP X SISTEMAS OLAP

OLTP OLTP é a sigla em inglês para Online Transaction Processing, ou Processamento de Transações em tempo real. Um sistema OLTP é um sistema que captura as transações de um negócio e as mantém em estruturas relacionais em um banco de dados Como exemplo de sistemas OLTP temos: Faturamento, Controle de Estoque, Folha de Pagamento, Comércio Eletrônico, etc.

OLTP Principais características de uma sistema OLTP: • Responsável pelas operações de manutenção dos dados: inclusão, alteração e exclusão. • As transações são realizadas em tempo real • Possui uma estrutura de dados otimizada para validar a entrada dos mesmos ou rejeitá-los caso não atendam a determinada regra de negócio. • Possui capacidade limitada para gerar informações para tomada de decisão, pois não é uma prioridade no seu desenvolvimento.

OLAP OLAP é a sigla em inglês para Online Analytical Processing, ou processamento analítico on-line. Um sistema OLAP é projetado para dar suporte aos usuários na realização de consultas, análises e cálculos sobre uma base de dados corporativa.

OLAP Principais características de uma sistema OLAP: • Banco de dados OLAP apresenta um esquema otimizado para que as consultam sejam realizadas rapidamente. • Um sistema OLAP é preparado para gerar relatórios complexos de forma simples • Os usuários podem gerar consultas no sistema OLAP sem que elas estejam pré-definidas • O OLAP é projetado com a finalidade de atender a demanda de consulta a base de dados corporativa.

OLTP x OLAP Características

OLTP-Operacional

OLAP-Decisão

Objetivo

Reg.Operações diárias

Análise do negócio

Visão dos dados

Relacional

Multidimensional

Operações

Incl., Alt., Excl e Cons. Contínua (Tempo real)

Carga e Consulta

Atualização

Interação do Usuário Pré-definida

Periódica (Batch) Pré-definida e ad-hoc

Granularidade

Detalhados

Detalhados e Resumidos

Redundância

Não ocorre

Ocorre

Histórico

Dado mais recente

Mantém o histórico

Data Warehouse

Conceitos de Data Warehouse

Bill Inmon, “Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão.“ Ralph Kimball, “É um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.“

Porque criar um Data Warehouse ? BDs Operacionais

• Integrar dados de múltiplas fontes • Facilitar o processo de análise sem impacto para o ambiente de dados operacionais

DW

• Obter informação de qualidade • Atender diferentes tipos de usuários finais • Flexibilidade e agilidade para atender novas análises

Usuários Finais

A principal idéia do DW é construir um depósito onde será mantida memória histórica dos dados, possibilitando à utilização dos mesmos para consulta e análise estratégica para tomada de decisão.

.

Características do Data Warehouse •Orientado a Assunto: organizado conforme diferentes visões de negócio. Ex: Vendas, Compras, etc. •Integrado: a partir de fontes de dados heterogêneas. •Não Volátil: sempre inserido, nunca excluído. •Variável com Tempo: posições históricas das atividades no tempo.

Granularidade A granularidade diz respeito ao nível de detalhe contido nas unidades de dados existentes do DM. Sua relação é inversamente proporcional: • quanto mais detalhe menor é o nível de granularidade • quanto menos detalhe maior o nível de granularidade.

Exemplo: Um sistema de uma empresa de telefonia registra diariamente todas as ligações efetuadas por seus clientes armazenando seu tempo de duração. A área comercial da empresa necessita analisar o tempo gasto em ligações telefônicas por cliente mensalmente. Neste caso não é necessário carregar no DM o histórico diário de ligações. Os registros diários deverão ser sumarizados por cliente para serem carregados no DM.

Granularidade diária COD CLIENTE

FONE

DATA

HORA INICIO

HORA FIM

20

4333-3098

05/01/2008

10:02:50

10:10:53

20

4211-2651

05/01/2008

14:06:32

14:08:43

20

4563-8261

06/01/2008

20:40:07

20:49:29

. . .

. . .

. . .

. . .

. . .

20

4233-1298

31/01/2008

09:25:26

09:38:15

Granularidade mensal COD_CLIENTE

MÊS

ANO

DURAÇÃO

20

01

2008

262

Data Mart “Um subconjunto lógico do Data Warehouse, geralmente visto como um data warehouse setorial.” (Kimball) Um data mart é um pequeno data warehouse que fornece suporte à decisão para uma determinada área de negócio. Ex.: Vendas, compras, estoque ou recursos humanos. As diferenças entre o data mart e o data warehouse são apenas com relação ao tamanho e ao escopo do problema a ser resolvido

Vantagens do Data Mart

• O custo de implementação e manutenção dos Data Marts é bem menor que o de um DW • Os Data Marts têm o escopo mais limitado e por isso são mais identificados com grupos de necessidades dos usuários • O desenvolvimento de um Data Mart é bem mais rápido do que desenvolvimento de um DW.

Diferenças entre a Filosofia de Bill Inmon e Ralph Kimball

Bill Inmon: Uma empresa inicia com o projeto do Data Warehouse de onde os data marts extraem sua informação.

Ralph Kimball: Inicia-se com a criação de Data Marts que juntos vão formar o Data Warehouse da empresa.

Arquitetura do Data Warehouse Sistemas OLTP

ETL

DW – DM

VISUALIZAÇÃO

Bases de Sistemas Transacionais ________ ________ ________ ________ ________ ________ ______

Dados de Sistemas ERP

Dados Locais

DATA MARTS

EXTRAÇÃO ADEQUAÇÃO LIMPEZA DERIVAÇÃO AGREGAÇÃO

Relatórios

DATA WAREHOUSE

Dados Externos Análise Financeira & Estatística Dados WEB

Deter um enorme volume de dados na sua empresa não quer dizer nada. Você precisa transformar dados brutos em informação.

ETL (extração, transformação e carga)

ETL (extração, transformação e carga)

É o processo responsável por ler os dados dos sistemas de origem, tratar, limpar, transformar e carregar os dados no Datawarehouse.

É uma das fases mais críticas e complexa de um Data Warehouse: -

ambientes heterogêneos várias fontes de dados ausência de modelo de dados de sistemas antigos rotina executada fora do horário de produção

ETL (extração, transformação e carga) Extração: • Conexão com uma ou mais fontes de dados de origem • Seleção somente dos dados necessários

ETL

DATA WAREHOUSE

ETL (extração, transformação e carga) Transformação: • Fundamental para clareza e integração • Processo de padronização dos dados (1/2, M/F, Masc/Fem) • Tratamentos de campos NULL • Uniformização de unidades de medidas, nomes de campos, datas etc. • Concatenação e/ou desmembramento de campos

Transformação (codificação)

Operacional

Codificação

Aplicação A m,f Aplicação B 1,0 Aplicação C x,y Aplicação D masc, fem

Data Warehouse m,f

Transformação (medidas de atributos)

Operacional

Codificação

Data Warehouse

Aplicação A centímetros Aplicação B polegadas Aplicação C milhas Aplicação D jardas

centímetros

Transformação (fontes múltiplas)

Operacional

Codificação

Data Warehouse

Aplicação A descrição Aplicação B descrição Aplicação C descrição Aplicação D descrição

?

descrição

Transformação (chaves discrepantes)

Operacional

Codificação

Data Warehouse

Aplicação A char(10) Aplicação B float (9,2) Aplicação C integer Aplicação D char(12)

Char(12)

ETL (extração, transformação e carga) Carga: É o processo de gravação dos dados no DW ou DM.

carga ETL

DATA WAREHOUSE

Modelagem Multidimensional

Modelagem Multidimensional

É uma técnica de modelagem utilizada para representar as diferentes visões pelas quais um mesmo conjunto de informações pode ser analisado. A modelagem multidimensional é frequentemente utilizada para criação do projeto lógico do DW.

Modelagem Multidimensional Os sistemas de base de dados tradicionais utilizam a normalização para garantir consistência dos dados e uma minimização do espaço de armazenamento necessário. Entretanto, algumas transações e consultas em bases de dados normalizadas podem se tornar lentas devido às operações de junção entre tabelas. Um DW utiliza dados em formato desnormalizados Isto aumenta o desempenho das consultas e, como benefício adicional, o processo torna-se mais intuitivo para os usuários finais.

Para que se destina o Modelo Multidimensional O modelo multidimensional destina-se a análise de dados. Por isso deve-ser : • uma representação simples do modelo de negócios estudado; • um modelo físico de fácil interpretação • sua implementação física do modelo deve maximizar performance das consultas aos dados.

Modelo Estrela É composto de uma tabela central chamada Tabela FATO e de tabelas periféricas denominadas tabelas de DIMENSÕES

Serviço

Paciente Admissão de Pacientes

Tempo

Região Geográfica

Modelo Estrela Tabelas de Dimensões Representam uma visão da área de negócios que se pretende analisar. Ex.: Produto, Cidade, Cliente, etc. Armazenam as descrições textuais das dimensões do negócio . Ex.: Dimensão Cidade (Belo Horizonte, Rio de Janeiro, etc)

Modelo Estrela Tabelas de Dimensões Cada tabela de dimensão deve possuir uma chave primaria pela qual se relacionará com a tabela de Fatos para manter a integridade referencial.

Modelo Estrela Relações e estrutura de uma Dimensão • Uma dimensão pode ser projetada de forma a conter níveis hierárquicos. • Cada nível irá conter seus respectivos membros • Entre os membros e entre os níveis de uma dimensão existem relações do tipo pai, filho, irmão, etc.

Modelo Estrela Relações e estrutura de uma Dimensão Exemplo de Dimensão Região Geográfica * REGIÃO ** ESTADO *** CIDADE

NORTE PARÁ BELÉM

MARABÁ

SUDESTE MINAS GERAIS JUIZ DE FORA

UBÁ

SUL

RIO DE JANEIRO

RIO GRANDE DO SUL

PETROPÓLIS

GRAMADO

• O Sudeste é PAI de Minas Gerais e Rio de Janeiro • Juiz de Fora é filho de Minas Gerais • Todos os membros debaixo do Sudeste são seus descendentes

Modelo Estrela A Dimensão tempo O tempo é parte implícita da informação contida no DW Um DW obrigatoriamente sempre conterá uma dimensão Tempo A dimensão tempo pode ser definida dividindo-se em diferentes hierarquias de tempo. Ex.:

TEMPO * Ano ** Mês *** Dia

Modelo Estrela Tabela Fato Nesta tabela são definidos os campos com os valores que se pretendem analisar. Estes campos são denominados de métricas ou medidas. As medidas são valores numéricos que permitem analisar os fatos.

Ex: valor de vendas, quantidades vendidas, pacientes atendidos.

Modelo Estrela Características da Tabela Fato • A tabela FATO contém chaves externas que se relacionam com suas respectivas tabelas de dimensões • A FATO é a maior tabela do modelo dimensional. Ela possui todas as transações a serem analisadas, podendo possuir milhares ou milhões de registros

Modelo Floco de Neve • É uma variação do modelo Estrela • Consiste em normalizar uma tabela de dimensão para eliminar a redundância de dados

Pais

Floco de Neve Dimensão Região Geográfica

Estado

Paciente Cidade

Serviço

Admissão de Pacientes

Tempo

Considerações sobre os Modelos

Característica Quantidade de Tabelas

Consultas

Armazenamento

Estrela Menor Melhor desempenho

Maior espaço

Floco de Neve Maior Maior vínculo entre as tabelas. Redução desempenho. Economiza Espaço

SURROGATE KEY

Uma surrogate key é uma chave artificial ou sintética que é usada como chave substituta de uma chave natural.

Ralph Kimball

São campos seqüenciais gerados automaticamente pelo banco de dados usados como chave primária para uma tabela, e que não têm conteúdo semântico para a aplicação nem relação com outros dados da tabela.

Porque utilizar a Surrogate Key • As chaves do DW ficam independentes das chaves de produção • Diminui-se a possibilidade de erros no DW durante o processo de ETL • Uma surrogate key é um número inteiro simples enquanto uma chave primaria de produção pode apresentar formatos mais complexos.

METADADOS

Metadados são as informações que descrevem os dados utilizados pela empresa. São informações como descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos, dados de um dicionário de dados, etc.

De acordo com Inmon, os aspectos sobre os quais os metadados mantêm informação são: • A estrutura de dados segundo a visão do programador • A estrutura de dados segundo a visão do Analista da Informação • As fontes de dados que alimentam o DW • A transformação sofrida pelos dados no momento de sua migração para o DW • O modelo de dados do sistema de produção • O relacionamento entre o modelo de dados de produção e o DW • O histórico das extrações

DW Metadados

obrigatório

O papel dos metadados em um ambiente de DW é de grande importância, tornando seu uso obrigatório.