BASE DE CONHECIMENTO

BIMachine ❱ Administração projetoDados

Criando estrutura CSV

Para criar uma estrutura CSV,  acesse o ícone  ou "Gerenciar Ambiente",  aonde temos em dois locais destacados abaixo.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/como-se-cria-uma-estrutura-de-origem-sql/inicioestrutura.png


Na aba do projeto, selecione a aba de "Dados" e clique em "Adicionar".

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/atualizando-os-dados-de-uma-estrutura-csv/estrutura-lista.png


Abrirá a tela com 6 passos, sendo a primeira "Informações" para criar nova estrutura de dados, informe:

  • Nome Visualização: nome da estrutura;
  • Descrição: uma breve descrição do projeto, se desejar colocar;
  • Manter Histórico dos Dados: não é mais possível remover os dados já inseridos, mas pode ser inserido dados novos;
  • Ícone: para mudar o ícone da estrutura (o mesmo de "pastas" do projeto);
  • Grupo: pode deixar a estrutura em um grupo, organizando as estrutura deixando separado por grupo;
  • Tipo estrutura: sendo que existe a analítica e a de dados.
    • Analítica: criar objetos a partir da informação dessa estrutura;
    • Dados: serve como apoio para criação de uma estrutura mais complexa (não sendo possível explorar os dados).

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/novaestrutura.png


Na próxima tela "Origem dos dados, você irá informar o tipo de estrutura que será criada, neste caso escolhemos CSV:

Clique sobre "Opções avançadas", para expandir os campos que irão garantir que sua estrutura funcione da forma esperada:

  • Codificação do Arquivo: qual o tipo de codificação que o arquivo se encontra;
  • Formato Numérico: dependendo da sua Região, os campos de valor pode ser separado por vírgula ou ponto;
  • Linhas ignoradas no início: representa o número de linhas no início do seu CSV que não será carregada (Importante: O cabeçalho já é ignorado por padrão, afinal é o nome das futuras dimensões)
  • Delimitador de Texto: aqui é informado como é separado os arquivos de texto;
  • Formato da Data: aqui você define que formato de data se encontra no seu arquivo;
  • Separador: aqui é informado como é o separador do arquivo, geralmente é por ";
  • Ignorar erros: caso o arquivo CSV contenha erros em alguma linha, a mesma será descartada;
  • Ignoradas no fim: representa o número de linhas no fim do seu CSV que não será carregada.

Importante: O arquivo se restringe no máximo 50Mb.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/atualizando-os-dados-de-uma-estrutura-csv/avancadocsv.png


Nota: não esqueça de escolher o arquivo CSV, TXT ou ZIP (podendo ter um arquivo grande no formato TXT ou CSV), só depois que o arquivo for carregado o botão "Próximo" será habilitado.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/o-que-sao-os-tipos-de-origem-sql-dw-csv/origemtipocsv.png


Algumas ações nestas telas são possíveis:

  • Gerar formato BIG TABLE (botão selecionar): define a estrutura que armazena os dados da origem;
    • Marcado: cargas um pouco mais demoradas, mas com acesso aos Objetos mais rápido e mais agilidade nas alterações do mesmo;
    • Desmarcado: cargas mais rápidas, mas com acesso um pouco mais lento aos Objetos e pode ocorrer algumas lentidões nas alterações dependendo a dimensão usada;
  • Padronizar dados(botão selecionar): ele já vem marcado, podendo na próxima etapa definir essa padronização, se desmarca a etapa "padronização" não é oferecida.

Importante: na edição da estrutura, se optar em modificar a necessidade de marcar/desmarcar "Gerar formato BIG Table", é necessário  clicar no botão "Habilitar edição de Estrutura". E finalizar os passos conforme descrito neste tópico, cuidado pois ao editar a estrutura e modificar este recurso, os agendamentos criados serão apagados ao finalizar a edição.


Na próxima tela "Padronização" se tiver marcado para padronizar os dados, você irá definir a forma que as descrições vão aparecer, sendo os seguintes parâmetros:

  • Case
    • Maiúsculo: coloca a descrição com as palavras maiúsculas;
    • Minusculo: coloca a descrição com as palavras minusculas;
    • Capitalizar: coloca a descrição com as palavras com a primeira letra maiúscula e o resto minusculo.
  • Acentuação
    • Manter acentuação: remover as acentuações na descrição;
    • Remover acentuação: mantém as acentuações na descrição.
  • Trim: se marcar, ele remove espaços no inicio e no fim da descrição, se houver ;
  • Trim entre palavras: se marcar, remove os espaços entre as palavras na descrição, se houver.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/padronizacao.png


Na próxima tela "Estrutura", iremos configurar os campos:

  • CHAVE: acima da listagem, no canto direito, sendo uma chave de controle para carga para verificar duplicidade e não removendo e inserindo a informação não importando a periodicidade da carga incremental;
  • Campo: o nome "real" do campo, para utilizar como referência em uma medida calculada ou qualquer outra coisa que fazer no MDX;
  • Nome Visualização: pode modificar esse campo até mesmo ao editar, podendo deixar espaços e maiusculizas tornando o nome da dimensão que ira ver;
  • Tipo de Dimensão
    • Regular: tornado uma dimensão descritiva nos objetos;
    • Tempo: tornando uma dimensão de tempo nos objetos, podendo usar como filtro de periodicidade
    • Medida: tornando o valor nos objetos;
    • Georreferencia: tornado a localização nos objetos Mapas;
    • Somente filtro: tornado o filtro para ordenar sobre uma dimensão (bastante útil nas DREs, Balanço patrimonial e fluxo de caixa).
  • Todos: se desmarcar, ao selecionar a dimensão, ela já vem listada e não agrupada. CUIDADO: isso pode demorar e até travar o objeto ao acessa-lo dependendo a quantidade de informação da origem;
  • Ordenação: se escolheu algum "Tipo de Dimensão" como "Somente filtro", nas outras informações apresentadas, pode utiliza-la como referência para ordenar;
  • Operação: somente quando for medida
    • SOMA: somando as medida de acordo como for apresentado nos objetos;
    • CONTAGEM: tornado como uma contagem a medida e nesta contagem é somada de acordo como for apresentado nos objetos;
    • MINIMO: trazendo o valor minimo sobre a informação apresentada nos objetos;
    • MAXIMO: trazendo o valor máximo sobre a informação apresentada nos objetos;
    • MEDIA: trazendo media do valor sobre a informação apresentada nos objetos;
    • CONTAGEM DISTINTA:  tornado como uma contagem distinta sendo não SOMANDO quando for apresentado nos objetos.
  • Mascara: somente quando for medida
    • Padrão: tornado o valor como está trazendo
    • Porcentual: tornando e transformando o valor como percentual;
    • Moeda: tornando o valor como moeda. Exemplo "22.20" fica "R$ 22,20"
    • Fixo: tornando e arredondando o valor mesmo que esteva com casa decimal como um valor inteiro;
    • Hora: tornando um valor ou uma informação do tipo hora, com casas decimais.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/passo4.png


Na próxima tela de "Hierarquias" temos as hierarquias que pode ser criado. Ao clicar no botão "Criar dimensão hierárquica", abrirá uma tela.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/passo5mini.png


O que é dimensões hierárquicas ? Para que serve ?

Em resumo ele define uma ordem de dimensões dentro de uma NOVA dimensão. Exemplo: temos a dimensão categoria (SAPATO, BOLSA, TÊNIS), temos a dimensão gênero (MASCULINO e FEMININO) e o produto (SAPATO BEBECE, BOLSA LUZZARA E TENIS ADIDAS). Quando criar a dimensão, ordenado por GÊNERO, CATEGORIA e PRODUTOS. Ao expandir listará o GÊNERO, ao expandir GÊNERO listará as CATEGORIA, ao expandir CATEGORIA listará os produtos. Similar com o que tempos nas dimensões de tempo, mas você define a ordem por dimensões que escolher inserir. 


Essa tela, no lado esquerdo, escolha as dimensões que deseja como ordem de expansão.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/hierarquia1.png

Essa tela, no lado direito clicando em "Nova hierarquia", abrirá uma tela. Nesta tela escolha a ordem e quantas dimensões deseja criar, exaltando que cada dimensão que criar pode escolher um ordem distinta.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/hierarquia2.png  Na próxima tela será o resumo de todas as informações. Ao clicar em finalizar, será feito uma carta total trazendo todos os dados para o BIMachine referente a origem que você definiu.https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/como-se-cria-uma-estrutura-de-origem-sql/passo6.png


Permissões


Observe o ícone em forma de cadeado, nele você pode definir as permissões da estrutura (usuários que poderão ou não acessar os dados dela).

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/dados/atualizando-os-dados-de-uma-estrutura-csv/sql_permissoes.png


Atualizar Dados


Para atualizar os dados na origem CSV clique no ícone da "nuvem" da origem.


Se abrirá a janela de configuração da carga:


Na aba "Carga de dados" você define o tipo de carga para efetuar. Existe 3 tipos de cargas:

  • Carga Total: limpa os dados existentes colocando-os novamente de acordo com o que o SQL carrega;
  • Carga Incremental: insere novos dados mantendo os dados existentes (Observação: para usar esta opção é recomendado definir uma chave primaria quando se esta criando/editando a estrutura);
  • Carga Geo Referência: atualiza os endereços dos campos de Geo Referência.

Você também informa as configurações do(s) arquivo(s) atualizado(s). O(s) arquivo(s) selecionados devem ter a mesma estrutura do arquivo usado na criação da estrutura.

  • Mesmo número de coluna(s);
  • Mesmo formato de dados. Exemplo: coluna 1 formato "numérico", coluna 2 formato é "data".

Para a carga você pode inserir mais de um arquivo, mas restringido no máximo 50Mb por arquivo.

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/cargacsv.png


Na aba "Ajuste de dados" você terá a opção de remover dados mais antigos, no "campo de tempo" você pode usar como base Data de carga de dados ou Período, e remover dados da semana passada, mês passado, etc (por exemplo).

https://sites.google.com/a/sol7.com.br/bimachine/administracao-do-ambiente/atualizando-os-dados-de-uma-estrutura-csv/cargacsvajuste.png


Estando tudo certo, clique me "Executar Carga".