Aprimorar arquivo de configuração para permitir transformações
A proposta atual de transformação é copiar dados de uma source para uma view. Essa cópia deve estar mapeada no arquivo de configuração.
Atualizar o arquivo de configuração para que quando uma view, quando marcada como origin, tenha a informação de como gerar suas métricas e dimensões a partir das fontes.
Proposta
Adicionar como propriedade de uma view um campo sources, onde cada chave dentro de sources representa uma source que será utilizada para gerar a view. A propriedade source tem um campo para cada métrica e dimensão da view que por sua vez tem a regra de formação a partir da source para gerar a métrica/dimensão.
Observações
- Essa proposta assume uma view é criada pela UNION das sources, ou seja, as sources não podem ser combinadas para criar um único registro.
- Ou seja não é possível fazer : se na fonte1 o valor é x e na fonte2 o valor é y coloque z
- A proposta tem como objetivo facilitar a criação de uma materialized view, onde as regras definem como os campos são criados.
- Provavelmente essas regras gerarão um SQL (ou equivalente) para construir uma materialized view.
- As transformações possíveis ainda não estão bem definidas, devem sex esclarecidas para a execução da tarefa.
- Essa tarefa apenas MODIFICA o arquivo de configuração e não APLICA as transformações. Seu objetivo é LER e VALIDAR as transformações.