biod-database issueshttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues2019-12-19T11:49:53Zhttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/18Fix ANA2019-12-19T11:49:53ZRafael DiasFix ANAAlguns dados não ficaram no padrão ao integrar.Alguns dados não ficaram no padrão ao integrar.Rafael DiasRafael Diashttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/17Truncamento de dimensões/metricas Postgres2019-12-14T11:42:29ZRafael DiasTruncamento de dimensões/metricas PostgresDependendo do tamanho da metrica/dimensão que sera utilizada para criar a view, o Postgres tem um limite e realiza truncamento nelas, podendo acontecer colisão e perda da metrica/dimensão que não podera realizar pesquisa na versão origin...Dependendo do tamanho da metrica/dimensão que sera utilizada para criar a view, o Postgres tem um limite e realiza truncamento nelas, podendo acontecer colisão e perda da metrica/dimensão que não podera realizar pesquisa na versão original, em anexo segue um exemplo do que ocorre.
Será necessário então, criar politicas para identificação de novas metrica/dimensão e também discutir em possiveis siglas para representar determinada palavra. Pois quanto mais bases o biod agregar maior vai ser a dificuldade devido a limitações das palavras não repetidas que sera utilizada.
![job_trucation](/uploads/cd8ceb284b35bf0daf174746183468cb/job_trucation.png)https://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/16Bug ./test/monet.sh2019-12-13T20:11:33ZRafael DiasBug ./test/monet.shAo realizar a issue #13, tive que modificar o operador de '-eq' para '-ge' no ./test/monet.sh, pois as operações de sucessos não estavam realizando as devidas 71 e sim 73. A ferramenta só retorna 'operation successful', verificar alguma ...Ao realizar a issue #13, tive que modificar o operador de '-eq' para '-ge' no ./test/monet.sh, pois as operações de sucessos não estavam realizando as devidas 71 e sim 73. A ferramenta só retorna 'operation successful', verificar alguma forma de verificar quais são essas operações a fim de entender o que elas representam e encontrar o bug.https://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/15Uso de memória MonetDB2019-12-20T13:46:45ZRafael DiasUso de memória MonetDBAlgumas consultas geram erro quando não se tem muita memória disponivel para o monetDB.
É necessário fazer uma análise de como o banco funciona em relação a memória e quais são as ferramentas que podemos utilizar para gerenciar esse pro...Algumas consultas geram erro quando não se tem muita memória disponivel para o monetDB.
É necessário fazer uma análise de como o banco funciona em relação a memória e quais são as ferramentas que podemos utilizar para gerenciar esse problema.https://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/14Dados truncados pelo monetdb2019-12-10T14:03:24ZRafael DiasDados truncados pelo monetdbFiz uma consulta que deveria trazer os mesmo dados que a API biod retorna.
No entanto a consulta na api retorna 21 tuplas, e direto no banco retorna 80 tuplas.
Direto no banco ==> SELECT id,nome_escola FROM escola WHERE municipio_id=510...Fiz uma consulta que deveria trazer os mesmo dados que a API biod retorna.
No entanto a consulta na api retorna 21 tuplas, e direto no banco retorna 80 tuplas.
Direto no banco ==> SELECT id,nome_escola FROM escola WHERE municipio_id=5101258;
Através da API ==> https://biod.c3sl.ufpr.br/api/v1/data?metrics&dimensions=dim:escola:nome,dim:escola:id&filters=dim:cidade:id==5101258https://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/13Inclusão do ANA (Avaliação Nacional de Alfabetização).2019-12-17T11:50:31ZAlessandro EliasInclusão do ANA (Avaliação Nacional de Alfabetização).Conforme email abaixo incluir no BIOD a nova base:
para documentação :
```
Subject: Inclusão dados ANA 2016
...
Professor, bom dia!
Criei os arquivos, conforme os exemplos. Fiz utilizando como base os
micro dados do link
http://download...Conforme email abaixo incluir no BIOD a nova base:
para documentação :
```
Subject: Inclusão dados ANA 2016
...
Professor, bom dia!
Criei os arquivos, conforme os exemplos. Fiz utilizando como base os
micro dados do link
http://download.inep.gov.br/microdados/microdados_ana_2016.zip,
utilizando o arquivo TS_Escola.csv. renomeei esta para ana_escola.csv,
com os demais arquivos seguindo esta nomenclatura. Se houver erros,
encaminhar a nós.
Anderson L. de Melo
```
Neste arquivo consta dicionário dos dados e demais informações para possível inclusão.
Caso necessário entramos em contato com Anderson L. de Melo <amelo@inf.ufsm.br>Rafael DiasRafael Diashttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/12Remover tags de funções de agregação2019-08-14T12:15:40ZLucas Fernandes de OliveiraRemover tags de funções de agregaçãoTags max, min ,count ,sum e avg devem ser removidasTags max, min ,count ,sum e avg devem ser removidasLucas Fernandes de OliveiraLucas Fernandes de Oliveirahttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/11Adicionar tags as metricas e dimensões2019-08-14T12:14:46ZLucas Fernandes de OliveiraAdicionar tags as metricas e dimensõesCom a nova feature do blendb que permite filtrar as métricas e dimensões por tags torna-se necessário a classificação das métricas e dimensões do BIOD com tags.
Por enanqto as tags devem ser o nome das visões. Uma métrica ou dimensão te...Com a nova feature do blendb que permite filtrar as métricas e dimensões por tags torna-se necessário a classificação das métricas e dimensões do BIOD com tags.
Por enanqto as tags devem ser o nome das visões. Uma métrica ou dimensão tem a tag com o nome da visão se está nela.
Para as métricas também devem existir tags para as funções de agregação.Lucas Fernandes de OliveiraLucas Fernandes de Oliveirahttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/10Atualizar psql-manager e melhorar testes2019-08-14T12:14:34ZLucas Fernandes de OliveiraAtualizar psql-manager e melhorar testesAtualizar psql-manager para versão mais nova e melhorar os testes realizados durante a integração contínuaAtualizar psql-manager para versão mais nova e melhorar os testes realizados durante a integração contínuaLucas Fernandes de OliveiraLucas Fernandes de Oliveirahttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/9Atualizar as descrições das métricas faltantes2019-07-22T11:17:25ZfsantoreAtualizar as descrições das métricas faltantesAtualizar as descrições das métricas da tabela fnu.Atualizar as descrições das métricas da tabela fnu.fsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/8Atualizar as descrições das métricas2019-07-22T11:17:34ZfsantoreAtualizar as descrições das métricasfsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/7Adicionar demais informações do SMPPIR2019-07-22T11:17:43ZLucas Fernandes de OliveiraAdicionar demais informações do SMPPIRAdicionar ao banco de dados as seguintes tabelas:
* pnad
* prouni
* familias_cadunico
* fies
* ibge_pib
* ibge_populacao
* indicadores_financeiros
* pessoas_cadunicoAdicionar ao banco de dados as seguintes tabelas:
* pnad
* prouni
* familias_cadunico
* fies
* ibge_pib
* ibge_populacao
* indicadores_financeiros
* pessoas_cadunicofsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/6Definição dim ano ensino superior2019-06-17T13:40:00ZfsantoreDefinição dim ano ensino superiorfsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/5Substituir dados economicos2019-06-06T11:52:43ZLucas Fernandes de OliveiraSubstituir dados economicosO formato dos antigos dados economicos não está adequado. Remover os dados economicos e substituir por uma nova tabela que contém todos os dados economicos.
Os novos dados economicos podem ser encontrados da simmcdevO formato dos antigos dados economicos não está adequado. Remover os dados economicos e substituir por uma nova tabela que contém todos os dados economicos.
Os novos dados economicos podem ser encontrados da simmcdevfsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/4Relocar arquivos de carregamento2019-06-06T12:28:29ZLucas Fernandes de OliveiraRelocar arquivos de carregamentoAtualemente os arquivos no diretório load estão sendo utilizados para teste. Mudar para o diretório fixture e adcionar o diretório load no .gitignoreAtualemente os arquivos no diretório load estão sendo utilizados para teste. Mudar para o diretório fixture e adcionar o diretório load no .gitignoreLucas Fernandes de OliveiraLucas Fernandes de Oliveirahttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/3Adicionar configuração para o MonetDB2019-06-17T13:40:09ZLucas Fernandes de OliveiraAdicionar configuração para o MonetDBAtualmente a configuração (criação das tabelas) pode ser utilizada apenas em um banco de dados PostgresSQL.
Criar arquivos SQL que funcionem no MonetDB.
Esses arquivos devem ser colocados em um diretório separado, chamado **monetdb** a...Atualmente a configuração (criação das tabelas) pode ser utilizada apenas em um banco de dados PostgresSQL.
Criar arquivos SQL que funcionem no MonetDB.
Esses arquivos devem ser colocados em um diretório separado, chamado **monetdb** até que a ferramenta de criação do banco seja ajustada para funcionar no monetdb também.
Esse diretório deverá conter os arquivos SQL adaptados para o monetdb.fsantorefsantorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/2Adicionar configuração do Blendb ao projeto2019-06-04T13:13:02ZLucas Fernandes de OliveiraAdicionar configuração do Blendb ao projetoAtualmente o projeto tem apenas o esquema do banco de dados.
Adicionar arquivos de configuração do Blendb e script que copia essa configuração para o local onde o Blendb está instalado.
Adicionar config.env no .gitignoreAtualmente o projeto tem apenas o esquema do banco de dados.
Adicionar arquivos de configuração do Blendb e script que copia essa configuração para o local onde o Blendb está instalado.
Adicionar config.env no .gitignorehttps://gitlab.c3sl.ufpr.br/simmctic/biod/biod-database/-/issues/1Inserção create table2019-05-28T17:15:49ZfsantoreInserção create tableConsolidando a criação das tabelas e viewsConsolidando a criação das tabelas e viewsfsantorefsantore