First Commit

parents
{
"remove":["\""],
"change_float_point":true,
"change_encoding":true,
"encoding_in":"ASCII",
"encoding_out":"UTF-8",
"files":[
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201212.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201312.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201412.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201512.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201612.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201212.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201312.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201412.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201512.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201612.csv"
]
}
\ No newline at end of file
{
"remove":["\r","\""],
"change_float_point":true,
"change_encoding":true,
"encoding_in":"ISO-8859-14",
"encoding_out":"UTF-8",
"files":[
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2011.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2012.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2013.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2014.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2015.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2016.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2017.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2010.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2011.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2012.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2013.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2014.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2015.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2016.csv",
"/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2017.csv"
]
}
\ No newline at end of file
{
"remove":["\r"],
"change_float_point":false,
"change_encoding":true,
"encoding_in":"ISO-8859-14",
"encoding_out":"UTF-8",
"files":[
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_ALUNO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_CURSO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_DOCENTE.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_IES.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_LOCAL_OFERTA.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_ALUNO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_CURSO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_DOCENTE.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_IES.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_LOCAL_OFERTA.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_ALUNO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_CURSO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_DOCENTE.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_IES.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_LOCAL_OFERTA.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_ALUNO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_CURSO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_DOCENTE.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_IES.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_LOCAL_OFERTA.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_ALUNO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_CURSO.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_DOCENTE.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_IES.CSV",
"/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_LOCAL_OFERTA.CSV"
]
}
require 'colorize' # gem install colorize
require 'json'
# The class Toolbox contains all tools needed to treat files before
# use it with SIMCAQ's tools
class Toolbox
@@checkmark = " \u2713"
@@dot = "\u26AB "
def get_file_size(file)
get_size = "ls -lh #{file}"
`#{get_size}`.split(' ')[4]
end
def convert_encoding(file_in, file_out, encoding_in = 'ISO-8859-14',
encoding_out = 'UTF-8')
cmd = "iconv -f #{encoding_in} #{file_in} -t #{encoding_out} -o #{file_out}"
print @@dot + 'Convertendo o Encoding do arquivo'.blue.bold
system(cmd)
puts @@checkmark.encode('utf-8').green.bold
end
def remove_character(file_in, file_out, character = '\r')
char_name =
if character == "\r"
'CRLF'
else
(character == "\"") || (character == "\'") ? 'Aspas' : character
end
cmd = "tr -d '#{character}' < #{file_in} > #{file_out}"
print @@dot + "Removendo o #{char_name}".blue.bold
system(cmd)
puts @@checkmark.encode('utf-8').green.bold
end
def change_float_separator(file)
cmd = "sed -i -e 's/,/\./g' #{file}"
print @@dot + 'Substituindo vírgula por ponto'.blue.bold
system(cmd)
puts @@checkmark.encode('utf-8').green.bold
end
def clean_directory(files)
cmd = "rm #{files}"
print @@dot + 'Limpando o diretório'.blue.bold
system(cmd)
puts @@checkmark.encode('utf-8').green.bold
end
def rename_file(file_in, file_out)
cmd = "mv #{file_in} #{file_out}"
print @@dot + 'Renomeando arquivo '.blue.bold +
file_in.split('/').last.to_s.yellow.bold+ ' para '.bold.blue +
file_out.split('/').last.to_s.bold.green
system(cmd)
puts @@checkmark.encode('utf-8').green.bold
end
end
# The class main is used to initialize the software.
class Main
def initialize
@tools = Toolbox.new
@number_of_arguments = ARGV.length
@arguments = JSON.parse(File.read(ARGV[0]))
@remove = @arguments['remove']
@change_float_point = @arguments['change_float_point']
@change_encoding = @arguments['change_encoding']
@files = @arguments['files']
if @change_encoding
@encoding_in = @arguments['encoding_in']
@encoding_out = @arguments['encoding_out']
else
@encoding_in = nil
@encoding_out = nil
end
end
def update_file
@files.each_with_index do |f, i|
print "\n--- Trabalhando ".light_cyan.bold +
"no arquivo #{f.split('/').last} ".light_cyan.bold +
"(#{@tools.get_file_size(f)})".light_magenta.bold +
" (Arquivo #{i+1} de @files.length) ---\n\n".bold
cleanup_files = [f]
if @change_encoding
@tools.convert_encoding(f, "#{f.split('.')[0]}-encoded.csv",
@encoding_in, @encoding_out)
f = "#{f.split('.')[0]}-encoded.csv"
cleanup_files << f
end
unless @remove.empty?
@remove.each_with_index do |r, i|
@tools.remove_character(f, "#{f.split('.')[0]}-removed#{i + 1}.csv",
r)
f = "#{f.split('.')[0]}-removed#{i + 1}.csv"
cleanup_files << f
end
end
@tools.change_float_separator(f) if @change_float_point
last_name = cleanup_files.pop
remove_files = ''
cleanup_files.each do |cf|
remove_files = cf + ' '
end
@tools.clean_directory(remove_files)
@tools.rename_file(last_name, cleanup_files[0])
end
end
def main
case @number_of_arguments
when 0
puts 'todo: mensagem de ajuda'
when 1
update_file
else
puts 'TODO:CASE ELSE'
end
end
end
Main.new.main
puts ''
\ No newline at end of file
This diff is collapsed.
This diff is collapsed.
This diff is collapsed.
Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2012,2013,2014,2015,2016
SMPPIR-CADUNICO-FAMILIAS1,cd_ibge ,Código IBGE do Município,0,codigo_ibge,INTEGER,cd_ibge,cd_ibge,cd_ibge,cd_ibge,cd_ibge
SMPPIR-CADUNICO-FAMILIAS2,estrato ,"Grandes grupos de municípios, de acordo com a quantidade de famílias cadastradas",0,estrato,TINYINT,estrato,estrato,estrato,estrato,estrato
SMPPIR-CADUNICO-FAMILIAS3,classf ,Subdivisão pela Unidade Federativa e divisão administrativa,0,subdivisao_UF_administrativa,TINYINT,classf,classf,classf,classf,classf
SMPPIR-CADUNICO-FAMILIAS4,id_familia ,Identificador único da família de vinculação da pessoa para pareamento com a base de famílias,0,id_familia,BIGINT,id_familia,id_familia,id_familia,id_familia,id_familia
SMPPIR-CADUNICO-FAMILIAS5,dat_cadastramento_fam ,Data do cadastramento da família no formato YYYY-MM-DD,0,data_cadastramento,VARCHAR(16),dat_cadastramento_fam,dat_cadastramento_fam,dat_cadastramento_fam,dat_cadastramento_fam,dat_cadastramento_fam
SMPPIR-CADUNICO-FAMILIAS6,dat_alteracao_fam ,Data da última alteração em qualquer campo da família no formato YYYY-MM-DD,0,data_alteracao,VARCHAR(16),dat_alteracao_fam,dat_alteracao_fam,dat_alteracao_fam,vlr_renda_media_fam,vlr_renda_media_fam
SMPPIR-CADUNICO-FAMILIAS7,vlr_renda_media_fam ,"Valor da renda média (per capita) da família, formato NNNNNNNNN",0,renda_media,DOUBLE,vlr_renda_media_fam,vlr_renda_media_fam,vlr_renda_media_fam,vlr_renda_media_fam,vlr_renda_media_fam
SMPPIR-CADUNICO-FAMILIAS8,dat_atualizacao_familia,Data da última atualização da família dos dados considerados sensíveis à manutenção do cadastro no formato YYYY-MM-DD,0,data_atualizacao,VARCHAR(16),vlr_renda_media_fam,dat_atual_fam,dat_atualizacao_familia,vlr_renda_media_fam,vlr_renda_media_fam
SMPPIR-CADUNICO-FAMILIAS9,cod_local_domic_fam ,Características do local onde está situado o domicílio,0,cod_local_domicilio,TINYINT,cod_local_domic_fam,cod_local_domic_fam,cod_local_domic_fam,cod_local_domic_fam,cod_local_domic_fam
SMPPIR-CADUNICO-FAMILIAS10,cod_especie_domic_fam ,Espécie do domicílio,0,cod_especie_domicilio,TINYINT,cod_especie_domic_fam,cod_especie_domic_fam,cod_especie_domic_fam,cod_especie_domic_fam,cod_especie_domic_fam
SMPPIR-CADUNICO-FAMILIAS11,qtd_comodos_domic_fam ,Quantidade de cômodos do domicílio,0,qtd_comodos_domicilio,TINYINT,qtd_comodos_domic_fam,qtd_comodos_domic_fam,qtd_comodos_domic_fam,qtd_comodos_domic_fam,qtd_comodos_domic_fam
SMPPIR-CADUNICO-FAMILIAS12,qtd_comodos_dormitorio_fam,Quantidade de cômodos servindo como dormitório do domicílio,0,qtd_comodos_dormitorio,TINYINT,qtd_comodos_dormitorio_fam,qtd_comodos_dormitorio_fam,qtd_comodos_dormitorio_fam,qtd_comodos_dormitorio_fam,qtd_comodos_dormitorio_fam
SMPPIR-CADUNICO-FAMILIAS13,cod_material_piso_fam ,Material predominante no piso do domicílio,0,cod_material_piso,TINYINT,cod_material_piso_fam,cod_material_piso_fam,cod_material_piso_fam,cod_material_piso_fam,cod_material_piso_fam
SMPPIR-CADUNICO-FAMILIAS14,cod_material_domic_fam ,Material predominante nas paredes externas do domicílio,0,cod_material_domicilio,TINYINT,cod_material_domic_fam,cod_material_domic_fam,cod_material_domic_fam,cod_material_domic_fam,cod_material_domic_fam
SMPPIR-CADUNICO-FAMILIAS15,cod_agua_canalizada_fam ,Se o domicílio tem água encanada,0,cod_agua_canalizada,TINYINT,cod_agua_canalizada_fam,cod_agua_canalizada_fam,cod_agua_canalizada_fam,cod_agua_canalizada_fam,cod_agua_canalizada_fam
SMPPIR-CADUNICO-FAMILIAS16,cod_abaste_agua_domic_fam ,Forma de abastecimento de água,0,cod_abastecimento_agua_domicilio,TINYINT,cod_abaste_agua_domic_fam,cod_abaste_agua_domic_fam,cod_abaste_agua_domic_fam,cod_abaste_agua_domic_fam,cod_abaste_agua_domic_fam
SMPPIR-CADUNICO-FAMILIAS17,cod_banheiro_domic_fam ,Existência de banheiro,0,cod_banheiro_domicilio,TINYINT,cod_banheiro_domic_fam,cod_banheiro_domic_fam,cod_banheiro_domic_fam,cod_banheiro_domic_fam,cod_banheiro_domic_fam
SMPPIR-CADUNICO-FAMILIAS18,cod_escoa_sanitario_domic_fam,Forma de escoamento sanitário,0,cod_escoa_sanitario_domicilio,TINYINT,cod_escoa_sanitario_domic_fam,cod_escoa_sanitario_domic_fam,cod_escoa_sanitario_domic_fam,cod_escoa_sanitario_domic_fam,cod_escoa_sanitario_domic_fam
SMPPIR-CADUNICO-FAMILIAS19,cod_destino_lixo_domic_fam,Forma de coleta do lixo,0,cod_destino_lixo_domicilio,TINYINT,cod_destino_lixo_domic_fam,cod_destino_lixo_domic_fam,cod_destino_lixo_domic_fam,cod_destino_lixo_domic_fam,cod_destino_lixo_domic_fam
SMPPIR-CADUNICO-FAMILIAS20,cod_iluminacao_domic_fam,Tipo de iluminação,0,cod_iluminacao_domicilio,TINYINT,cod_iluminacao_domic_fam,cod_iluminacao_domic_fam,cod_iluminacao_domic_fam,cod_iluminacao_domic_fam,cod_iluminacao_domic_fam
SMPPIR-CADUNICO-FAMILIAS21,cod_calcamento_domic_fam ,Calçamento,0,cod_calcamento_domicilio,TINYINT,cod_calcamento_domic_fam,cod_calcamento_domic_fam,cod_calcamento_domic_fam,cod_calcamento_domic_fam,cod_calcamento_domic_fam
SMPPIR-CADUNICO-FAMILIAS22,cod_familia_indigena_fam ,Família indígena,0,cod_familia_indigena,TINYINT,cod_familia_indigena_fam,cod_familia_indigena_fam,cod_familia_indigena_fam,cod_familia_indigena_fam,cod_familia_indigena_fam
SMPPIR-CADUNICO-FAMILIAS23,ind_familia_quilombola_fam,Família quilombola,0,ind_familia_quilombola,TINYINT,ind_familia_quilombola_fam,ind_familia_quilombola_fam,ind_familia_quilombola_fam,ind_familia_quilombola_fam,ind_familia_quilombola_fam
SMPPIR-CADUNICO-FAMILIAS24,nom_estab_assist_saude_fam ,Nome do estabelecimento EAS/MS,0,estabelecimento_assist_saude,VARCHAR(256),nom_estab_assist_saude_fam,nom_estab_assist_saude_fam,nom_estab_assist_saude_fam,nom_estab_assist_saude_fam,nom_estab_assist_saude_fam
SMPPIR-CADUNICO-FAMILIAS25,cod_eas_fam ,Código do estabelecimento EAS/MS,0,cod_estabelecimento,INTEGER,cod_eas_fam,cod_eas_fam,cod_eas_fam,cod_eas_fam,cod_eas_fam
SMPPIR-CADUNICO-FAMILIAS26,nom_centro_assist_fam ,Nome do CRAS/CREAS,0,nome_centro_assist,VARCHAR(256),nom_centro_assist_fam,nom_centro_assist_fam,nom_centro_assist_fam,nom_centro_assist_fam,nom_centro_assist_fam
SMPPIR-CADUNICO-FAMILIAS27,cod_centro_assist_fam ,Código do CRAS/CREAS,0,cod_centro_assist,BIGINT,cod_centro_assist_fam,cod_centro_assist_fam,cod_centro_assist_fam,cod_centro_assist_fam,cod_centro_assist_fam
SMPPIR-CADUNICO-FAMILIAS28,ind_parc_mds_fam ,Grupos tradicionais e específicos,0,ind_tipo_familia,SMALLINT,ind_parc_mds_fam,ind_parc_mds_fam,ind_parc_mds_fam,ind_parc_mds_fam,ind_parc_mds_fam
SMPPIR-CADUNICO-FAMILIAS29,qtde_pessoas ,Quantidade de pessoas utilizadas no cálculo da renda per capita familiar,0,quantidade_pessoas,TINYINT,qtde_pessoas,qtde_pessoas,qtd_pessoas,qtde_pessoas,qtde_pessoas
SMPPIR-CADUNICO-FAMILIAS30,peso_fam ,Peso calculado da família,0,peso_familia,DOUBLE,peso_fam,peso_fam,peso_fam,peso_fam,peso_fam
ANO,,Ano de pesquisa,0,ano_censo,SMALLINT,~2012,~2013,~2014,~2015,~2016
This diff is collapsed.
This diff is collapsed.
Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2012,2013,2014,2015,2016
SMPPIR-LOCAL-OFERTA1,CO_IES,Código único de identificação da IES,0,codigo_instituicao,INTEGER,CO_IES,CO_IES,CO_IES,CO_IES,CO_IES
SMPPIR-LOCAL-OFERTA2,CO_MUNICIPIO_LOCAL_OFERTA,Código do município do local de oferta,0,codigo_municipio,INTEGER,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA
SMPPIR-LOCAL-OFERTA3,NO_MUNICIPIO_LOCAL_OFERTA,Nome do município do local de oferta,0,nome_municipio,VARCHAR(255),NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA
SMPPIR-LOCAL-OFERTA4,CO_UF_LOCAL_OFERTA,Código da Unidade da Federação do local de oferta,0,codigo_uf,INTEGER,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA
SMPPIR-LOCAL-OFERTA5,SGL_UF_LOCAL_OFERTA,Sigla da unidade da federação do local de oferta,0,sigla_uf,VARCHAR(2),SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA
SMPPIR-LOCAL-OFERTA6,IN_SEDE,Informa se o agrupador é o principal da IES,0,sede,INTEGER,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE
SMPPIR-LOCAL-OFERTA7,CO_CURSO_POLO,Código de identificação do polo vinculado ao curso,0,codigo_curso_polo,INTEGER,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO
SMPPIR-LOCAL-OFERTA8,CO_CURSO,Código único de identificação do curso,0,codigo_curso ,INTEGER,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO
SMPPIR-LOCAL-OFERTA9,IN_LOCAL_OFERTA_NEAD,Informa se o tipo de local de oferta é Núcleo de Educação a Distância (NEAD),0,nucleo_educacao_a_distancia,INTEGER,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD
SMPPIR-LOCAL-OFERTA10,IN_LOCAL_OFERTA_UAB,Informa se o tipo de local de oferta é Polo Universidade Aberta do Brasil (UAB),0,universidade_aberta_do_brasil,INTEGER,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB
SMPPIR-LOCAL-OFERTA11,IN_LOCAL_OFERTA_REITORIA,Informa se o tipo de local de oferta é Unidade Administrativa/Reitoria,0,reitoria,INTEGER,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA
SMPPIR-LOCAL-OFERTA12,IN_LOCAL_OFERTA_POLO,Informa se o tipo de local de oferta é Polo de apoio presencial,0,polo_de_apoio_presencial,INTEGER,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO
SMPPIR-LOCAL-OFERTA13,IN_LOCAL_OFERTA_UNID_ACADEMICA,Informa se o tipo de local de oferta é Unidade Acadêmica,0,unidade_academica,INTEGER,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA
SMPPIR-LOCAL-OFERTA15,NO_LOCAL_OFERTA,Nome do  local de oferta definido pela instituição,0,nome,VARCHAR(255),,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA
SMPPIR-LOCAL-OFERTA16,DT_INICIO_FUNCIONAMENTO,Data de início de funcionamento do local de oferta dos cursos EaD,0,data_incio_funcionamento,VARCHAR(255),,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO
SMPPIR-LOCAL-OFERTA17,CO_LOCAL_OFERTA,Código de identificação do local de oferta,0,id,INTEGER,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA,CO_LOCAL_OFERTA
ANO,,Ano de referência da pesquisa,0,ano_censo,INTEGER,~2012,~2013,~2014,~2015,~2016
Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2012,2013,2014,2015,2016
SMPPIR-CADUNICO-PESSOAS1,cd_ibge,Código IBGE do Município,0,codigo_ibge,INTEGER,cd_ibge,cd_ibge,cd_ibge,cd_ibge,cd_ibge
SMPPIR-CADUNICO-PESSOAS2,estrato,"Grandes grupos de municípios, de acordo com a quantidade de famílias cadastradas",0,estrato,TINYINT,estrato,estrato,estrato,estrato,estrato
SMPPIR-CADUNICO-PESSOAS3,classf,Subdivisão pela Unidade Federativa e divisão administrativa,0,subdivisao_UF_administrativa,TINYINT,classf,classf,classf,classf,classf
SMPPIR-CADUNICO-PESSOAS4,id_familia,Identificador único da família de vinculação da pessoa para pareamento com a base de famílias,0,id_familia,BIGINT,id_familia,id_familia,id_familia,id_familia,id_familia
SMPPIR-CADUNICO-PESSOAS5,cod_sexo_pessoa,Sexo,0,genero,TINYINT,cod_sexo_pessoa,cod_sexo_pessoa,cod_sexo_pessoa,cod_sexo_pessoa,cod_sexo_pessoa
SMPPIR-CADUNICO-PESSOAS6,idade,Idade calculada a partir da diferença entre a data de nascimento da pessoa e a data de referência da base,0,idade,SMALLINT,idade,idade,idade,idade,idade
SMPPIR-CADUNICO-PESSOAS7,cod_parentesco_rf_pessoa,Relaçao de parentesco com o RF,0,parentesco_rf,TINYINT,cod_parentesco_rf_pessoa,cod_parentesco_rf_pessoa,cod_parentesco_rf_pessoa,cod_parentesco_rf_pessoa,cod_parentesco_rf_pessoa
SMPPIR-CADUNICO-PESSOAS8,cod_raca_cor_pessoa,Cor ou raça,0,raca_cor,TINYINT,cod_raca_cor_pessoa,cod_raca_cor_pessoa,cod_raca_cor_pessoa,cod_raca_cor_pessoa,cod_raca_cor_pessoa
SMPPIR-CADUNICO-PESSOAS9,cod_local_nascimento_pessoa,Local de nascimento,0,local_nascimento,TINYINT,cod_local_nascimento_pessoa,cod_local_nascimento_pessoa,cod_local_nascimento_pessoa,cod_local_nascimento_pessoa,cod_local_nascimento_pessoa
SMPPIR-CADUNICO-PESSOAS10,cod_certidao_registrada_pessoa,Pessoa registrada em cartório,0,certidao_registrada,TINYINT,cod_certidao_registrada_pessoa,cod_certidao_registrada_pessoa,cod_certidao_registrada_pessoa,cod_certidao_registrada_pessoa,cod_certidao_registrada_pessoa
SMPPIR-CADUNICO-PESSOAS11,cod_deficiencia_memb,Pessoa tem deficiência?,0,deficiencia,TINYINT,cod_deficiencia_memb,cod_deficiencia_memb,cod_deficiencia_memb,cod_deficiencia_memb,cod_deficiencia_memb
SMPPIR-CADUNICO-PESSOAS12,cod_sabe_ler_escrever_memb,Pessoa sabe ler e escrever?,0,sabe_ler_escrever,TINYINT,cod_sabe_ler_escrever_memb,cod_sabe_ler_escrever_memb,cod_sabe_ler_escrever_memb,cod_sabe_ler_escrever_memb,cod_sabe_ler_escrever_memb
SMPPIR-CADUNICO-PESSOAS13,ind_frequenta_escola_memb,Pessoa frequenta escola?,0,frequenta_escola,TINYINT,ind_frequenta_escola_memb,ind_frequenta_escola_memb,ind_frequenta_escola_memb,ind_frequenta_escola_memb,ind_frequenta_escola_memb
SMPPIR-CADUNICO-PESSOAS14,cod_escola_local_memb,Escola localizada no município?,0,escola_local,TINYINT,cod_escola_local_memb,cod_escola_local_memb,cod_escola_local_memb,cod_escola_local_memb,cod_escola_local_memb
SMPPIR-CADUNICO-PESSOAS15,cod_curso_frequenta_memb,Curso que a pessoa frequenta,0,curso_frequenta,TINYINT,cod_curso_frequenta_memb,cod_curso_frequenta_memb,cod_curso_frequenta_memb,cod_curso_frequenta_memb,cod_curso_frequenta_memb
SMPPIR-CADUNICO-PESSOAS16,cod_ano_serie_frequenta_memb,Ano e série que a pessoa frequenta,0,ano_serie_frequenta,TINYINT,cod_ano_serie_frequenta_memb,cod_ano_serie_frequenta_memb,cod_ano_serie_frequenta_memb,cod_ano_serie_frequenta_memb,cod_ano_serie_frequenta_memb
SMPPIR-CADUNICO-PESSOAS17,cod_curso_frequentou_pessoa_memb,Curso mais elevado que a pessoa frequentou,0,curso_frequentou,TINYINT,cod_curso_frequentou_pessoa_memb,cod_curso_frequentou_pessoa_memb,cod_curso_frequentou_pessoa_memb,cod_curso_frequentou_pessoa_memb,cod_curso_frequentou_pessoa_memb
SMPPIR-CADUNICO-PESSOAS18,cod_ano_serie_frequentou_memb,Último ano e série frequentado pela pessoa,0,ano_serie_frequentou,TINYINT,cod_ano_serie_frequentou_memb,cod_ano_serie_frequentou_memb,cod_ano_serie_frequentou_memb,cod_ano_serie_frequentou_memb,cod_ano_serie_frequentou_memb
SMPPIR-CADUNICO-PESSOAS19,cod_concluiu_frequentou_memb,A pessoa concluiu o curso?,0,concluiu_frequentou,TINYINT,cod_concluiu_frequentou_memb,cod_concluiu_frequentou_memb,cod_concluiu_frequentou_memb,cod_concluiu_frequentou_memb,cod_concluiu_frequentou_memb
SMPPIR-CADUNICO-PESSOAS20,cod_trabalhou_memb,Pessoa trabalhou na semana passada?,0,trabalhou_semana_referencia,TINYINT,cod_trabalhou_memb,cod_trabalhou_memb,cod_trabalhou_memb,cod_trabalhou_memb,cod_trabalhou_memb
SMPPIR-CADUNICO-PESSOAS21,cod_afastado_trab_memb,Pessoa afastada na semana passada?,0,afastado_trabalho_semana_referencia,TINYINT,cod_afastado_trab_memb,cod_afastado_trab_memb,cod_afastado_trab_memb,cod_afastado_trab_memb,cod_afastado_trab_memb
SMPPIR-CADUNICO-PESSOAS22,cod_agricultura_trab_memb,É atividade extrativista?,0,atividade_extrativista,TINYINT,cod_agricultura_trab_memb,cod_agricultura_trab_memb,cod_agricultura_trab_memb,cod_agricultura_trab_memb,cod_agricultura_trab_memb
SMPPIR-CADUNICO-PESSOAS23,cod_principal_trab_memb,Função principal,0,funcao_principal,TINYINT,cod_principal_trab_memb,cod_principal_trab_memb,cod_principal_trab_memb,cod_principal_trab_memb,cod_principal_trab_memb
SMPPIR-CADUNICO-PESSOAS24,val_remuner_emprego_memb,Valor de remuneração no formato NNNNN (sem casas decimais).,0,val_remunerado_emprego,INTEGER,val_remuner_emprego_memb,val_remuner_emprego_memb,val_remuner_emprego_memb,val_remuner_emprego_memb,val_remuner_emprego_memb
SMPPIR-CADUNICO-PESSOAS25,cod_trabalho_12_meses_memb,Pessoa com trabalho remunerado em algum período nos últimos 12 meses,0,trabalhou_ultimos_12_meses,TINYINT,cod_trabalho_12_meses_memb,cod_trabalho_12_meses_memb,cod_trabalho_12_meses_memb,cod_trabalho_12_meses_memb,cod_trabalho_12_meses_memb
SMPPIR-CADUNICO-PESSOAS26,qtd_meses_12_meses_memb,Quantidade de meses trabalhados nos últimos 12 meses,0,qtd_meses_trabalhados_ultimos_12_meses,TINYINT,qtd_meses_12_meses_memb,qtd_meses_12_meses_memb,qtd_meses_12_meses_memb,qtd_meses_12_meses_memb,qtd_meses_12_meses_memb
SMPPIR-CADUNICO-PESSOAS27,val_renda_bruta_12_meses_memb,Valor de remuneração no formato NNNNN (sem casas decimais).,0,val_renda_bruta_12_meses,INTEGER,val_renda_bruta_12_meses_memb,val_renda_bruta_12_meses_memb,val_renda_bruta_12_meses_memb,val_renda_bruta_12_meses_memb,val_renda_bruta_12_meses_memb
SMPPIR-CADUNICO-PESSOAS28,val_renda_doacao_memb,Valor recebido de doação no formato NNNNN (sem casas decimais).,0,val_renda_doacao,INTEGER,val_renda_doacao_memb,val_renda_doacao_memb,val_renda_doacao_memb,val_renda_doacao_memb,val_renda_doacao_memb
SMPPIR-CADUNICO-PESSOAS29,val_renda_aposent_memb,Valor recebido de aposentadoria no formato NNNNN (sem casas decimais).,0,val_renda_aposent,INTEGER,val_renda_aposent_memb,val_renda_aposent_memb,val_renda_aposent_memb,val_renda_aposent_memb,val_renda_aposent_memb
SMPPIR-CADUNICO-PESSOAS30,val_renda_seguro_desemp_memb,Valor recebido de seguro desemprego no formato NNNNN (sem casas decimais).,0,val_renda_seguro_desemprego,INTEGER,val_renda_seguro_desemp_memb,val_renda_seguro_desemp_memb,val_renda_seguro_desemp_memb,val_renda_seguro_desemp_memb,val_renda_seguro_desemp_memb
SMPPIR-CADUNICO-PESSOAS31,val_renda_pensao_alimen_memb,Valor recebido de pensão alimentícia no formato NNNNN (sem casas decimais).,0,val_renda_pensao,INTEGER,val_renda_pensao_alimen_memb,val_renda_pensao_alimen_memb,val_renda_pensao_alimen_memb,val_renda_pensao_alimen_memb,val_renda_pensao_alimen_memb
SMPPIR-CADUNICO-PESSOAS32,val_outras_rendas_memb,Valor recebido de outras fontes no formato NNNNN (sem casas decimais).,0,val_outras_rendas,INTEGER,val_outras_rendas_memb,val_outras_rendas_memb,val_outras_rendas_memb,val_outras_rendas_memb,val_outras_rendas_memb
SMPPIR-CADUNICO-PESSOAS33,peso_fam,Peso calculado da família,0,peso_familia,DOUBLE,peso_fam,peso_fam,peso_fam,peso_fam,peso_fam
SMPPIR-CADUNICO-PESSOAS34,peso_pes,Peso calculado da pessoa,0,peso_pessoa,DOUBLE,peso_pes,peso_pes,peso_pes,peso_pes,peso_pes
ANO,,Ano de pesquisa,0,ano_censo,SMALLINT,~2012,~2013,~2014,~2015,~2016
This diff is collapsed.
Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2012,2013,2014,2015,2016
ANO,,Ano da concessão da bolsa ProUni (início da vigência).,0,ano_censo,SMALLINT,~2012,~2013,~2014,~2015,~2016
SMPPIR-PROUNI1,codigo_emec_ies_bolsa ,Código do e-MEC referente a IES que concedeu a bolsa ProUni,0,codigo_emec_ies,INTEGER,CODIGO_EMEC_IES_BOLSA,CODIGO_EMEC_IES_BOLSA,CODIGO_EMEC_IES_BOLSA,CODIGO_EMEC_IES_BOLSA,CODIGO_EMEC_IES_BOLSA
SMPPIR-PROUNI2,nome_ies_bolsa ,Nome/Razão Social da Instituição de Ensino Superior que concedeu a bolsa ProUni,0,nome_ies,VARCHAR(256),NOME_IES_BOLSA,NOME_IES_BOLSA,NOME_IES_BOLSA,NOME_IES_BOLSA,NOME_IES_BOLSA
SMPPIR-PROUNI3,tipo_bolsa ,Descrição do tipo da bolsa concedida ao beneficiário do ProUni,0,tipo,VARCHAR(256),TIPO_BOLSA,TIPO_BOLSA,TIPO_BOLSA,TIPO_BOLSA,TIPO_BOLSA
SMPPIR-PROUNI4,modalidade_ensino_bolsa ,Descrição da modalidade de ensino da bolsa concedida ao beneficiário do ProUni,0,modalidade_ensino,VARCHAR(256),MODALIDADE_ENSINO_BOLSA,MODALIDADE_ENSINO_BOLSA,MODALIDADE_ENSINO_BOLSA,MODALIDADE_ENSINO_BOLSA,MODALIDADE_ENSINO_BOLSA
SMPPIR-PROUNI5,nome_curso_bolsa ,Nome do curso do beneficiário da bolsa ProUni,0,nome_curso,VARCHAR(256),NOME_CURSO_BOLSA,NOME_CURSO_BOLSA,NOME_CURSO_BOLSA,NOME_CURSO_BOLSA,NOME_CURSO_BOLSA
SMPPIR-PROUNI6,nome_turno_curso_bolsa ,Descrição do turno do curso do beneficiário da bolsa ProUni,0,nome_turno_curso,VARCHAR(256),NOME_TURNO_CURSO_BOLSA,NOME_TURNO_CURSO_BOLSA,NOME_TURNO_CURSO_BOLSA,NOME_TURNO_CURSO_BOLSA,NOME_TURNO_CURSO_BOLSA
SMPPIR-PROUNI7,cpf_beneficiario_bolsa ,CPF do beneficiário da bolsa ProUni,0,cpf_beneficiario,VARCHAR(256),CPF_BENEFICIARIO_BOLSA,CPF_BENEFICIARIO_BOLSA,CPF_BENEFICIARIO_BOLSA,CPF_BENEFICIARIO_BOLSA,CPF_BENEFICIARIO_BOLSA
SMPPIR-PROUNI8,sexo_beneficiario_bolsa ,Sexo informado pelo beneficiário da bolsa ProUni,0,genero_beneficiario,VARCHAR(256),SEXO_BENEFICIARIO_BOLSA,SEXO_BENEFICIARIO_BOLSA,SEXO_BENEFICIARIO_BOLSA,SEXO_BENEFICIARIO_BOLSA,SEXO_BENEFICIARIO_BOLSA
SMPPIR-PROUNI9,raca_beneficiario_bolsa ,Raça/Cor informado pelo beneficiário da bolsa ProUni,0,raca_beneficiario,VARCHAR(256),RACA_BENEFICIARIO_BOLSA,RACA_BENEFICIARIO_BOLSA,RACA_BENEFICIARIO_BOLSA,RACA_BENEFICIARIO_BOLSA,RACA_BENEFICIARIO_BOLSA
SMPPIR-PROUNI10,dt_nascimento_beneficiario ,Data de nascimento do beneficiário da bolsa ProUni,0,data_nascimento_beneficiario,VARCHAR(16),DT_NASCIMENTO_BENEFICIARIO,DT_NASCIMENTO_BENEFICIARIO,DT_NASCIMENTO_BENEFICIARIO,DT_NASCIMENTO_BENEFICIARIO,DT_NASCIMENTO_BENEFICIARIO
SMPPIR-PROUNI11,beneficiario_deficiente_fisico ,Indicação se o beneficiário da bolsa ProUni é portador de algum tipo de deficiência,0,beneficiario_deficiente_fisico,VARCHAR(4),BENEFICIARIO_DEFICIENTE_FISICO,BENEFICIARIO_DEFICIENTE_FISICO,BENEFICIARIO_DEFICIENTE_FISICO,BENEFICIARIO_DEFICIENTE_FISICO,BENEFICIARIO_DEFICIENTE_FISICO
SMPPIR-PROUNI12,regiao_beneficiario_bolsa ,Nome da região da residência do beneficiário da bolsa ProUni,0,regiao_beneficiario,VARCHAR(16),REGIAO_BENEFICIARIO_BOLSA,REGIAO_BENEFICIARIO_BOLSA,REGIAO_BENEFICIARIO_BOLSA,REGIAO_BENEFICIARIO_BOLSA,REGIAO_BENEFICIARIO_BOLSA
SMPPIR-PROUNI13,sigla_uf_beneficiario_bolsa ,Sigla da UF de residência do beneficiário da bolsa ProUni,0,sigla_uf_beneficiario,VARCHAR(4),SIGLA_UF_BENEFICIARIO_BOLSA,SIGLA_UF_BENEFICIARIO_BOLSA,SIGLA_UF_BENEFICIARIO_BOLSA,SIGLA_UF_BENEFICIARIO_BOLSA,SIGLA_UF_BENEFICIARIO_BOLSA
SMPPIR-PROUNI14,municipio_beneficiario_bolsa ,Nome do Município de residência do beneficiário da bolsa ProUni,0,municipio_beneficiario,VARCHAR(256),MUNICIPIO_BENEFICIARIO_BOLSA,MUNICIPIO_BENEFICIARIO_BOLSA,MUNICIPIO_BENEFICIARIO_BOLSA,MUNICIPIO_BENEFICIARIO_BOLSA,MUNICIPIO_BENEFICIARIO_BOLSA
## O diretório Code
O diretório `Code` contém um programa escrito em Ruby que permite pré-processar os arquivos originais. Este programa é capaz de mudar o encoding de um arquivo, mudar o tipo de separador de ponto flutuante e de remover caracteres indesejados.
Para executar este programa é necessário instalar a biblioteca `colorize` executando o comando: `gem install colorize`
Depois crie um arquivo de configuração similar aos arquivos contidos no diretório `./Code/Config` e rode o programa executando:
`ruby Code/updateFileEncoding.rb Code/Config/arquivoDeConfiguracao`
## O diretório Protocols
No diretório `Protocols` estão salvos os arquivos de mapeamento para a utilização da ferramenta criada pelos desenvolvedores do SIMCAQ.
## O diretório Table_Definitions
No diretório `Table_Definitions` estão salvos os arquivos que definem as chaves primárias, chaves estrangeiras e dados referentes a fonte dos dados.
\ No newline at end of file
{
"pairing_description": "Tabela do censo do INEP - Ensino Superior",
"data_source": "Dados abertos INEP - Microdados do Ensino Superior",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo do INEP - Ensino Superior",
"data_source": "Dados abertos INEP - Microdados do Ensino Superior",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo do INEP - Ensino Superior",
"data_source": "Dados abertos INEP - Microdados do Ensino Superior",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo das Famílias - CadÚnico",
"data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo do FIES",
"data_source": "FNDE Dados abertos FIES",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo do INEP - Ensino Superior",
"data_source": "Dados abertos INEP - Microdados do Ensino Superior",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo do INEP - Ensino Superior",
"data_source": "Dados abertos INEP - Microdados do Ensino Superior",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo das Pessoas - CadÚnico",
"data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único",
"pk": [],
"foreign_keys": []
}
{
"pairing_description": "Tabela do censo IBGE (PNAD)",
"data_source": "PNAD (arquivo Pessoas)/IBGE",
"pk": [],
"foreign_keys": [
{
"keys": ["estado_id"],
"reference_columns": ["id"],
"reference_table": "estado"
}
]
}
{
"pairing_description": "Tabela do censo do PROUNI",
"data_source": "Dados abertos PROUNI",
"pk": [],
"foreign_keys": []
}
+-----------------------INEP-----------------------+
| |
|Chave primária de aluno |
| |
|co_ies, co_curso, co_aluno, ano_censo |
| |
|--------------------------------------------------|
| |
|Chave primária de curso |
| |
|co_curso, ano_censo |
| |
|--------------------------------------------------|
| |
|Chave primária de local oferta |
| |
|co_local_oferta, co_curso, ano_censo |
| |
|--------------------------------------------------|
| |
|Chave primária de docente |
| |
|co_docente_ies, no_ano_pesquisa, co_docente_ies |
| |
|--------------------------------------------------|
| |
|Chave primária de instituição |
| |
|co_ies, ano_censo |
+--------------------------------------------------+
+----------------------PROUNI----------------------+
| Chave primária de PROUNI |
| |
| * cpf_beneficiario_bolsa |
| * ano_concessao_bolsa |
| * nome_ies_bolsa |
| * nome_curso_bolsa |
+--------------------------------------------------+
+------------------------FIES----------------------+
| Chave primária de FIES |
| |
| * co_inscricao |
| * nu_ano |
| * nu_ano_proc |
| * nu_mes_proc |
| * co_curso |
| * co_processo |
+--------------------------------------------------+
+---------------------CadUnico---------------------+
| Chave primária de Familia |
| |
| * id_familia |
| * ano_pesquisa |
| |
|--------------------------------------------------|
| * |
| |
| |
| |
| |
|--------------------------------------------------|
\ No newline at end of file
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment