Commit 3fed1cd8 authored by Cristian Weiland's avatar Cristian Weiland

Issue #59: Remove tabs and replace them with 4 whitespaces

Signed-off-by: Cristian Weiland's avatarCristian Weiland <cw14@inf.ufpr.br>
parent 7b2e6a9f
......@@ -2,8 +2,8 @@
# Output: The output for the curl query.
if [ "$#" -ne 1 ]; then
echo "Usage: $0 <query-file>"
exit
echo "Usage: $0 <query-file>"
exit
fi
query=$(cat $1)
......
......@@ -16,20 +16,20 @@ if len(sys.argv) != 10:
# Generate JSON CNPJ merge config file:
data = {
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_CNPJ.csv"
, "file2": "_GastosDiretosFiltered.csv"
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_CNPJ.csv"
, "file2": "_GastosDiretosFiltered.csv"
, "encoding1": "Windows-1252"
, "encoding2": "Windows-1252"
, "idColumn1": 0
, "idColumn2": 19 # 19 because it starts counting from 0.
, "idColumn1": 0
, "idColumn2": 19 # 19 because it starts counting from 0.
, "ignoreColumns1": [0, 1, 2]
, "ignoreColumns2": []
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + "_merged_by_cnpj.csv"
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + "_merged_by_cnpj.csv"
}
with open(sys.argv[9] + '/config-cnpj-' + sys.argv[1] + '-' + sys.argv[2] + '.json', 'w') as outfile:
......@@ -37,20 +37,20 @@ with open(sys.argv[9] + '/config-cnpj-' + sys.argv[1] + '-' + sys.argv[2] + '.js
# Generate JSON CNAE merge config file:
data = {
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_CNAE.csv"
, "file2": "_merged_by_cnpj.csv"
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_CNAE.csv"
, "file2": "_merged_by_cnpj.csv"
, "encoding1": "Windows-1252"
, "encoding2": "utf8"
, "idColumn1": 2
, "idColumn1": 2
, "idColumn2": 25
, "ignoreColumns1": [0,2]
, "ignoreColumns2": []
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + "_merged_by_cnae.csv"
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + "_merged_by_cnae.csv"
}
with open(sys.argv[9] + '/config-cnae-' + sys.argv[1] + '-' + sys.argv[2] + '.json', 'w') as outfile:
......@@ -58,20 +58,20 @@ with open(sys.argv[9] + '/config-cnae-' + sys.argv[1] + '-' + sys.argv[2] + '.js
# Generate JSON config file to get data from Natureza Juridica:
data = {
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_NaturezaJuridica.csv"
, "file2": "_merged_by_cnae.csv"
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2]
, "file1": "_NaturezaJuridica.csv"
, "file2": "_merged_by_cnae.csv"
, "encoding1": "Windows-1252"
, "encoding2": "utf8"
, "idColumn1": 0
, "idColumn1": 0
, "idColumn2": 26
, "ignoreColumns1": [0]
, "ignoreColumns2": []
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + ".csv"
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + ".csv"
}
with open(sys.argv[9] + '/config-natjur-' + sys.argv[1] + '-' + sys.argv[2] + '.json', 'w') as outfile:
......@@ -79,15 +79,15 @@ with open(sys.argv[9] + '/config-natjur-' + sys.argv[1] + '-' + sys.argv[2] + '.
# Generate logstash config file:
with open('logstash_config.example') as infile:
example = infile.read()
example = infile.read()
output = example % { "timestamp": sys.argv[3] + '/' + sys.argv[2] + '/' + sys.argv[1] + ' 00:00:00'
, "date": sys.argv[1] + '-' + sys.argv[2]
, "date": sys.argv[1] + '-' + sys.argv[2]
, "index": sys.argv[4] + '-' + sys.argv[6]
, "host": sys.argv[5]
, "user": sys.argv[7]
, "password": sys.argv[8] }
, "user": sys.argv[7]
, "password": sys.argv[8] }
date = sys.argv[1] + '-' + sys.argv[2]
with open(sys.argv[9] + '/config-' + date, 'w') as outfile:
outfile.write(output)
outfile.write(output)
......@@ -13,9 +13,9 @@
# Output: The commands/scripts outputs.
if [ "$#" -ne 4 ]; then
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypass"
exit
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypass"
exit
fi
source ./config.sh
......
input {
stdin {}
stdin {}
}
filter {
csv {
csv {
columns => ["Código Órgão Superior","Nome Órgão Superior","Código Órgão","Nome Órgao","Código Unidade Gestora","Nome Unidade Gestora","Código Grupo Despesa","Nome Grupo Despesa","Código Elemento Despesa","Nome Elemento Despesa","Código Função","Nome Função","Código Subfunção","Nome Subfunção","Código Programa","Nome Programa","Código Ação","Nome Ação","Linguagem Cidadã","Código Favorecido","Nome Favorecido","Número Documento","Gestão Pagamento","Data Pagamento","Valor","Código CNAE","Código Natureza Jurídica","Descrição Seção","Descrição Subclasse","Descrição Natureza Jurídica"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "Código Órgão Superior" => "integer" }
convert => { "Código Órgão" => "integer" }
convert => { "Código Unidade Gestora" => "integer" }
convert => { "Código Grupo Despesa" => "integer" }
convert => { "Código Elemento Despesa" => "integer" }
convert => { "Código Função" => "integer" }
convert => { "Código Subfunção" => "integer" }
convert => { "Código Programa" => "integer" }
convert => { "Código Ação" => "integer" }
convert => { "Código Favorecido" => "integer" }
convert => { "Gestão Pagamento" => "integer" }
convert => { "Valor" => "float" }
convert => { "Código CNAE" => "integer" }
convert => { "Código Natureza Jurídica" => "integer" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
date {
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "Código Órgão Superior" => "integer" }
convert => { "Código Órgão" => "integer" }
convert => { "Código Unidade Gestora" => "integer" }
convert => { "Código Grupo Despesa" => "integer" }
convert => { "Código Elemento Despesa" => "integer" }
convert => { "Código Função" => "integer" }
convert => { "Código Subfunção" => "integer" }
convert => { "Código Programa" => "integer" }
convert => { "Código Ação" => "integer" }
convert => { "Código Favorecido" => "integer" }
convert => { "Gestão Pagamento" => "integer" }
convert => { "Valor" => "float" }
convert => { "Código CNAE" => "integer" }
convert => { "Código Natureza Jurídica" => "integer" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
date {
match => [ "Data Pagamento", "dd/MM/YYYY" ]
target => [ "Data Pagamento Timestamp" ]
}
}
}
output {
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
}
......@@ -109,7 +109,7 @@ for row2 in csv_2:
result.append(newRow)
hits += 1
else:
# This guy was in the second file, but not in the first one. Add him, but with null values in the second file.
# This guy was in the second file, but not in the first one. Add him, but with null values in the second file.
newRow = getDataWithEmptyRow(columns1, row2)
result.append(newRow)
errors += 1
......
......@@ -15,15 +15,15 @@ if len(sys.argv) != 10:
sys.exit()
with open('logstash_config.example') as infile:
example = infile.read()
example = infile.read()
output = example % { "timestamp": sys.argv[3] + '/' + sys.argv[2] + '/' + sys.argv[1] + ' 00:00:00'
, "date": sys.argv[1] + '-' + sys.argv[2]
, "date": sys.argv[1] + '-' + sys.argv[2]
, "index": sys.argv[4] + '-' + sys.argv[6]
, "host": sys.argv[5]
, "user": sys.argv[7]
, "password": sys.argv[8] }
, "user": sys.argv[7]
, "password": sys.argv[8] }
date = sys.argv[1] + '-' + sys.argv[2]
with open(sys.argv[9] + '/config-' + date, 'w') as outfile:
outfile.write(output)
outfile.write(output)
......@@ -12,9 +12,9 @@
# Output: The commands/scripts outputs.
if [ "$#" -ne 4 ]; then
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypass"
exit
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypass"
exit
fi
source ./config.sh
......
input {
stdin {
codec => plain {
charset => "Windows-1252"
}
}
stdin {
codec => plain {
charset => "Windows-1252"
}
}
}
filter {
csv {
columns => ["Código Órgão Superior","Nome Órgão Superior","Código Órgão","Nome Órgao","Código Unidade Gestora","Nome Unidade Gestora","Código Função","Nome Função","Código Subfunção","Nome Subfunção","Código Programa","Nome Programa","Código Ação","Nome Ação","Linguagem Cidadã","CPF Favorecido","Nome Favorecido","Número Documento","Gestão Pagamento","Data Pagamento","Valor"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "Código Órgão Superior" => "integer" }
convert => { "Código Órgão" => "integer" }
convert => { "Código Unidade Gestora" => "integer" }
convert => { "Código Grupo Despesa" => "integer" }
convert => { "Código Elemento Despesa" => "integer" }
convert => { "Código Função" => "integer" }
convert => { "Código Subfunção" => "integer" }
convert => { "Código Programa" => "integer" }
convert => { "Código Ação" => "integer" }
convert => { "Código Favorecido" => "integer" }
convert => { "Gestão Pagamento" => "integer" }
convert => { "Valor" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
date {
csv {
columns => ["Código Órgão Superior","Nome Órgão Superior","Código Órgão","Nome Órgao","Código Unidade Gestora","Nome Unidade Gestora","Código Função","Nome Função","Código Subfunção","Nome Subfunção","Código Programa","Nome Programa","Código Ação","Nome Ação","Linguagem Cidadã","CPF Favorecido","Nome Favorecido","Número Documento","Gestão Pagamento","Data Pagamento","Valor"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "Código Órgão Superior" => "integer" }
convert => { "Código Órgão" => "integer" }
convert => { "Código Unidade Gestora" => "integer" }
convert => { "Código Grupo Despesa" => "integer" }
convert => { "Código Elemento Despesa" => "integer" }
convert => { "Código Função" => "integer" }
convert => { "Código Subfunção" => "integer" }
convert => { "Código Programa" => "integer" }
convert => { "Código Ação" => "integer" }
convert => { "Código Favorecido" => "integer" }
convert => { "Gestão Pagamento" => "integer" }
convert => { "Valor" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
date {
match => [ "Data Pagamento", "dd/MM/YYYY" ]
target => [ "Data Pagamento Timestamp" ]
}
}
}
output {
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
}
{
"path": "tmp_2016-10/"
, "date": "20161031"
"path": "tmp_2016-10/"
, "date": "20161031"
, "file1" : "_Remuneracao.csv"
, "file2" : "_Cadastro_Unique.csv"
, "idColumn1" : 2
, "idColumn2" : 0
, "quotechar": "\""
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": "tmp_/201610.csv"
......
......@@ -17,34 +17,34 @@ if len(sys.argv) != 10:
sys.exit()
data = {
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2] + sys.argv[3]
, "file1": "_Remuneracao.csv"
, "file2": "_Cadastro_Unique.csv"
, "idColumn1": 2
, "idColumn2": 0
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + sys.argv[3] + ".csv"
"path": sys.argv[9]
, "date": sys.argv[1] + sys.argv[2] + sys.argv[3]
, "file1": "_Remuneracao.csv"
, "file2": "_Cadastro_Unique.csv"
, "idColumn1": 2
, "idColumn2": 0
, "quotechar": "\""
, "delimiter": "\t"
, "lineterminator": "\n"
, "outputFile": sys.argv[9] + '/' + sys.argv[1] + sys.argv[2] + sys.argv[3] + ".csv"
}
with open(sys.argv[9] + '/config-' + sys.argv[1] + '-' + sys.argv[2] + '.json', 'w') as outfile:
json.dump(data, outfile, indent=4, sort_keys=True)
if int(sys.argv[1]) <= 2014 or (int(sys.argv[1]) == 2015 and int(sys.argv[2]) <= 3):
with open('previous_logstash_config.example') as infile:
example = infile.read()
with open('previous_logstash_config.example') as infile:
example = infile.read()
else:
with open('logstash_config.example') as infile:
example = infile.read()
with open('logstash_config.example') as infile:
example = infile.read()
output = example % { "timestamp": sys.argv[3] + '/' + sys.argv[2] + '/' + sys.argv[1] + ' 00:00:00'
, "date": sys.argv[1] + '-' + sys.argv[2]
, "date": sys.argv[1] + '-' + sys.argv[2]
, "index": sys.argv[4] + '-' + sys.argv[6]
, "host": sys.argv[5]
, "user": sys.argv[7]
, "password": sys.argv[8] }
, "user": sys.argv[7]
, "password": sys.argv[8] }
with open(sys.argv[9] + '/config-' + sys.argv[1] + '-' + sys.argv[2], 'w') as outfile:
outfile.write(output)
outfile.write(output)
......@@ -16,9 +16,9 @@
# WARNING: We get the day from the CSV file by using cut in characters 7 and 8. This means we assume they will write something like 01 as day 1. If they change it to 1, this script will not work!
if [ "$#" -ne 4 ]; then
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypassword"
exit
echo "Usage: $0 <year> <month> <user> <password>"
echo "Example: $0 2016 12 myuser mypassword"
exit
fi
source ./config.sh
......
input {
stdin {
codec => plain {
charset => "Windows-1252"
}
}
stdin {
codec => plain {
charset => "Windows-1252"
}
}
}
filter {
csv {
columns => [ "ID_SERVIDOR_PORTAL", "NOME", "CPF", "MATRICULA", "DESCRICAO_CARGO", "CLASSE_CARGO", "REFERENCIA_CARGO", "PADRAO_CARGO", "NIVEL_CARGO", "SIGLA_FUNCAO", "NIVEL_FUNCAO", "FUNCAO", "CODIGO_ATIVIDADE", "ATIVIDADE", "OPCAO_PARCIAL", "COD_UORG_LOTACAO", "UORG_LOTACAO", "COD_ORG_LOTACAO", "ORG_LOTACAO", "COD_ORGSUP_LOTACAO", "ORGSUP_LOTACAO", "COD_UORG_EXERCICIO", "UORG_EXERCICIO", "COD_ORG_EXERCICIO", "ORG_EXERCICIO", "COD_ORGSUP_EXERCICIO", "ORGSUP_EXERCICIO", "TIPO_VINCULO", "SITUACAO_VINCULO", "DATA_INICIO_AFASTAMENTO", "DATA_TERMINO_AFASTAMENTO", "REGIME_JURIDICO", "JORNADA_DE_TRABALHO", "DATA_INGRESSO_CARGOFUNCAO", "DATA_NOMEACAO_CARGOFUNCAO", "DATA_INGRESSO_ORGAO", "DOCUMENTO_INGRESSO_SERVICOPUBLICO", "DATA_DIPLOMA_INGRESSO_SERVICOPUBLICO", "DIPLOMA_INGRESSO_CARGOFUNCAO", "DIPLOMA_INGRESSO_ORGAO", "DIPLOMA_INGRESSO_SERVICOPUBLICO", "UF_EXERCICIO", "ANO", "MES", "REMUNERAÇÃO BÁSICA BRUTA (R$)", "REMUNERAÇÃO BÁSICA BRUTA (U$)", "ABATE-TETO (R$)", "ABATE-TETO (U$)", "GRATIFICAÇÃO NATALINA (R$)", "GRATIFICAÇÃO NATALINA (U$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)", "FÉRIAS (R$)", "FÉRIAS (U$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)", "IRRF (R$)", "IRRF (U$)", "PSS/RPGS (R$)", "PSS/RPGS (U$)", "PENSÃO MILITAR (R$)", "PENSÃO MILITAR (U$)", "FUNDO DE SAÚDE (R$)", "FUNDO DE SAÚDE (U$)", "DEMAIS DEDUÇÕES (R$)", "DEMAIS DEDUÇÕES (U$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*) ", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)", "TOTAL DE HONORÁRIOS (JETONS)"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "ANO" => "integer" }
convert => { "MES" => "integer" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (R$)" => "float" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (U$)" => "float" }
convert => { "ABATE-TETO (R$)" => "float" }
convert => { "ABATE-TETO (U$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "FÉRIAS (R$)" => "float" }
convert => { "FÉRIAS (U$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)" => "float" }
convert => { "IRRF (R$)" => "float" }
convert => { "IRRF (U$)" => "float" }
convert => { "PSS/RPGS (R$)" => "float" }
convert => { "PSS/RPGS (U$)" => "float" }
convert => { "PENSÃO MILITAR (R$)" => "float" }
convert => { "PENSÃO MILITAR (U$)" => "float" }
convert => { "FUNDO DE SAÚDE (R$)" => "float" }
convert => { "FUNDO DE SAÚDE (U$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (R$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (U$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)" => "float" }
convert => { "TOTAL DE HONORÁRIOS (JETONS)" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
csv {
columns => [ "ID_SERVIDOR_PORTAL", "NOME", "CPF", "MATRICULA", "DESCRICAO_CARGO", "CLASSE_CARGO", "REFERENCIA_CARGO", "PADRAO_CARGO", "NIVEL_CARGO", "SIGLA_FUNCAO", "NIVEL_FUNCAO", "FUNCAO", "CODIGO_ATIVIDADE", "ATIVIDADE", "OPCAO_PARCIAL", "COD_UORG_LOTACAO", "UORG_LOTACAO", "COD_ORG_LOTACAO", "ORG_LOTACAO", "COD_ORGSUP_LOTACAO", "ORGSUP_LOTACAO", "COD_UORG_EXERCICIO", "UORG_EXERCICIO", "COD_ORG_EXERCICIO", "ORG_EXERCICIO", "COD_ORGSUP_EXERCICIO", "ORGSUP_EXERCICIO", "TIPO_VINCULO", "SITUACAO_VINCULO", "DATA_INICIO_AFASTAMENTO", "DATA_TERMINO_AFASTAMENTO", "REGIME_JURIDICO", "JORNADA_DE_TRABALHO", "DATA_INGRESSO_CARGOFUNCAO", "DATA_NOMEACAO_CARGOFUNCAO", "DATA_INGRESSO_ORGAO", "DOCUMENTO_INGRESSO_SERVICOPUBLICO", "DATA_DIPLOMA_INGRESSO_SERVICOPUBLICO", "DIPLOMA_INGRESSO_CARGOFUNCAO", "DIPLOMA_INGRESSO_ORGAO", "DIPLOMA_INGRESSO_SERVICOPUBLICO", "UF_EXERCICIO", "ANO", "MES", "REMUNERAÇÃO BÁSICA BRUTA (R$)", "REMUNERAÇÃO BÁSICA BRUTA (U$)", "ABATE-TETO (R$)", "ABATE-TETO (U$)", "GRATIFICAÇÃO NATALINA (R$)", "GRATIFICAÇÃO NATALINA (U$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)", "FÉRIAS (R$)", "FÉRIAS (U$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)", "IRRF (R$)", "IRRF (U$)", "PSS/RPGS (R$)", "PSS/RPGS (U$)", "PENSÃO MILITAR (R$)", "PENSÃO MILITAR (U$)", "FUNDO DE SAÚDE (R$)", "FUNDO DE SAÚDE (U$)", "DEMAIS DEDUÇÕES (R$)", "DEMAIS DEDUÇÕES (U$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*) ", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)", "TOTAL DE HONORÁRIOS (JETONS)"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "ANO" => "integer" }
convert => { "MES" => "integer" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (R$)" => "float" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (U$)" => "float" }
convert => { "ABATE-TETO (R$)" => "float" }
convert => { "ABATE-TETO (U$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "FÉRIAS (R$)" => "float" }
convert => { "FÉRIAS (U$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)" => "float" }
convert => { "IRRF (R$)" => "float" }
convert => { "IRRF (U$)" => "float" }
convert => { "PSS/RPGS (R$)" => "float" }
convert => { "PSS/RPGS (U$)" => "float" }
convert => { "PENSÃO MILITAR (R$)" => "float" }
convert => { "PENSÃO MILITAR (U$)" => "float" }
convert => { "FUNDO DE SAÚDE (R$)" => "float" }
convert => { "FUNDO DE SAÚDE (U$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (R$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (U$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)" => "float" }
convert => { "TOTAL DE HONORÁRIOS (JETONS)" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
}
output {
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
elasticsearch {
action => "index"
user => "%(user)s"
password => "%(password)s"
hosts => "http://%(host)s:9200"
index => "%(index)s-%(date)s"
workers => 1
}
stdout {}
}
......@@ -45,8 +45,8 @@ title1 = csv_1.pop(0)
file_exists = Path(file2)
if not file_exists.is_file():
print("File2 does not exist. Calling script resume_register to create it...")
call(["./resume_register.sh " + params['path'] + " " + params['date'] + " " + sys.argv[2] + " " + sys.argv[3]], shell=True)
print("File2 does not exist. Calling script resume_register to create it...")
call(["./resume_register.sh " + params['path'] + " " + params['date'] + " " + sys.argv[2] + " " + sys.argv[3]], shell=True)
with open(file2, newline='', encoding='Windows-1252') as f:
csv_2 = [ i for i in csv.reader(f, 'dialect') ]
......@@ -58,10 +58,10 @@ def getDataFromRows(row1, row2):
newRow = []
for value in row2:
newRow.append(value)
# Append columns ANO e MES.
# Append columns ANO e MES.
newRow.append(row1[0])
newRow.append(row1[1])
# Start i in 5 because we want to ignore columns ID_SERVIDOR_PORTAL, CPF and NOME from Remuneracao.csv (we already have it from Cadastro.csv). We might not have data from them.
# Start i in 5 because we want to ignore columns ID_SERVIDOR_PORTAL, CPF and NOME from Remuneracao.csv (we already have it from Cadastro.csv). We might not have data from them.
for i in range(5, len(row1)):
newRow.append(row1[i])
return newRow
......@@ -70,7 +70,7 @@ def getDataWithEmptyRow(columns, row):
newRow = []
for value in row:
newRow.append(value)
# Append since 3 because we want to ignore columns ID_SERVIDOR_PORTAL, CPF and NOME from Remuneracao.csv (we already have this data from Cadastro.csv).
# Append since 3 because we want to ignore columns ID_SERVIDOR_PORTAL, CPF and NOME from Remuneracao.csv (we already have this data from Cadastro.csv).
for i in range(3, columns):
newRow.append('')
return newRow
......@@ -96,7 +96,7 @@ for row2 in csv_2:
result.append(newRow)
hits += 1
else:
# This guy was in the second file, but not in the first one. Add him, but with null values in the second file.
# This guy was in the second file, but not in the first one. Add him, but with null values in the second file.
newRow = getDataWithEmptyRow(columns1, row2)
result.append(newRow)
errors += 1
......
input {
stdin {
codec => plain {
charset => "Windows-1252"
}
}
stdin {
codec => plain {
charset => "Windows-1252"
}
}
}
filter {
csv {
columns => [ "ID_SERVIDOR_PORTAL", "NOME", "CPF", "MATRICULA", "DESCRICAO_CARGO", "CLASSE_CARGO", "REFERENCIA_CARGO", "PADRAO_CARGO", "NIVEL_CARGO", "SIGLA_FUNCAO", "NIVEL_FUNCAO", "FUNCAO", "CODIGO_ATIVIDADE", "ATIVIDADE", "OPCAO_FUNCAO_TOTAL", "UORG_LOTACAO", "COD_ORG_LOTACAO", "ORG_LOTACAO", "COD_ORGSUP_LOTACAO", "ORGSUP_LOTACAO", "UORG_EXERCICIO", "COD_ORG_EXERCICIO", "ORG_EXERCICIO", "COD_ORGSUP_EXERCICIO", "ORGSUP_EXERCICIO", "TIPO_VINCULO", "SITUACAO_VINCULO", "DATA_INICIO_AFASTAMENTO", "DATA_TERMINO_AFASTAMENTO", "REGIME_JURIDICO", "JORNADA_DE_TRABALHO", "DATA_INGRESSO_CARGOFUNCAO", "DATA_NOMEACAO_CARGOFUNCAO", "DATA_INGRESSO_ORGAO", "DOCUMENTO_INGRESSO_SERVICOPUBLICO", "DATA_DIPLOMA_INGRESSO_SERVICOPUBLICO", "DIPLOMA_INGRESSO_CARGOFUNCAO", "DIPLOMA_INGRESSO_ORGAO", "DIPLOMA_INGRESSO_SERVICOPUBLICO", "UF_EXERCICIO", "ANO", "MES", "REMUNERAÇÃO BÁSICA BRUTA (R$)", "REMUNERAÇÃO BÁSICA BRUTA (U$)", "ABATE-TETO (R$)", "ABATE-TETO (U$)", "GRATIFICAÇÃO NATALINA (R$)", "GRATIFICAÇÃO NATALINA (U$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)", "FÉRIAS (R$)", "FÉRIAS (U$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)", "IRRF (R$)", "IRRF (U$)", "PSS/RPGS (R$)", "PSS/RPGS (U$)", "PENSÃO MILITAR (R$)", "PENSÃO MILITAR (U$)", "FUNDO DE SAÚDE (R$)", "FUNDO DE SAÚDE (U$)", "DEMAIS DEDUÇÕES (R$)", "DEMAIS DEDUÇÕES (U$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*) ", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)", "TOTAL DE HONORÁRIOS (JETONS)"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "ANO" => "integer" }
convert => { "MES" => "integer" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (R$)" => "float" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (U$)" => "float" }
convert => { "ABATE-TETO (R$)" => "float" }
convert => { "ABATE-TETO (U$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "FÉRIAS (R$)" => "float" }
convert => { "FÉRIAS (U$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)" => "float" }
convert => { "IRRF (R$)" => "float" }
convert => { "IRRF (U$)" => "float" }
convert => { "PSS/RPGS (R$)" => "float" }
convert => { "PSS/RPGS (U$)" => "float" }
convert => { "PENSÃO MILITAR (R$)" => "float" }
convert => { "PENSÃO MILITAR (U$)" => "float" }
convert => { "FUNDO DE SAÚDE (R$)" => "float" }
convert => { "FUNDO DE SAÚDE (U$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (R$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (U$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)" => "float" }
convert => { "TOTAL DE HONORÁRIOS (JETONS)" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
csv {
columns => [ "ID_SERVIDOR_PORTAL", "NOME", "CPF", "MATRICULA", "DESCRICAO_CARGO", "CLASSE_CARGO", "REFERENCIA_CARGO", "PADRAO_CARGO", "NIVEL_CARGO", "SIGLA_FUNCAO", "NIVEL_FUNCAO", "FUNCAO", "CODIGO_ATIVIDADE", "ATIVIDADE", "OPCAO_FUNCAO_TOTAL", "UORG_LOTACAO", "COD_ORG_LOTACAO", "ORG_LOTACAO", "COD_ORGSUP_LOTACAO", "ORGSUP_LOTACAO", "UORG_EXERCICIO", "COD_ORG_EXERCICIO", "ORG_EXERCICIO", "COD_ORGSUP_EXERCICIO", "ORGSUP_EXERCICIO", "TIPO_VINCULO", "SITUACAO_VINCULO", "DATA_INICIO_AFASTAMENTO", "DATA_TERMINO_AFASTAMENTO", "REGIME_JURIDICO", "JORNADA_DE_TRABALHO", "DATA_INGRESSO_CARGOFUNCAO", "DATA_NOMEACAO_CARGOFUNCAO", "DATA_INGRESSO_ORGAO", "DOCUMENTO_INGRESSO_SERVICOPUBLICO", "DATA_DIPLOMA_INGRESSO_SERVICOPUBLICO", "DIPLOMA_INGRESSO_CARGOFUNCAO", "DIPLOMA_INGRESSO_ORGAO", "DIPLOMA_INGRESSO_SERVICOPUBLICO", "UF_EXERCICIO", "ANO", "MES", "REMUNERAÇÃO BÁSICA BRUTA (R$)", "REMUNERAÇÃO BÁSICA BRUTA (U$)", "ABATE-TETO (R$)", "ABATE-TETO (U$)", "GRATIFICAÇÃO NATALINA (R$)", "GRATIFICAÇÃO NATALINA (U$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)", "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)", "FÉRIAS (R$)", "FÉRIAS (U$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)", "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)", "IRRF (R$)", "IRRF (U$)", "PSS/RPGS (R$)", "PSS/RPGS (U$)", "PENSÃO MILITAR (R$)", "PENSÃO MILITAR (U$)", "FUNDO DE SAÚDE (R$)", "FUNDO DE SAÚDE (U$)", "DEMAIS DEDUÇÕES (R$)", "DEMAIS DEDUÇÕES (U$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)", "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*) ", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)", "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)", "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)", "TOTAL DE HONORÁRIOS (JETONS)"]
separator => " "
add_field => { "timestamp" => "%(timestamp)s" }
}
mutate {
convert => { "ANO" => "integer" }
convert => { "MES" => "integer" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (R$)" => "float" }
convert => { "REMUNERAÇÃO BÁSICA BRUTA (U$)" => "float" }
convert => { "ABATE-TETO (R$)" => "float" }
convert => { "ABATE-TETO (U$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (R$)" => "float" }
convert => { "ABATE-TETO DA GRATIFICAÇÃO NATALINA (U$)" => "float" }
convert => { "FÉRIAS (R$)" => "float" }
convert => { "FÉRIAS (U$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (R$)" => "float" }
convert => { "OUTRAS REMUNERAÇÕES EVENTUAIS (U$)" => "float" }
convert => { "IRRF (R$)" => "float" }
convert => { "IRRF (U$)" => "float" }
convert => { "PSS/RPGS (R$)" => "float" }
convert => { "PSS/RPGS (U$)" => "float" }
convert => { "PENSÃO MILITAR (R$)" => "float" }
convert => { "PENSÃO MILITAR (U$)" => "float" }
convert => { "FUNDO DE SAÚDE (R$)" => "float" }
convert => { "FUNDO DE SAÚDE (U$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (R$)" => "float" }
convert => { "DEMAIS DEDUÇÕES (U$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (R$)" => "float" }
convert => { "REMUNERAÇÃO APÓS DEDUÇÕES OBRIGATÓRIAS (U$)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - CIVIL (U$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (R$)(*)" => "float" }
convert => { "VERBAS INDENIZATÓRIAS REGISTRADAS EM SISTEMAS DE PESSOAL - MILITAR (U$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (R$)(*)" => "float" }
convert => { "TOTAL DE VERBAS INDENIZATÓRIAS (U$)(*)" => "float" }
convert => { "TOTAL DE HONORÁRIOS (JETONS)" => "float" }
}
date {
match => [ "timestamp", "dd/MM/YYYY HH:mm:ss", "ISO8601" ]
target => [ "@timestamp" ]
}
}