Commit e1d2582a authored by Odair M.'s avatar Odair M.
Browse files

Merge branch 'docker' into 'development'

Docker

See merge request !19
parents a10372c1 2fcfaa11
Pipeline #15865 failed with stage
in 1 minute and 47 seconds
......@@ -6,6 +6,9 @@
*.sqlite3
src/cache
*.json
base_dados/*
base_dados
src/.coverage
......
The MIT License (MIT)
Copyright (c) 2016 Simple is Better Than Complex
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
......@@ -21,9 +21,44 @@ E podem ser clonado com o comando
```bash
$ git clone git@gitlab.c3sl.ufpr.br:adega/adega.git
```
## Instalação e dependências com docker
Para executar o projeto com o docker, siga os seguintes passos:
```bash
$ git clone git@gitlab.c3sl.ufpr.br:adega/adega.git # Comando já executado
$ cd adega/
$ sudo make docker-install # Instala o docker.io e docker-compose
$ sudo make docker-up # Executa os containers postgres e webserver
```
## Desenvolvimento com o docker
Enquanto o `sudo make docker-up` estiver sendo executado, as alterações feitas nos arquivos do projeto será compartilhado com os arquivos do container docker. Ou seja, é possível alterar qualquer arquivo do projeto e haverá resultados em tempo real.
Assim como é possível realizar qualquer comando como seria feito no com o manage.py, também é possível por meio do comando `sudo make docker-manage`. Por exemplo:
```bash
$ sudo make docker-manage makemigrations uploads
$ sudo make docker-manage migrate
$ sudo make docker-manage createsuperuser
```
Para realizar esses comandos, certifique-se que o comando `make docker-up`está em execução (recomenda-se deixar uma aba no terminal para isso).
## Recomendações para o docker
É recomendado que o usuário configure o docker para que o mesmo possa ser executado sem necessidades de privilégios de superusuário, assim não haverá necessidade do uso de `sudo`. Caso contrário, os comandos realizados com `sudo make` poderão criar arquivos cujo proprietário é o usuário `root`. Caso a recomendação não for seguida, o seguinte comando irá alterar o proprietário dos arquivos para o usuário atual:
```bash
$ sudo make docker-fix
```
## Remover os containers + banco de dados
Para apagar os containers e o banco de dados, execute o seguinte comando:
```bash
$ sudo docker-remove-all
```
*Observação*: Esse comando **não** irá deletar qualquer arquivo do projeto / diretório local, apenas os containers.
## Instalação e dependências
## Instalação e dependências manuais (não recomendado)
```bash
......
FROM python:3.5
RUN apt-get update -qq
RUN apt-get install -y \
python3-pip libpq-dev \
postgresql-client
RUN mkdir /adega
WORKDIR /adega
# Not necessary (only do the build slow)
# ADD . /adega
ADD ./requirements.txt /adega/requirements.txt
RUN pip3 install -r requirements.txt
# Not necessary. The migrate can be done by makefile or in docker-compose.yml
# Besides that, there is no database to migrate yet (while docker build)
# RUN ./install.sh --configure
version: '3'
services:
db:
image: postgres
environment:
- POSTGRES_USER=adega
- POSTGRES_PASSWORD=adega
- POSTGRES_DB=adega
web:
build:
context: .
dockerfile: ./docker_scripts/Dockerfile
command: bash "./docker_scripts/on_docker_init.sh"
volumes:
- .:/adega
ports:
- "8000:8000"
links:
- db
depends_on:
- db
environment:
- POSTGRES_USER=adega
- POSTGRES_PASSWORD=adega
- POSTGRES_DB=adega
- POSTGRES_HOST=adega_db_1
# This commands will be run inside of the container web
# If ANY of this commands fails (return != 0) the container will be down
bash ./docker_scripts/wait_for_postgres.sh
python ./src/manage.py migrate
python ./src/manage.py runserver 0.0.0.0:8000
#!/bin/bash
# wait-for-postgres.sh
set -e
host="$1"
cmd="$@"
until PGPASSWORD=$POSTGRES_PASSWORD psql -h "$POSTGRES_HOST" -U "$POSTGRES_USER" -c '\q'; do
>&2 echo "Postgres is unavailable - sleeping"
sleep 1
done
>&2 echo "Postgres is up"
#~ >&2 echo "Postgres is up - executing command"
#~ exec $cmd
......@@ -36,3 +36,35 @@ install-user:
pipenv install
# TODO: Create the files in docker with $USER owner
docker-fix:
chown -R $USER:$USER *
docker-up:
docker-compose --project-directory . -f docker_scripts/docker-compose.yml -p adega up
docker-remove-all:
docker rm adega_web_1 adega_db_1
docker rmi adega_web
# Maybe this will not works in all OS systems
docker-install:
apt-get install docker
apt-get install docker-compose
# The follows commands permit to use manage.py with make. Examples:
# make docker-manage migrate
# make docker-manage makemigrations uploads
%:
@:
args = `arg="$(filter-out $@,$(MAKECMDGOALS))" && echo $${arg:-${1}}`
docker-manage:
@echo $(call args,"")
docker exec -it adega_web_1 python3 ./src/manage.py $(call args,"")
CREATE DATABASE adega;
CREATE USER adega WITH PASSWORD 'adega';
-- ~ CREATE USER adega WITH PASSWORD 'adega';
ALTER ROLE adega SET client_encoding TO 'utf8';
ALTER ROLE adega SET default_transaction_isolation TO 'read committed';
ALTER ROLE adega SET timezone TO 'UTC-3';
GRANT ALL PRIVILEGES ON DATABASE adega TO adega;
-- ~ ALTER ROLE adega SET client_encoding TO 'utf8';
-- ~ ALTER ROLE adega SET default_transaction_isolation TO 'read committed';
-- ~ ALTER ROLE adega SET timezone TO 'UTC-3';
-- ~ GRANT ALL PRIVILEGES ON DATABASE adega TO adega;
import numpy as np
from utils.situations import *
ANO_ATUAL = 2017
SEMESTRE_ATUAL = 2
def listagem_turma_ingresso(df):
#~ print(df.groupby(["ANO_INGRESSO", "SEMESTRE_INGRESSO"]).groups)
grupos = df.groupby(["ANO_INGRESSO", "SEMESTRE_INGRESSO"]).groups
for t in grupos:
print(t)
print("\n\n")
print(df["FORMA_INGRESSO"][grupos[t]].drop_duplicates())
# -*- coding: utf-8 -*-
from datetime import datetime
import ujson as json
import numpy as np
from utils.situations import Situation as sit
def grafico(df,lista_disciplinas):
for disciplina in lista_disciplinas.keys() :
qtd_aluno = lista_disciplinas[disciplina]["qtd_alunos"]
dic = {"00-4.9":0.0 , "05-9.9":0.0 , "10-14.9":0.0 , "15-19.9":0.0 , "20-24.9":0.0 , "25-29.9":0.0 , "30-34.9":0.0 ,
"35-39.9":0.0 , "40-44.9":0.0 , "45-49.9":0.0 , "50-54.9":0.0 , "55-59.9":0.0 , "60-64.9":0.0 , "65-69.9":0.0 ,
"70-74.9":0.0 , "75-79.9":0.0 , "80-84.9":0.0 , "85-89.9":0.0 , "90-94.9":0.0 ,"95-100": 0.0}
disciplina_df = df.loc[df.COD_ATIV_CURRIC == disciplina]
disci_lista = []
for i in disciplina_df.iterrows():
nota = 0.0 if i[1].MEDIA_FINAL > 100 else i[1].MEDIA_FINAL
for key in dic.keys():
a = key.split('-')
value_min = float(a[0])
value_max = float(a[1])
if((nota >= value_min) and (nota <= value_max)):
dic[key] += float(nota)
break;
for j in dic.keys():
disci_lista.append([j, 0.0 if qtd_aluno == 0 else dic[j] / qtd_aluno])
lista_disciplinas[disciplina]["compara_nota"] = disci_lista
def informacoes_gerais(df,lista_disciplinas):
#quantidade de matriculas
disciplinas = df.groupby(["COD_ATIV_CURRIC"]).size()
for disciplina in disciplinas.index:
disciplina_dict = {}
disciplina_df = df.loc[df.COD_ATIV_CURRIC == disciplina]
disciplina_dict["qtd_alunos"] = int(disciplinas[disciplina])
disciplina_dict["disciplina_codigo"] = disciplina
disciplina_dict["disciplina_nome"] = \
disciplina_df.NOME_ATIV_CURRIC.values[0]
lista_disciplinas[disciplina] = disciplina_dict
def conhecimento(qtd,disciplina_dict):
conheci_df = qtd.loc[(qtd.SITUACAO == sit.SIT_CONHECIMENTO_APROVADO) |
(qtd.SITUACAO == sit.SIT_CONHECIMENTO_REPROVADO)]
total_conheci = conheci_df.qtd.sum()
if np.isnan(total_conheci):
total_conheci = 0
conheci_aprov = conheci_df.loc[conheci_df.SITUACAO == \
sit.SIT_CONHECIMENTO_APROVADO].set_index("COD_ATIV_CURRIC" )
disciplina_dict["qtd_conhecimento"] = int(total_conheci)
if (total_conheci !=0) and (not conheci_aprov.empty):
disciplina_dict["taxa_conhecimento"] = float(conheci_aprov.qtd.values[0] /
total_conheci)
else:
disciplina_dict["taxa_conhecimento"] = 0.0
def trancamento(qtd,disciplina_dict,qtd_matr):
trancamento_df = qtd.loc[(qtd.SITUACAO == sit.SIT_TRANCAMENTO_ADMINISTRATIVO) |
(qtd.SITUACAO == sit.SIT_TRANCAMENTO_TOTAL) |
(qtd.SITUACAO == sit.SIT_CANCELADO)]
qtd_tranc = trancamento_df.qtd.sum()
if np.isnan(qtd_tranc):
qtd_tranc = 0
disciplina_dict["qtd_trancamento"] = int(qtd_tranc)
disciplina_dict["taxa_trancamento"] = float(qtd_tranc / qtd_matr) if qtd_matr else 0.0
def reprovacao(qtd,disciplina,qtd_matr,taxa_reprov_absoluta,taxa_reprov_freq):
"""existem as analises reprovacao absoluta, reprovacao por frequencia,
reprovacao absoluta, reprovacao por frequencia da ultima vez que a
disciplina foi ofertada, a logica das analise sao a mesma so muda os valores
do dataframe qtd e o nomes das chaves do dicionario,logo é possível reaproveitar
o mesmo codigo para fazer analise geral e da ultima vez que foi ofertado."""
sit_reprov = sit.SITUATION_FAIL + (sit.SIT_REPROVADO_SEM_NOTA,)
reprov_df = qtd.loc[(qtd.SITUACAO == sit_reprov[0]) |
(qtd.SITUACAO == sit_reprov[1]) |
(qtd.SITUACAO == sit_reprov[2]) |
(qtd.SITUACAO == sit_reprov[3]) ]
qtd_reprov_abso = reprov_df.qtd.sum() #quantidade de reprovacao absoluta
qtd_reprov_freq = reprov_df.loc[reprov_df.SITUACAO == sit_reprov[1]]
if qtd_matr != 0:
if np.isnan(qtd_reprov_abso):
disciplina[taxa_reprov_absoluta] = 0.0
else:
disciplina[taxa_reprov_absoluta] = float(qtd_reprov_abso / qtd_matr)
if qtd_reprov_freq.empty:
disciplina[taxa_reprov_freq] = 0.0
else:
disciplina[taxa_reprov_freq] = float(qtd_reprov_freq.qtd.values[0] / qtd_matr)
else:
disciplina[taxa_reprov_absoluta] = 0.0
disciplina[taxa_reprov_freq] = 0.0
def nota(notas_df,disciplina,index):
notas = []
for i in notas_df.iterrows():
if i[1].SITUACAO in sit.SITUATION_AFFECT_IRA:
nota = 0 if np.isnan(i[1].MEDIA_FINAL) else i[1].MEDIA_FINAL
#alguns valores de media_final não são confiaveis na tabela .33
nota = 0 if nota > 100 else nota
notas.append(nota)
if len(notas) != 0:
notas_np = np.array(notas)
media_np = np.mean(notas_np)
desvio_np = np.std(notas_np)
media = 0.0 if np.isnan(media_np) else media_np
desvio = 0.0 if np.isnan(desvio_np) else desvio_np
disciplina[index] = [media,desvio]
else:
disciplina[index] = [0.0,0.0]
def analises_gerais(df,lista_disciplinas):
qtd_geral= df.groupby(["COD_ATIV_CURRIC","SITUACAO"]).size().reset_index(name="qtd" )
qtd_ultimo_geral = \
df.groupby(["COD_ATIV_CURRIC","SITUACAO","ANO"]).size().reset_index(name="qtd")
matr_por_semestre = \
df.groupby(["COD_ATIV_CURRIC","ANO"]).size().reset_index(name="matr")
""" dataframe com a quantidade de matriculas por periodo e ano, por exemplo
disciplina ci055 2010/1 teve x matriculas"""
"""Dataframes relacionado a notas.O campo qtd é inutil, o groupby pede se
que se use um apply sobre o groupby, pois se não o grouby é tratado como
objeto e não como um dataframe """
nota_geral_df = df.groupby(["COD_ATIV_CURRIC","MEDIA_FINAL", "SITUACAO",
]).size().reset_index(name = "qtd" )
nota_semestral_df = df.groupby(["COD_ATIV_CURRIC","ANO", "MEDIA_FINAL", "SITUACAO",
]).size().reset_index(name = "qtd" )
for disciplina in lista_disciplinas.keys():
disciplina_dict = {} #facilitar os calculos
qtd = qtd_geral.loc[qtd_geral.COD_ATIV_CURRIC == disciplina]
disciplina_semestral = qtd_ultimo_geral.loc[qtd_ultimo_geral.COD_ATIV_CURRIC == \
disciplina]
ano = datetime.now().year - 1
qtd_ultimo = disciplina_semestral.loc[disciplina_semestral.ANO == ano]
#quantidade de alunos
qtd_matriculas = lista_disciplinas[disciplina]["qtd_alunos"]
#qtd é um dataframe que contem a ocorrencia de cada situacao
qtd = qtd_geral.loc[qtd_geral.COD_ATIV_CURRIC == disciplina]
#faz analises relacionada ao conhecimento
conhecimento(qtd,disciplina_dict)
# faz analises relacionada ao trancamento
trancamento(qtd,disciplina_dict,qtd_matriculas)
# faz analises relacionada a reprovacoes
reprovacao(qtd,disciplina_dict,qtd_matriculas,"taxa_reprovacao_absoluta","taxa_reprovacao_frequencia")
qtd_matr_ultimo = matr_por_semestre.loc[(matr_por_semestre.COD_ATIV_CURRIC \
== disciplina) & matr_por_semestre.ANO == ano]
if qtd_matr_ultimo.empty: #caso a disciplina nao foi ofertada no ultimo ano
disciplina_dict["taxa_reprovacao_ultimo_absoluta"] = -1
disciplina_dict["taxa_reprovacao_ultimo_frequencia"] = -1
else:
reprovacao(qtd_ultimo,disciplina_dict,qtd_matriculas,"taxa_reprovacao_ultimo_absoluta",
"taxa_reprovacao_ultimo_frequencia")
#faz as analises relacionada a nota
nota_df = nota_geral_df.loc[nota_geral_df.COD_ATIV_CURRIC == disciplina]
nota_por_semestre_df = nota_semestral_df.loc[nota_semestral_df.COD_ATIV_CURRIC == disciplina]
nota_ultimo = nota_por_semestre_df.loc[nota_por_semestre_df.ANO ==
ano]
nota(nota_df,disciplina_dict,"nota")
if nota_ultimo.empty:
disciplina_dict["nota_ultimo_ano"] = -1
nota(nota_ultimo,disciplina_dict,"nota_ultimo_ano")
lista_disciplinas[disciplina].update(disciplina_dict)
# *cursada ate a aprovacao
def analises_semestrais(df,lista_disciplinas):
# [ ] -> nota media de aprovaçao
geral_df = \
df.groupby(["COD_ATIV_CURRIC","ANO","PERIODO"]).size().reset_index(name
= "matr" )
df_semestral = df.groupby(["COD_ATIV_CURRIC", "ANO", "PERIODO" ,
"SITUACAO"]).size().reset_index(name = "qtds" )
disciplinas = {}
for i in df_semestral.iterrows(): # percorre o dataframe
disciplina = i[1].COD_ATIV_CURRIC #nome da disciplina
if not(disciplina in disciplinas):
disciplinas[disciplina] = {}
# para chave do dicionario ser do formato ano/periodo
ano = str(int(i[1].ANO))
periodo = str(i[1].PERIODO)
periodo_curso = ano+"/"+periodo # chave do dicionario
situacao = i[1].SITUACAO
#verifica se a chave ano/periodo exitste no dicionario
if not(periodo_curso in disciplinas[disciplina] ):
disciplinas[disciplina][periodo_curso] = [0,0] #qtd aprovado,total
# se a situacao for igual a aprovado entao qtd de aprovados em
# ano/periodo +1
if situacao in sit.SITUATION_PASS:
disciplinas[disciplina][periodo_curso][0] += 1 # qtd de aprovados
#quantidade total de matriculas no periodo ano/periodo
disciplinas[disciplina][periodo_curso][1] += 1
for disciplina in disciplinas.keys():
for ano_periodo in disciplinas[disciplina].keys():
qtd_total = disciplinas[disciplina][ano_periodo][1]
qtd_aprovados = disciplinas[disciplina][ano_periodo][0]
#calcula a taxa de aprovacao por semestre, qtd_aprov/qtd_total
if qtd_total != 0:
disciplinas[disciplina][ano_periodo][0] = qtd_aprovados / qtd_total
else:
disciplinas[disciplina][ano_periodo][0] = 0.0
aprovacao_semestral = disciplinas[disciplina]
lista_disciplinas[disciplina]["aprovacao_semestral"] = aprovacao_semestral
def transforma_json(lista_disciplinas):
for disciplina in lista_disciplinas.keys():
disciplina_dict =lista_disciplinas[disciplina]
with open('cache/'+disciplina+'.json','w') as f:
f.write(json.dumps(lista_disciplinas[disciplina],indent=4))
def listagem_disciplina(df,lista_disciplinas):
listagem = {}
compara_aprov = {}
compara_nota = {}
cache = {}
disciplinas = {}
# nota media de todas as disciplinas
trancamento = []
reprovacao = []
conhecimento = []
nota= [] # lista que contem todas as notas medias de todas as disciplinas
nota_desvio = [] # lista que contem todos os desvio padrao de todas as disciplinas
grafico(df,lista_disciplinas)
for disciplina in lista_disciplinas.keys():
disciplina_dict = lista_disciplinas[disciplina]
cache[disciplina] = {"nota":disciplina_dict["nota"],
"taxa_reprovacao_absoluta":disciplina_dict["taxa_reprovacao_absoluta"],
"taxa_reprovacao_frequencia":disciplina_dict["taxa_reprovacao_frequencia"],
"taxa_trancamento":disciplina_dict["taxa_trancamento"] }
compara_disciplina = []
compara_nota[disciplina]= lista_disciplinas[disciplina]["compara_nota"]
#calcula aprovacao semestral
for ano in disciplina_dict["aprovacao_semestral"].keys():
aprov_por_ano = [ano,disciplina_dict["aprovacao_semestral"][ano][0]]
compara_disciplina.append(aprov_por_ano)
compara_aprov[disciplina] = compara_disciplina
disciplinas[disciplina] = disciplina_dict["disciplina_nome"]
# pega todas as taxas adiciona em uma lista, que depois será tranformada
# em numpy array para poder uutilizar os metodos np.mean e np.std
conhecimento.append(disciplina_dict["taxa_conhecimento"])
trancamento.append(disciplina_dict["taxa_trancamento" ])
reprovacao.append(disciplina_dict["taxa_reprovacao_absoluta" ])
nota.append(disciplina_dict["nota"][0])
#nota
nota_np = np.array(nota)
nota_media= np.mean(nota_np)
nota_desvio= np.std(nota_np)
#trancamento
trancamento_np = np.array(trancamento)
trancamento_media = np.mean(trancamento_np)
trancamento_desvio = np.std(trancamento_np)
#conhecimento
conhecimento_np = np.array(trancamento)
conhecimento_media = np.mean(trancamento_np)
conhecimento_desvio = np.std(trancamento_np)
#reprovacao
reprovacao_np = np.array(trancamento)
reprovacao_media = np.mean(trancamento_np)
reprovacao_desvio = np.std(trancamento_np)
#verifica se o resultado final não é nan
listagem = { "cache" : cache,
"compara_aprov": compara_aprov,
"compara_nota": compara_nota,
"disciplinas": disciplinas,
"taxa_conhecimento":[float(conhecimento_media),float(conhecimento_desvio)] ,
"taxa_trancamento":[float(trancamento_media),float(trancamento_desvio)] ,
"taxa_reprovacao":[float(reprovacao_media),float(reprovacao_desvio)] ,
"nota": [float(nota_media),float(nota_desvio)]
}
with open("cache/disciplinas.json",'w') as f:
f.write(json.dumps(listagem,indent=4))
# [ ] ->media_disc
# [ ] compara_aprov
def analises_disciplinas(df):
lista_disciplinas = {}
informacoes_gerais(df,lista_disciplinas)
analises_gerais(df,lista_disciplinas)
analises_semestrais(df,lista_disciplinas)
transforma_json(lista_disciplinas)
listagem_disciplina(df,lista_disciplinas)
import pandas as pd
import math
import ujson as json
from utils.situations import Situation, EvasionForm
def average_graduation(df):
total_student = df['MATR_ALUNO'].drop_duplicates().shape[0]
total_graduate = df[df.FORMA_EVASAO == EvasionForm.EF_FORMATURA].shape[0]
return total_graduate / total_student
def general_failure(df):
affect_ira = df[df.SITUACAO.isin(Situation.SITUATION_AFFECT_IRA)]
failures = affect_ira[affect_ira.SITUACAO.isin(Situation.SITUATION_FAIL)]
average = failures.shape[0] / affect_ira.shape[0]
student_courses = affect_ira.groupby(['MATR_ALUNO'], as_index=False)\
.aggregate({'SITUACAO': 'count'})
student_failures = failures.groupby(['MATR_ALUNO'], as_index=False)\
.aggregate({'SITUACAO': 'count'})
merged = pd.merge(student_courses, student_failures, on=['MATR_ALUNO'])
merged.columns = ['MART_ALUNO', 'FEITAS', 'REPROVADO']
variance = merged['REPROVADO'].div(merged['FEITAS']).sub(average)\
.pow(2).sum() / merged.shape[0]
standard_deviation = math.sqrt(variance)
return (average, standard_deviation)
def current_students_failure(df):
fixed = df.loc[(df.FORMA_EVASAO == EvasionForm.EF_ATIVO)]
affect_ira = fixed[fixed.SITUACAO.isin(Situation.SITUATION_AFFECT_IRA)]
failures = affect_ira[affect_ira.SITUACAO.isin(Situation.SITUATION_FAIL)]
average = failures.shape[0] / affect_ira.shape[0]
student_courses = affect_ira.groupby(['MATR_ALUNO'], as_index=False)\
.aggregate({'SITUACAO': 'count'})
student_failures = failures.groupby(['MATR_ALUNO'], as_index=False)\
.aggregate({'SITUACAO': 'count'})
merged = pd.merge(student_courses, student_failures, on=['MATR_ALUNO'])
merged.columns = ['MART_ALUNO', 'FEITAS', 'REPROVADO']
variance = merged['REPROVADO'].div(merged['FEITAS']).sub(average)\
.pow(2).sum() / merged.shape[0]
standard_deviation = math.sqrt(variance)