A USP tem o portal que possibilita o acesso a dissertações de mestrado, teses de doutorado e teses de livre docência publicados pela Universidade. Em uma página de uma tese temos meta-dados interessantes, como a unidade, área de conhecimento, orientador e quantidade de downloads do documento.
No entanto, os meta-dados não estão disponíveis como dados abertos (deviam!), o que dificulta análises automatizadas. Por isso eu criei um web crawler, que é um robô que acessa cada página do portal e baixa os meta-dados para um arquivo em formato aberto (json). Para construir o crawler utilizei o framework Scrapy (linguagem Python), que se mostrou uma excelente escolha.
Esse código já é a base para a futura construção de uma aplicação, na qual o usuário possa estabelecer critérios de comparação para explorar essa base de dados. Além disso, espero construir algumas visualizações gráficas desses dados também. Por ora, fiz uma análise preliminar efetuando comandos diretamente na base de dados.
O Radar Parlamentar mostra a conjuntura de uma casa legislativa considerando um certo conjunto de votações realizadas nessa casa. Uma das principais maneiras de selecionar esse conjunto de votações é determinar o período. Exemplo: quero analisar o posicionamento dos parlamentares considerando o ano de 2014. Outra abordagem complementar é por tema: quando o assunto é "meio ambiente", por exemplo, será que as proximidades entre parlamentares se alteram muito em relação ao quadro original que considera todas as votações do período? Para possibilitar tal análise, o Radar possui uma funcionalidade de filtro de palavras-chaves. O usuário pode entrar com palavras como “ambiente, verde” e ver o que acontece.
A ideia de entrega contínua é que cada entrega no repositório que passe por uma bateria de testes automatizados deva ser automaticamente implantada em produção! Ou seja, fez commit, já tá em produção! Confira nesse post a implementação de um fluxo de entrega contínua para o projeto Radar Parlamentar!
Enviado por Saulo Trento em qui, 14/02/2013 - 12:59
Em nossa lista de discussão sobre o Radar Parlamentar, recentemente surgiu o questionamento seguinte: "Sabemos que quanto mais votações analisadas em um período, maior será a qualidade da análise para aquele período. No entanto, existe algum mínimo de votações para determinar uma qualidade mínima? isso depende do número de partidos ou de parlamentares no nosso caso?", e também "De fato, acho que temos que estabelecer um parâmetro mínimo de qualidade dessa informação. E faz sentido que seja relacionado ao número de parlamentares e também ao número de partidos. Mas... como fazer?". Este artigo busca esclarecer alguns pontos relacionados à "qualidade" das análises.
O Notificador é um programa para a agregação de notas escolares. Funciona assim: os professores criam planilhas com as notas e faltas dos alunos. Cada professor gera um arquivo com uma planilha* por sala de aula. O Notificador então lê esses dados e os agrega por sala, gerando um arquivo por sala, com uma planilha por professor. Além disso, o Notificador também calcula as notas e faltas finais.
Os membros do PoliGNU marcaram presença no FISL13 (Fórum Internacional de Software Livre) com uma palestra sobre o Radar Parlamentar.
A palestra foi dada dentro da primeira edição do Workshop de Software Livre, evento acadêmico integrado ao FISL, organizado pelo CCSL (Centro de Competência em Software Livre) do IME USP.
Este é o primeiro resultado de um novo projeto do PoliGNU, o "Projeto GreaseMonkeing". Neste primeiro post apresentamos o JupiterPlus - Grade Horária, uma extensão para o Firefox que melhora a visualização da grade-horária no sistema JupiterWeb da Universidade de São Paulo.
História e sobre o JupiterPlus
Em meados de 2008 um dos integrantes do (ainda em formação) PoliGNU, o Felipe "Juca" Sanches, teve a brilhante ideia de utilizar o GreaseMonkey para melhorar a parca usabilidade do JupiterWeb.
O foco inicial foi a página de visualização da grade-horária do semestre corrente. Da forma como a página foi construída originalmente, a grade-horária era uma tabela na qual era praticamente impossível de se visualizar conflitos de horário, horários vagos, etc.
Infelizmente com algumas mudanças no código original da página o script parou de funcionar, mas, 4 anos depois decidi me debruçar um pouco sobre o código-fonte do script, resolver seu problema e implementar mais uma ou outra funcionalidade.
Para instalar a extensão que foi criada e ver o antes e o depois do uso dessa primeira versão leia mais neste post...
O PoliGNU é um grupo formado por estudantes de diversos cursos da Escola Politécnica, bem como de outros cursos da USP, que se dedicam ao desenvolvimento e à divulgação de tecnologia, software e cultura livres, especialmente no que se relaciona à engenharia. O grupo já tem mais de três anos de existência e é aberto à participação de quaisquer interessados(as).
Nosso mailing: polignu(arroba)googlegroups(ponto)com