Ferramentas Scielo v2

Novidades na versão 2.2

• Correção de erros na ferramenta de conversão de XML para CSV por @jhsbarbosa in ericbrasiln#12

  • run.py: codificação modificada de 'utf-8' para 'latin-1', evitando o erro de conversão indicado na issue ericbrasiln#9. Também foram corrigidos erros de digitação na linha 80, para padronizar a nomenclatura das colunas do CSV
  • csv_final.py: erro de digitação corrigido, evitando o erro indicado na issue ericbrasiln#10
  • infos_xml.py: modificação da função para coleta de informações que compõem a coluna 'pub_date', diminuindo significativamente a quantidade de resultados 'None', conforme a issue ericbrasiln#11 explica

• Atualização da documentação por @ericbrasiln in ericbrasiln#14

  • Exclusão de importação de módulos relativos ao webdriver.manager
  • Exlusão de import os desnecessário no arquivo pdflink_xml.py
  • Correção do arquivo de citação e inclusão de Jorge Barbosa como autor
  • Correção dos README.md, License, About e inclusão de Jorge Barbosa como autor tanto na documentação do repositório quanto no mkdocs

New Contributors

• @jhsbarbosa made their first contribution in ericbrasiln#12

Full Changelog: v2.1...v2.2

Ferramentas Scielo v2: correção de erros e atualização da documentação

O que mudou?

Inclusão das atualizações e correções de ericbrasiln#7 by @ericbrasiln in #1

• .gitignore Inclusão da pasta /scielo no .gitignore: Pasta de resultados de raspagens /scielo incluída no .gitignore
• scielo_rev_v2.py Inclusão de linha em branco antes da função
• scielo_v2.py Correção do webdriver e correção de idioma da pág:
  • Exclusão do webdriver manager, pois ele retornava erro após 60 downloads.
  • Exclusão do comando para não imprimir logs do webdriver manager
  • Inclusão da opção do próprio selenium para evocar o webdriver;
  • Inclusão de try/except para testar se a página carregada está em pt
• revistas.py Correção do driver, comando para fechar o driver
  • Exclusão do webdriver manager, pois ele retornava erro após 60 downloads.
  • Exclusão do comando para não imprimir logs do webdriver manager
  • Inclusão od comando para fechar o driver após a iteração
• issue_xml.py Correção do driver, find h1, driver.quit()
  • Exclusão do webdriver manager, pois ele retornava erro após 60 downloads.
  • Exclusão do comando para não imprimir logs do webdriver manager
  • inclusão de try/except para buscar o h1 na página (pois algumas página aop existem, mas sem nenhuma edição publicada, o que gerava erro pois não era possível encontrar os dados, como pontuado por usuário na issue ericbrasiln#4
  • Inclusão do comando driver.quit() ao final da iteração

Atualização geral da documentação publicada em https://labhdufba.github.io/ferramentas_scielo_v2, produzida com mkdocs.

New Contributors

• @ericbrasiln made their first contribution in #1

Full Changelog: v2.0.2...v2.1

Criação da documentação e atualização de domandos do Selenium

Esse lançamento inclui:

• Pequenas correções ortográficas no README.md;
• Criação do site de documentação com mkdocs e o tema material, que já está no ar: https://labhdufba.github.io/ferramentas_scielo_v2/
• Alterção do WebDriver para Firefox
• Atualização de comandos do selenium que estavam fora de uso (find_element_by pof find_element(By.))

Full Changelog: v2.0.1...v2.0.2

Correções no README.md e inclusão de CITATION.cff

Esse lançamento inclui:

• a correções de algumas informações no README.md, a inclusão de TOC e dados sobre citação;
• Inclusão do arquivo CITATION.cff

Atualização completa para nova versão do Scielo.br

Ferramentas Scielo v2

Atualização completa para nova versão do Scielo.br

Nessa versão do programa, reconstruímos o código para lidar com a nova versão do repositório Scielo.br.

Agora, utilizamos o Selenium para acessar e raspar os dados do repositório.

Ainda é possível optar realizar a raspagem por área do conhecimento ou por revista (ou uma lista de revistas). Nessa última opção é preciso fornecer a abreviação do nome da revista conforme o site do Scielo.br.