Desenvolvimento de um Sistema para Extração e Envio de Notícias do IFPA utilizando Web Scraping

Conteúdo do artigo principal

Wendell dos Santos Morais
Vanessa Castro Rezende

Resumo

Pesquisas realizadas com a comunidade acadêmica do Instituto Federal do Pará (IFPA), identificaram gargalos na divulgação das informações publicadas no site institucional, destacando-se a baixa usabilidade e a pouca visibilidade do canal. Diante desse cenário, este trabalho propõe o desenvolvimento de uma aplicação para extração e envio automático de notícias oriundas do site oficial do IFPA, visando facilitar o acesso às informações institucionais, melhorando a comunicação interna. Para alcançar esse objetivo, a técnica de web scraping foi utilizada como mecanismo de extração de dados públicos da web. A aplicação foi inicialmente implementada baseada em uma arquitetura monolítica e, posteriormente migrada para uma arquitetura de microsserviços, a fim de realizar uma análise comparativa entre as duas abordagens. Essa comparação baseou-se em 12 cenários de teste distintos, variando a quantidade de notícias enviadas e de destinatários, simulando um aumento gradual do volume de dados processado. As métricas avaliadas incluíram o tempo total de envio, o consumo de CPU e o uso de memória. Os resultados indicaram que a arquitetura de microsserviços apresentou maior eficiência no tempo de envio, especialmente em cenários com alto volume de dados, enquanto a abordagem monolítica se destacou pelo menor consumo de recursos computacionais.

##plugins.themes.bootstrap3.displayStats.downloads##

##plugins.themes.bootstrap3.displayStats.noStats##

Detalhes do artigo

Seção

Artigos

Biografia do Autor

Wendell dos Santos Morais, Instituto Federal de Educação, Ciência e Tecnologia do Pará - IFPA

Profissional formado em Análise e Desenvolvimento de Sistemas pelo Instituto Federal de Educação, Ciência e Tecnologia do Pará (IFPA). Atua como desenvolvedor de software, com ênfase em desenvolvimento Web Fullstack. Possui experiência em modelagem, criação e manutenção de sistemas voltados a diversos segmentos, como turismo, vendas, indústria do concreto, mídia programática e conservação ambiental. Tem domínio das seguintes tecnologias: C#, .NET, React, TypeScript, Python, bancos de dados relacionais (MySQL, PostgreSQL) e não relacionais (MongoDB), além de ferramentas como Git, GitHub, serviços na AWS, Docker e soluções em computação em nuvem, incluindo arquiteturas serverless. Durante a graduação, participou de projetos de extensão voltados à utilização da tecnologia como ferramenta de inclusão e ensino, bem como desenvolveu pesquisa relacionada a arquiteturas de software.

Vanessa Castro Rezende, Instituto Federal de Educação, Ciência e Tecnologia do Pará - IFPA

Bacharela em Sistemas de Informação pela Universidade Federal do Sul e Sudeste do Pará (UNIFESSPA) e Mestre em Engenharia Elétrica na área de Computação Aplicada pelo Programa de Pós Graduação em Engenharia Elétrica (PPGEE) da Universidade Federal do Pará (UFPA). Atua como docente na área de informática no Instituto Federal do Pará (IFPA) e na Universidade do Estado do Pará (UEPA).