Raspagem de Dados Multi-Página: Como Percorrer URLs Automaticamente em Python
Raspagem de Dados Multi-Página: Como Percorrer URLs Automaticamente em Python Ao realizar raspagem de dados ( web scraping ), é muito comum que os registros estejam distribuídos ao longo de dezenas ou centenas de páginas. Utilizando as bibliotecas requests e BeautifulSoup em um loop iterativo, você consegue percorrer automaticamente as URLs paginadas e extrair todo o conteúdo do site sem precisar fazer requisições manuais. Python import requests from bs4 import BeautifulSoup def extrair_dados_paginados ( url_base: str , total_paginas: int ): todos_os_produtos = [] # Loop para percorrer cada página incrementalmente for pagina in range ( 1 , total_paginas + 1 ): # Monta a URL dinâmica alterando o parâmetro de página url = f" {url_base} ?page= {pagina} " # Realiza a requisição HTTP com timeout de segurança resposta = requests.get(url, headers={ "User-Agent" : "Mozilla/5.0" }, timeout= 10 )...