01 / Python

Web scraping med Python

Hämta en publik sida med timeout, proxy från miljövariabel och tydlig felhantering.

Du bygger

Ett litet, produktionsvänligt requests-flöde

ScrapingRetries

Python

import os
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

key = os.environ["PROXYAPI_KEY"]
proxy = f"https://{key}-country-se-type-isp:@proxy.proxyapi.se:443"

session = requests.Session()
session.proxies.update({"http": proxy, "https": proxy})
session.mount("https://", HTTPAdapter(max_retries=Retry(
    total=3,
    backoff_factor=0.5,
    status_forcelist=[429, 500, 502, 503, 504],
)))

response = session.get("https://example.com", timeout=20)
response.raise_for_status()
print(response.status_code, len(response.content))

Innan du kör i produktion

✓Kontrollera målplatsens villkor, robots-policy och tillämplig lag innan insamling.
✓Logga status och varaktighet, men skriv aldrig ut API-nyckeln.

Öppna dokumentationen → Fler exempel