🕷️ Senior Web Scraping (Architecture & Evasion)

Identifier l'Adversaire (WAF Fingerprinting)

Avant d'écrire une ligne de code, inspectez les Headers HTTP et les Cookies de la cible.

Surface d'Attaque (Data Sources)

• API Cachées : Filtrer DevTools par XHR ou Fetch. Rechercher des endpoints /api/v1, /graphql.
• SSR Data (Hydration) : Sur les sites Next.js/Nuxt, chercher la balise <script id="__NEXT_DATA__" type="application/json">. Elle contient tout l'état de la page en JSON pur (plus besoin de parser le HTML !).
• Mobile App Endpoints : Installer l'app, configurer un Proxy MITM (Charles/HTTP Toolkit) + SSL Pinning Bypass (Frida). Les APIs mobiles sont souvent moins protégées que le Web (pas de Captcha, rate limit plus souple).
• Sitemaps & Feeds : Toujours vérifier /sitemap.xml ou /robots.txt pour découvrir l'arborescence complète sans crawler.

Le Cadre Légal (Grey Area)

Disclaimer: Ceci n'est pas un conseil juridique. Le scraping de données publiques est généralement légal (cf. hiQ vs LinkedIn aux US), mais sujet à conditions.

• PII (GDPR/RGPD) : Ne JAMAIS stocker de données personnelles identifiables (Nom, Email, Tel) sans consentement ou intérêt légitime prouvé. Anonymiser à la source.
• Copyright : Les faits (prix, horaires, météo) ne sont pas copyrightables. La structure créative d'une base de données ou les images/textes le sont.
• CFA / Trespass : Ne pas causer de déni de service (DoS). Respecter un "Rate Limit" raisonnable. Ne pas scraper derrière un login (Auth Wall) si les CGU l'interdisent explicitement (Brèche contractuelle).

Ethical Scraping Manifesto

• Identification : Idéalement, mettre un contact dans le User-Agent (Bot/1.0 (+https://my-company.com)).
• Respect : Scraper pendant les heures creuses de la cible.
• Cache : Ne jamais re-télécharger une ressource inchangée (utiliser If-Modified-Since ou hasher l'URL).

L'Économie du Scraping (ROI)

Le scraping coûte cher. Il faut optimiser le coût par page réussie (Cost Per Success - CPS).

Stratégie d'Optimisation des Coûts

• Bandwidth Saving : Bloquer le chargement des images, fonts, CSS et trackers publicitaires dans le navigateur Headless (page.route('**/*.{png,jpg,woff}', route => route.abort())).
• Tiered Proxying :
  • Tenter d'abord avec une IP Datacenter (Cheap).
  • Si échec (403/Captcha), retry avec IP Résidentielle (Premium).
• Headless vs HTTP : Une requête HTTP (TLS spoofed) coûte 100x moins de CPU/RAM qu'une instance Chrome Headless. Toujours privilégier le protocole pur.

HTTP/2 Frames Analysis (Akamai)

Contrairement à HTTP/1.1 (texte), HTTP/2 est binaire. L'implémentation du protocole trahit la librairie sous-jacente.

Passive Fingerprinting

• Les WAFs écoutent passivement.
• Si votre scraper utilise `http2` en Python sans configurer finement les frames SETTINGS et PRIORITY, il sera détecté comme "nghttp2" ou "hyper", pas comme Chrome.

Canvas & WebGL

• Canvas Fingerprint : Le navigateur dessine une image cachée. Le rendu dépend du GPU, des drivers et de l'OS.
  • Risque : Si vous utilisez Docker (Linux) et spoofez un User-Agent Windows, le rendu de police (Anti-aliasing) ne correspondra pas.
• WebGL : `renderer` et `vendor` strings. (Ex: "Mesa Intel Graphics" vs "Apple M1").

JS Runtime Consistency

Incohérences fatales :

• navigator.platform = "Linux x86_64" alors que UA = "Windows".
• navigator.hardwareConcurrency incompatible avec le profil.

Picasso / CreepJS Score

HTTP Clients (Niveau 4)

Outils capables de modifier le handshake TLS et les frames HTTP/2 pour imiter Chrome/Safari.

• curl-impersonate : Build custom de cURL compilé avec les librairies BoringSSL de Chrome.
• curl_cffi (Python) : Binding Python pour curl-impersonate. Le standard actuel.
• tls-client (Go/Python) : Librairie très utilisée, basée sur utls (Go).

Code Snippet (curl_cffi)

                            from curl_cffi import requests

                            # Imitation parfaite de Chrome 110 (TLS + HTTP/2 + Headers Order)
                            r = requests.get(
                            "https://tls.peet.ws/api/all",
                            impersonate="chrome110",
                            headers={
                            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."
                            }
                            )
                            # Le serveur voit : JA3 de Chrome, HTTP/2 frames de Chrome.
                            print(r.json())
                        

Patching du Navigateur (Playwright/Puppeteer)

Par défaut, un navigateur automatisé "fuit" son identité de bot via des variables JS spécifiques.

• Stealth Plugin : puppeteer-extra-plugin-stealth. Masque `navigator.webdriver`, mock les plugins, override les langues.
• Arguments de lancement :

                                      args: [
                                      '--disable-blink-features=AutomationControlled',
                                      '--no-sandbox'
                                      ]
                                  

CDP (Chrome DevTools Protocol)

Utiliser CDP pour modifier le navigateur à un niveau bas.

                            # Playwright (Python) : Changer le User-Agent et la Géoloc au niveau CDP
                            context = browser.new_context(
                            user_agent='Mozilla/5.0 ...',
                            locale='fr-FR',
                            timezone_id='Europe/Paris'
                            )
                            await context.add_init_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")
                        

Redis as a Queue

Utilisation de Redis Sets pour la déduplication (ne pas scraper 2x la même URL) et Redis Lists pour la queue.

• Sadd : `visited_urls`. Vérifier existence avant push.
• Lpush/Rpop : Gestion de la file d'attente.
• Scrapy-Redis : Librairie standard pour connecter Scrapy à Redis directement.

Proxy Rotation Architecture

• Ne jamais gérer la rotation dans le code du scraper si possible.
• Utiliser un Proxy Gateway (ex: ProxyRack, Smartproxy endpoint) ou un middleware local (ProxyChains, HAProxy) qui round-robin sur une liste.
• Sticky Session : Garder la même IP pour une session de login, changer d'IP pour le scraping de catalogue public.

Comment les WAF jugent votre IP ?

Ce n'est pas juste "IP bannie ou non". C'est un score de fraude probabiliste.

• ASN (Autonomous System Number) : Si ASN = "DigitalOcean" ou "Hetzner" -> Score de risque +50. Si ASN = "Comcast Cable" -> Score +0.
• Usage Type : Bases de données comme MaxMind ou IP2Location classifient les IPs (DCH=Data Center, ISP=Fixed Line, MOB=Mobile).
• Open Ports : Les WAF scannent votre IP. Ports 22/80/443/8080 ouverts ? -> C'est un proxy -> Ban.
• Neighbor Noise : Si vos voisins de subnet ("noisy neighbors") spammennt, vous coulez avec eux.

Passive OS Fingerprinting (p0f)

• Solution : Utiliser des proxies SOCKS5 avec réécriture de header TCP, ou s'assurer que l'OS du scraper matche l'OS simulé.

Architecture de Rotation (HAProxy)

Ne configurez jamais 1000 proxies dans votre code. Utilisez un Load Balancer local.

                            # haproxy.cfg (Rotation Round-Robin)
                            listen scraping_gateway
                            bind 127.0.0.1:8000
                            mode http
                            balance roundrobin
                            option http_proxy
                            server proxy1 1.2.3.4:8000 check
                            server proxy2 1.2.3.5:8000 check
                            ...
                        

Votre code tape uniquement localhost:8000. HAProxy gère la distribution et le health-check.

Gestion des Sessions (Sticky vs Rotating)

• Rotating (Stateless) : Chaque requête HTTP = Nouvelle IP.
  Usage : Scraper des pages produits (PDP), Search Results (SERP).
• Sticky (Stateful) : L'IP reste la même pour X minutes ou via un ID de session.
  Usage : Tunnel de commande, Login, Scenarios multi-étapes.

DIY 4G Proxy Farm

Construire sa propre infra mobile pour un coût dérisoire vs BrightData.

• Hardware : Hub USB alimenté + Dongles 4G Huawei (E3372) + Raspberry Pi / Mini PC.
• SIM Cards : Forfaits Data illimités grand public (Free Mobile, etc.).
• Rotation : Script Python qui interagit avec l'API du dongle pour rebooter la radio (Mode avion ON/OFF) -> Nouvelle IP assignée par l'opérateur.

Avantages du CGNAT (Carrier-Grade NAT)

Sur mobile, une IP publique est partagée par des milliers d'utilisateurs simultanément. Si Cloudflare bannit cette IP, il bloque 5000 clients légitimes de SFR/Orange dans la même ville. Ils ne le feront pas.