Périmètre sûr : ce guide vise vos propres applications, vos environnements de QA ou de préproduction, ou des sources pour lesquelles vous disposez d'une autorisation écrite. Il ne décrit ni l'automatisation de sites tiers, ni le contournement de protections.
Oui, un stack de scraping complet tient sous les $100/mois. Le secret : répartir le budget entre les quatre postes qui comptent — compute, proxys, résolution des CAPTCHA et stockage. Le poste CAPTCHA est celui que les équipes surestiment le plus : avec CaptchaAI, il démarre à $15/mois.
Répartir un budget de scraping sous les $100/mois
Un stack de production repose sur quatre postes à équilibrer, avec la résolution des CAPTCHA comme ligne fixe et prévisible.
| Poste | Rôle | Repère budgétaire |
|---|---|---|
| Compute | Exécuter vos workers (un petit VPS OVHcloud ou Scaleway suffit) | Faible |
| Proxys | Répartir le trafic sur des sources autorisées | Le plus variable |
| Résolution CAPTCHA | Renvoyer un token à la volée | BASIC ($15/mois, 5 threads) ou STANDARD ($30/mois, 15 threads) |
| Stockage | Archiver les résultats (stockage objet S3) | Faible |
CaptchaAI facture au thread concurrent, pas au solve : chaque plan inclut des solves illimités par thread. BASIC couvre un pipeline modéré ; vous passez à STANDARD quand la concurrence l'exige, sans surcoût par type de CAPTCHA.
Vérifier votre solde avant de lancer un lot
Avant un lot volumineux, interrogez votre solde pour éviter qu'un pipeline s'arrête faute de crédit. Voici un exemple Python qui appelle l'API :
import os
import requests
API_KEY = os.environ['CAPTCHAAI_KEY']
def get_balance() -> float:
resp = requests.post(
'https://api.captchaai.com/getBalance',
json={'clientKey': API_KEY},
timeout=15,
)
resp.raise_for_status()
return float(resp.json().get('balance', 0))
Le workflow de scraping en 3 étapes
- Préparez l'environnement autorisé. Isolez la QA de la production, stockez la clé CaptchaAI dans un coffre ou un secret d'intégration continue, et vérifiez que vos endpoints internes acceptent les requêtes de test.
- Encapsulez l'appel à CaptchaAI. Une fonction réutilisable prend la
sitekeyet l'URL de votre propre page, renvoie un token, et trace la durée et le code retour. - Vérifiez le token côté backend. Aucune requête ne doit passer sur la base d'un token périmé ou contrefait. Appliquez toujours le token dans la même session que celle qui a déclenché le défi.
Observabilité et journalisation
Instrumentez les appels CAPTCHA : durée d'obtention du token, code retour HTTP, identifiant de tâche et taille de la file d'attente. Ces signaux alimentent vos tableaux de bord et révèlent si un coût par solve dérive.
Séparez les journaux par environnement et corrélez les identifiants à votre traçage distribué (OpenTelemetry). Côté conformité, minimisez les données personnelles collectées et vérifiez vos obligations RGPD avant d'archiver.
Dépannage
| Symptôme | Cause probable | Correctif |
|---|---|---|
ERROR_WRONG_USER_KEY |
Clé copiée avec un espace, ou d'un mauvais compte | Recopiez la clé depuis le tableau de bord et stockez-la en secret |
ERROR_ZERO_BALANCE |
Solde sous le minimum par tâche | Rechargez et posez une alerte de solde |
| Token refusé après résolution | Token appliqué dans une autre session que le défi | Gardez résolution et soumission dans la même session |
Liste de contrôle avant la mise en production
- Le périmètre reste limité à vos propres applications ou à des sources autorisées.
- La clé CaptchaAI vit dans un secret d'intégration continue ou un coffre, jamais dans le code.
- Les durées d'appel et les codes retour sont tracés pour chaque exécution.
- Un retry idempotent, avec backoff exponentiel borné, couvre les erreurs transitoires.
- Les tests sont rejouables depuis votre intégration continue.
FAQ
Combien coûte réellement un stack de scraping complet par mois ?
Il tient sous les $100/mois pour un volume modéré. Le poste CAPTCHA est le plus prévisible : BASIC à $15/mois ou STANDARD à $30/mois. Compute et stockage pèsent peu ; les proxys restent la variable d'ajustement.
Le plan BASIC à $15/mois suffit-il pour un scraping modéré ?
Souvent, oui. BASIC ouvre 5 threads concurrents avec des solves illimités par thread. Tant que votre concurrence réelle reste sous ces 5 tâches simultanées, il tient ; au-delà, passez à STANDARD ($30/mois, 15 threads).
Ce guide autorise-t-il l'automatisation de sites tiers ?
Non. Tous les exemples portent sur vos propres applications ou sur des sources pour lesquelles vous détenez une autorisation écrite. Pour une source externe, validez d'abord les conditions d'utilisation et la base juridique.
Que faire en cas d'erreur transitoire de l'API ?
Mettez en place un retry avec backoff exponentiel borné : trois tentatives, délai doublé à chaque essai, plafond à 30 secondes. Tracez les échecs par identifiant de tâche. Si l'erreur persiste, vérifiez le réseau et le solde de votre clé.
Guides connexes
- Le démarrage rapide CaptchaAI
- La résolution de CAPTCHA en environnements autorisés
- Tester l'endpoint API sur vos formulaires
- Intégrer la résolution CAPTCHA dans votre CI
- Résoudre reCAPTCHA v2 via l'API
Gardez vos workflows CAPTCHA méthodiques et reproductibles, sans faire exploser le budget. – Obtenez votre clé CaptchaAI.
