Aan de slag: gateway, targeting en code

Hoe test ik met curl?

Gebruik -x voor HTTP-proxy's en --socks5-hostname voor SOCKS5; de variant -hostname stuurt de hostnaam naar de proxy in plaats van die op uw apparaat op te lossen.

# UAE, a new home IP on each new connection (each curl run)
curl -x http://USERNAME-country-ae:[email protected]:7777 https://ipinfo.io/json

# Riyadh, the same IP for 30 minutes (session id r1)
curl -x http://USERNAME-country-sa-city-riyadh-session-r1-ttl-30:[email protected]:7777 https://ipinfo.io/json

# Egypt over SOCKS5, hostname resolved by the proxy
curl --socks5-hostname gw.menaproxies.com:7778 -U USERNAME-country-eg:PASSWORD https://ipinfo.io/json

Hoe gebruik ik het vanuit Python, met retries?

Residentiële verbindingen komen en gaan, dus een verzoek kan soms mislukken bij een trage of verbroken IP. Probeer opnieuw met een nieuw IP in plaats van te wachten: zonder sessie-ID krijgt elke retry een nieuwe. Encodeer het wachtwoord als het speciale tekens bevat.

import time
from urllib.parse import quote
import requests

GATEWAY = "gw.menaproxies.com:7777"
USER, PASSWORD = "USERNAME", quote("PASSWORD", safe="")

def fetch(url, country, session=None, ttl=30, tries=3):
    for attempt in range(1, tries + 1):
        user = f"{USER}-country-{country}"
        if session:  # a new session ID per attempt, so each retry gets a new IP
            user += f"-session-{session}{attempt}-ttl-{ttl}"
        proxy = f"http://{user}:{PASSWORD}@{GATEWAY}"
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30)
            if r.status_code < 500:
                return r
        except requests.RequestException:
            pass
        if attempt < tries:
            time.sleep(2 * attempt)  # back off, then retry on a new IP
    raise RuntimeError(f"{url} failed {tries} times via {country}")

for cc in ["ae", "sa", "eg"]:
    print(cc, fetch("https://ipinfo.io/json", cc).json().get("country"))

Hoe gebruik ik het in een browser met Playwright?

Geef de gateway op als proxy van de browser en de targeting in de gebruikersnaam. Stel de locale en tijdzone in passend bij het land, zodat pagina's worden weergegeven zoals een lokale bezoeker ze ziet.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gw.menaproxies.com:7777",
        "username": "USERNAME-country-sa-city-riyadh-session-pw1-ttl-30",
        "password": "PASSWORD",
    })
    context = browser.new_context(locale="ar-SA", timezone_id="Asia/Riyadh")
    page = context.new_page()
    page.goto("https://ipinfo.io/json")
    print(page.text_content("body"))
    browser.close()

Welke steden en providers kan ik targeten?

De targeting op stad werkt waar de pool residentiële proxy's online heeft in die stad. De lijst verandert door de dag heen, dus bekijk deze voordat u een run op stadniveau start: het dashboard toont het, en de API retourneert het met GET /v1/catalog/countries/{CC}/cities (hoofdletters in de API, kleine letters in de proxy gebruikersnaam) (zie de API-documentatie). Als er geen IP in de stad online is, laat dan de stad vallen en gebruik landtargeting.

Om een provider te kiezen voegt u de ASN toe: USERNAME-country-ae-asn-5384 exits op e& in de VAE. ASN-targeting kost niets extra; GET /v1/catalog/countries/{CC}/asns toont de ASNs online in een land, en de beschikbaarheid varieert.

Nuttige stad-ID's: dubai, abu_dhabi, sharjah (VAE); riyadh, jeddah, dammam (Saoedi-Arabië); doha (Qatar); cairo, alexandria, giza (Egypte); casablanca, rabat (Marokko); amman (Jordanië); beirut (Libanon).

Wat gaat er meestal mis?

• 407 Proxy Authentication Required: onjuiste gebruikersnaam of wachtwoord, of een speciaal teken in het wachtwoord dat niet URL-gecodeerd is.
• Verbinding geweigerd of timeout: verkeerde poort; HTTP-clients gebruiken 7777, SOCKS5-clients 7778.
• Exit in het verkeerde land: de landcode ontbreekt of is verkeerd gespeld in de gebruikersnaam; codes zijn twee letters, kleine letters.
• Geen IP in de stad: er is momenteel geen residentieel IP online in de stad; gebruik landtargeting of probeer later opnieuw.
• Verzoek geweigerd bij de gateway: het doel zit in een geblokkeerde categorie (Bank-, overheid- en betaalportalsites, plus SMTP (e-mailverzend) poorten 25, 465 en 587).
• Plan opgebruikt: het plan heeft al zijn GB verbruikt; koop een nieuw plan van uw balans.