在 Python 中抓取和旋转代理

Question

我正在创建一个 bot 以在 webform 中注册，我需要 获取代理 来自某些网站，如 proxyscrap，并将它们下载到 文本文件 中。然后 python 脚本运行浏览器并定义然后连接到 工作最快的第一个。

我能做到吗？如果是，请向我提供代码

Answer 1

我有其他方法是免费方法，不像 proxyscrap。我建议从这里使用 http-request-randomizer Link

使用起来就是这么简单

from http_request_randomizer.requests.proxy import RequestProxy

req_proxy = RequestProxy()
pro=req_proxy.randomize_proxy()
pro1=str(pro).split(' ')[0]

然后使用 pro1 作为您的请求的代理，它每次都会生成新的代理，或者如果您需要使用自定义代理，则：

def is_bad_proxy(pip):    
try:
    proxy_handler = urllib2.ProxyHandler({'http': pip})
    opener = urllib2.build_opener(proxy_handler)
    opener.addheaders = [('User-agent', 'Mozilla/5.0')]
    urllib2.install_opener(opener)
    req=urllib2.Request('http://www.example.com')  # change the URL to test here
    sock=urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print 'Error code: ', e.code
    return e.code
except Exception, detail:
    print "ERROR:", detail
    return True
return False

在 Python 中抓取和旋转代理

Grab and Rotate proxies in Python

python

proxy

bots