在 Python class 中使用 asyncio 和 aiohttp

Question

我一直在努力弄清楚如何在 Class 中使用 asyncio 和 aiohttp。如果我只是尝试运行没有 Class 的脚本（只需按原样使用函数），一切正常。一旦我将所有函数放入 Class 并尝试在 Main.py 中使用 Class ，脚本就会锁定而不会出现任何错误。不确定从这里去哪里，我猜我必须以不同的方式设置我的 Class 才能工作。如果有人知道为什么这不起作用，如果您分享我做错了什么，我们将不胜感激。谢谢你的时间。

Fetch.py

import asyncio
from aiohttp import ClientSession

class Fetch:
 def __init__(self, proxy=None):
  self.proxy = proxy
  self.headers =  {'user-agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

 def set_headers(self, headers):
  if not headers:
   headers = self.headers
  return headers

 def set_proxy(self, proxy):
  if proxy:
   p = proxy
  else:
   p = self.proxy
  return "http://{}".format(p)

 async def get_fetch(self, session, url, headers=None, proxy=None, params=None, timeout=9):
  array = []
  while True:
   try:
    async with session.get(url, headers=self.set_headers(headers), proxy=self.set_proxy(proxy), params=params, timeout=timeout) as r:
     print (r.status)
     if r.status == 200:
      obj = await r.read()
      array.append(obj)
      break
   except:
    pass
  return array

 async def get_bound(self, sem, session, url):
  async with sem:
   array = await self.get_fetch(session, url)
   return array

 async def get_run(self, urls, semaphores=400):
  tasks = []
  sem = asyncio.Semaphore(semaphores)

  async with ClientSession() as session:
   for url in urls:
    task = asyncio.ensure_future(self.get_bound(sem, session, url))
    tasks.append(task)

  responses = await asyncio.gather(*tasks)
  return responses

 def get(self, urls):
  loop = asyncio.get_event_loop()
  future = asyncio.ensure_future(self.get_run(urls))
  array = loop.run_until_complete(future)
  loop.close()
  return [ent for sublist in array for ent in sublist]

Main.py

from Browser import Fetch
from bs4 import BeautifulSoup

proxy = 'xxx.xxx.xxx.xxx:xxxxx'
fetch = Fetch(proxy)

if __name__ == '__main__':
 urls = ['http://ip4.me','http://ip4.me','http://ip4.me']
 array = fetch.get(urls)
 for obj in array:
  soup = BeautifulSoup(obj, 'html.parser')
  for ip in soup.select('tr +  tr td font'):
   print(ip.get_text())

Answer 1

你的缩进有误。

async with ClientSession() as session:
    for url in urls:
        task = asyncio.ensure_future(self.get_bound(sem, session, url))
        tasks.append(task)

responses = await asyncio.gather(*tasks)
return responses

将最后两行带回 with 块中。

您的代码看起来与 https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html 相似。在此参考中，await responses 和相关语句很好地位于 with 块中，否则您的代码会让 ClientSession 实例在 http 之前超出范围（并关闭底层会话）电话回来。

附带说明一下，请考虑为您的代码使用标准缩进样式。一个 space 就很难发现这些简单的错误。

在 Python class 中使用 asyncio 和 aiohttp

Using asyncio and aiohttp inside of a Python class

python

python-3.x

python-asyncio

aiohttp

Fetch.py

Main.py