在 python 中有效地获取 url 的状态码，for-loop 的替代方案

Question

我想检查一个 url 列表（在数据框 df 的一列中）的状态代码（404、403 和 200 似乎很有趣）。我定义了一个函数来完成这项工作。但是，它使用了效率低下的 for 循环（我有一长串 url！）。

有没有人知道如何更有效地做到这一点？最佳情况下，返回的状态代码也将显示在数据框的新列中，例如df['status_code_url']。

def url_access(df, column):
    e_404 =0
    e_403 =0
    e_200 =0
    for i in range(0, len(df)):
        if requests.head(df[column][i]).status_code == 404:
            e_404= e_404+1
        elif requests.head(df[column][i]).status_code == 403:
            e_403 = e_403 +1
        elif requests.head(df[column][i]).status_code == 200:
            e_200 = e_200 +1
        else:
            print(requests.head(df[column][i]).status_code)

    return ("Statistics about " + column , '{:.1%}'.format(e_404/len(df)) 
            + " of links to intagram post return 404", '{:.1%}'.format(e_403/len(df)) 
            + " of links to intagram post return 403", '{:.1%}'.format(e_200/len(df)) 
            + " of links to intagram post return 200")

非常感谢！

Answer 1

使用 Pandas、apply 和 groupby -

def url_access(x):
    return requests.head(x).status_code


df['Status'] = df['url'].apply(url_access)

dfcount = df.groupby('Status')['url'].count().reset_index()

Answer 2

基本上，您的任务似乎是：

获取url状态码
收集所有
计算百分比

第一步您使用：

def get_code(url):
    return requests.head(url).status_code

对于将此函数应用于数据框列的第二步，请参阅 https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.apply.html

resp_df = df[column].apply(get_code, axis=1)

对于第三步，您可以使用对列的操作来计算百分比：

resp_df[resp_df == 404].sum() / len (resp_df)

（注意代码不是运行）

Answer 3

pandas.DataFrame.apply（或者更确切地说，普通的 requests 库）一次只能发出一个请求。要并行执行多个请求，您可以使用 requests_futures（使用 pip install requests-futures 安装）：

import pandas as pd
from requests_futures.sessions import FuturesSession

def get_request(url):
    session = FuturesSession()
    return session.head(url)


def get_status_code(r):
    return r.result().status_code

if __name__ == "__main__":
    urls = ['http://python-requests.org',
            'http://httpbin.org',
            'http://python-guide.org',
            'http://kennethreitz.com']
    df = pd.DataFrame({"url": urls})
    df["status_code"] = df["url"].apply(get_request).apply(get_status_code)

之后您可以使用 groupby，如 @Aritesh in 所建议：

stats = df.groupby('status_code')['url'].count().reset_index()
print(stats)
#    status_code  url
  0          200    1
  1          301    3

有了这个，您可能还想添加一些针对连接错误和超时的保护：

import numpy as np
import requests

def get_request(url):
    session = FuturesSession()
    return session.head(url, timeout=1)

def get_status_code(r):
    try:
        return r.result().status_code
    except (requests.exceptions.ConnectionError, requests.exceptions.ReadTimeout):
        return 408 # Request Timeout

ips = np.random.randint(0, 256, (1000, 4))
df = pd.DataFrame({"url": ["http://" + ".".join(map(str, ip)) for ip in ips]})
df["status_code"] = df["url"].apply(get_request).apply(get_status_code)
df.groupby('status_code')['url'].count().reset_index()
#    status_code  url
# 0          200    3
# 1          302    2
# 2          400    2
# 3          401    1
# 4          403    1
# 5          404    1
# 6          408  990

在 python 中有效地获取 url 的状态码，for-loop 的替代方案

Get status code of url efficiently in python, alternative for for-loop

python

url

for-loop

http-status-codes

http-status-code-404