将正则表达式传递给 'BeautifulSoup.find_all' 不起作用

Question

我将多个 class 值传递给 BeautifulSoup.find_all()。该值类似于 l4 center 或 l5 center。（即 "l4 center" | "l5 center"）。

soup.find_all("ul", {"class" :  value)

我使用以下两个解决方案失败（没有输出）：

soup.find_all("ul", {"class" :  re.compile("l[4-5]\scenter")})

#OR

soup.find_all("ul", {"class" :  ["l4 center", "l5 center"]})

源码如下：

#!/usr/bin/env python3

from bs4 import BeautifulSoup
import bs4
import requests
import requests.exceptions
import re

### function, , .... ###
def crawler_chinese_idiom():
    url = 'http://chengyu.911cha.com/zishu_8.html'
    response = requests.get(url)    
    soup = BeautifulSoup(response.text)

    #for result_set in soup.find_all("ul", class=re.compile("l[45] +center")): #l4 center or l5 center
    for result_set in soup.find_all("ul", {"class", re.compile(r"l[45]\s+center")}): #nothing output
    #for result_set in soup.find_all("ul", {"class" :  "l4 center"}):  #normal one
        print(result_set)


crawler_chinese_idiom()
#[] output nothing

Answer 1

更新：已解决https://bugs.launchpad.net/bugs/1476868

起初我以为问题是 HTML 中的 class='l4 center' 实际上是两个 classes -- 认为汤不会' t 匹配，因为它正在寻找包含 space（不可能）的单个 class。

尝试过：

from bs4 import BeautifulSoup
import re
soup = BeautifulSoup("<html><div class='l5 center'>l5test</div><div class='l4 center'>l4test</div><div class='l6 center'>l6test</div>")

results1 = soup.findAll('div', re.compile(r'l4 center'));
print results1
results2 = soup.findAll('div', 'l4 center');
print results2

输出：

[]
[<div class="l4 center">l4test</div>]

等等？非正则表达式选项工作正常 - 它发现两个 classes.

在这一点上，它看起来像一个 BeautifulSoup 错误。

要解决这个问题，您可以这样做：

soup.findAll('div', ['l4 center', 'l5 center']);
# update: ^ that doesn't work either.
# or
soup.findAll('div', ['l4', 'l5', 'center']);

我推荐第二个，以防万一您想要匹配 l4 otherclass center，但您可能需要迭代结果以确保其中没有任何不需要的捕获。类似于：

for result in soup.findAll(...):
    if (result.find({'class': 'l4'}) and result.find({'class': 'center'}):
         # yay!

我已提交错误 here 进行调查。

将正则表达式传递给 'BeautifulSoup.find_all' 不起作用

Passing a regex expression to 'BeautifulSoup.find_all' doesn't work

python

regex

beautifulsoup