我如何使用 Beautifulsoup 获取 url 地址

Question

我正在尝试从 <a href=> 抓取 url 地址但是这个网站的<href>是#none。我如何抓取这个 url 地址？我已经想通了很多，但我找不到提示。

像这样

<a href="#none" onclick="goDetail(519975);">
title
<a>


from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl
import re

ssl._create_default_https_context = ssl._create_unverified_context

html = urlopen('https://www.daegu.ac.kr/article/DG159/list')
bs = BeautifulSoup(html, 'html.parser')

nameList = bs.findAll('td', {'class': 'list_left'})

for name in nameList: 
    print(name.get_text())
    print(name.get_url)
    print('\n----------------------------------------------')

Answer 1

您可以将来自 onclick 的 ID 连接到基数 url（这就是 onclick 事件发生的情况）。前三个链接（没有 onclick）具有不同的基础。

from bs4 import BeautifulSoup as bs
import requests

base1 = 'https://www.daegu.ac.kr/article/DG159/detail/'
base2 = 'https://www.daegu.ac.kr/article/DG159'
r = requests.get('https://www.daegu.ac.kr/article/DG159/list')
soup = bs(r.content, 'lxml')
links = [base1 + a['onclick'].split('(')[1].split(')')[0] if a.has_attr('onclick') else base2 + a['href'] for a in soup.select('.board_tbl_list a')]
print(links)

我如何使用 Beautifulsoup 获取 url 地址

How can i get url address using Beautifulsoup

html

python

beautifulsoup

web-crawler

web-scraping