如何从网站获取网址

Question

我试图从该网站获取所有网址：

https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/

里面有很多像 https://www.bbvavivienda.com/es/unidades/UV_n_UV00121705 这样的链接，但我无法用 Selenium 恢复它们。知道怎么做吗？

我添加了更多关于我如何尝试的信息。显然...我从 python、selenium 等开始...提前致谢：

**from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome("D:\Python27\selenium\webdriver\chrome\chromedriver.exe")
driver.implicitly_wait(30)
driver.maximize_window()

driver.get("https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/")
urls=driver.find_element_by_css_selector('a').get_attribute('href')
print urls

links = driver.find_elements_by_partial_link_text('_self')
for link in links:
    print link.get_attribute("href")
driver.quit()**

Answer 1

我不知道 python 但通常在 Java 中我们可以找到网页中所有标记为 "a" 的元素，以便在网页中找到链接。您会发现下面的代码片段很有用。

List<WebElement> links = driver.findElements(By.tagName("a"));

        System.out.println(links.size());

        for (int i = 1; i<=links.size(); i=i+1)

        {

            System.out.println(links.get(i).getText());

        }

Answer 2

以下代码应该有效。您为 link 使用了错误的标识符。

driver = webdriver.Chrome()
driver.implicitly_wait(30)
driver.maximize_window()

    driver.get("https://www.bbvavivienda.com/es/buscador/venta/vivienda/todos/la-coruna/")
    urls=driver.find_element_by_css_selector('a').get_attribute('href')
    print urls

    for link in driver.find_elements_by_xpath("//a[@target='_self']"):
        try:
            print link.get_attribute("href")
        except Exception:
            pass
    driver.quit()

如何从网站获取网址

How to get URLs from website

python

selenium

web-scraping

scrapy-spider