如何网络抓取 Instagram 个人资料 link BeautifulSoup？

Question

我刚开始学习如何使用 BeautifulSoup 进行网络抓取，并想编写一个简单的程序，通过 Instagram 中的 FullName 获取我偶像的个人资料链接 (instagram url) .

示例：我将全名列表存储在文件 fullname.txt 中，如下所示：

#cat fullname.txt
Cristiano Ronaldo
David Beckham
Michael Jackson

我想要的结果是：

https://www.instagram.com/cristiano/
https://www.instagram.com/davidbeckham/
https://www.instagram.com/michaeljackson/

你能给我一些建议吗？

Answer 1

这对所有 3 个名字都有效，还有一些我添加到 fullname.txt

它使用 Requests 库和 Bing 搜索来找到正确的 link，然后使用正则表达式从返回的数据包中解析 link。


import requests, re

def bingsearch(searchfor):

    link = 'https://www.bing.com/search?q={}&ia=web'.format(searchfor)

    ua = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36'}

    payload = {'q': searchfor}

    response = requests.get(link, headers=ua, params=payload)               

    try:
        found = re.search('Search Results(.+?)</a>', response.text).group(1)

        iglink = re.search('a href="(.+?)"', found).group(1)

    except AttributeError:
        iglink = "link not found"

    return iglink


with open("fullname.txt", "r") as f:
    names = f.readlines()

for name in names:
    name = name.strip().replace(" ", "+")

    searchterm = name + "+instagram"

    IGLink = bingsearch(searchterm)

    print(IGLink)

如何网络抓取 Instagram 个人资料 link BeautifulSoup？

How to Webscraping Instagram Profile link BeautifulSoup?

python

beautifulsoup

instagram

instagram-api