使用循环读取多个网页

Question

我正在使用函数 (movies_from_url) 从网页上读取总共 256 部电影。每页包含 50 部电影。我必须为此阅读前 6 页（250 部电影为 5 页，6 部电影为第 6 页）。

第一个url：

http://www.imdb.com/search/title?at=0&sort=user_rating&start=1&title_type=feature&year=2005,2014

这是我模糊的想法：

def read_m_by_rating(first_year=2005, last_year=2015, top_number=256):
    current_index=1   # current index is start number  of a webpage 
    final_list = []
    for _ in xrange(6):
    url = http://www.imdb.com/search/title?at=0&sort=user_rating&start=current_index&title_type=feature&year=2005,2014
    if top_number==300:
         lis = movies_from_url(url, top_number - current_index + 1)
    else:
         lis = movies_from_url(url, 50)

    final_list.append(lis)
    current_index=+50
    return final_list

Answer 1

只需在 current_index 上使用一个简单的循环就可以了。

while current_index<256:
    url = "http://www.imdb.com/search/title?at=0&sort=user_rating&start="\
    +str(current_index)+"&title_type=feature&year=2005,2014"
    ...
    ...
    current_index+=50
return final_list

使用循环读取多个网页

reading multiple webpages using loop

python

for-loop