Scrapy 不允许我登录 asp.net 页面 (ASPX)
Scrapy won't let me login to asp.net page (ASPX)
您好,我无法让我的 scrapy 蜘蛛脚本登录到 aspx (asp.net) 网站
该脚本应该抓取一个网站以获取产品信息(这是一个供应商网站,所以我们可以这样做)但是无论出于何种原因,脚本无法使用下面的脚本登录网页,有一个用户名和密码字段以及一个图像按钮但是当脚本运行时它根本不起作用并且我们被重定向到主页......我相信它与页面 asp.net 和显然我需要传递更多信息,但老实说,我已经尝试了所有方法,但我不知道下一步该怎么做!
我做错了什么?
import scrapy
class LeedaB2BSpider(scrapy.Spider):
name = 'leedab2b'
start_urls = [
'https://www.leedab2b.co.uk/customerlogin.aspx'
]
def parse(self, response):
return scrapy.FormRequest.from_response(response=response,
formdata={'ctl00$ContentPlaceHolder1$tbUsername': 'emailaddress@gmail.com', 'ctl00$ContentPlaceHolder1$tbPassword': 'yourpassword'},
clickdata={'id': 'ctl00_ContentPlaceHolder1_lbcustomerloginbutton'},
callback=self.after_login)
def after_login(self, response):
self.logger.info("you are at %s" % response.url)
FormRequest.from_response
好像没有在formdata中发送__EVENTTARGET、__EVENTARGUMENT,尝试手动添加:
formdata={
'__EVENTTARGET': 'ctl00$ContentPlaceHolder1$lbcustomerloginbutton',
'__EVENTARGUMENT': '',
'ctl00$ContentPlaceHolder1$tbUsername': 'emailaddress@gmail.com',
'ctl00$ContentPlaceHolder1$tbPassword': 'yourpassword'
}
您好,我无法让我的 scrapy 蜘蛛脚本登录到 aspx (asp.net) 网站
该脚本应该抓取一个网站以获取产品信息(这是一个供应商网站,所以我们可以这样做)但是无论出于何种原因,脚本无法使用下面的脚本登录网页,有一个用户名和密码字段以及一个图像按钮但是当脚本运行时它根本不起作用并且我们被重定向到主页......我相信它与页面 asp.net 和显然我需要传递更多信息,但老实说,我已经尝试了所有方法,但我不知道下一步该怎么做!
我做错了什么?
import scrapy
class LeedaB2BSpider(scrapy.Spider):
name = 'leedab2b'
start_urls = [
'https://www.leedab2b.co.uk/customerlogin.aspx'
]
def parse(self, response):
return scrapy.FormRequest.from_response(response=response,
formdata={'ctl00$ContentPlaceHolder1$tbUsername': 'emailaddress@gmail.com', 'ctl00$ContentPlaceHolder1$tbPassword': 'yourpassword'},
clickdata={'id': 'ctl00_ContentPlaceHolder1_lbcustomerloginbutton'},
callback=self.after_login)
def after_login(self, response):
self.logger.info("you are at %s" % response.url)
FormRequest.from_response
好像没有在formdata中发送__EVENTTARGET、__EVENTARGUMENT,尝试手动添加:
formdata={
'__EVENTTARGET': 'ctl00$ContentPlaceHolder1$lbcustomerloginbutton',
'__EVENTARGUMENT': '',
'ctl00$ContentPlaceHolder1$tbUsername': 'emailaddress@gmail.com',
'ctl00$ContentPlaceHolder1$tbPassword': 'yourpassword'
}