使用 scrapy 的 FormRequest 没有提交表单

Question

在尝试了 scrapy 的第一个教程后，我真的很兴奋。所以我也想试试表单提交。

我有以下脚本，如果我打印出 response.body，我会返回到带有表单的页面，但没有任何反应。谁能帮助我如何进入结果页面？

# spiders/holidaytaxi.py
import scrapy
from scrapy.http import Request, FormRequest
from scrapy.selector import HtmlXPathSelector, Selector


class HolidaytaxiSpider(scrapy.Spider):
    name = "holidaytaxi"
    allowed_domains = ["holidaytaxis.com"]
    start_urls = ['http://holidaytaxis.com/en']

    def parse(self, response): 
        return [FormRequest.from_response(
            response,
            formdata={
                'bookingtypeid':'Return',
                'airpotzgroupid_chosen':'Turkey',
                'pickup_chosen':'Antalya Airport',
                'dropoff_chosen':'Alanya',
                'arrivaldata':'12-07-2015',
                'arrivalhour':'12',
                'arrivalmin':'00',
                'departuredata':'14-07-2015',
                'departurehour':'12',
                'departuremin':'00',
                'adults':'2',
                'children':'0',
                'infants':'0'
            },
            callback=self.parseResponse
        )]

    def parseResponse(self, response):
        print "Hello World"
        print response.status
        print response
        heading = response.xpath('//div/h2')
        print "heading: ", heading

输出为：

2015-07-05 16:23:59 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2015-07-05 16:24:01 [scrapy] DEBUG: Redirecting (301) to <GET http://www.holidaytaxis.com/en> from <GET http://holidaytaxis.com/en>
2015-07-05 16:24:02 [scrapy] DEBUG: Crawled (200) <GET http://www.holidaytaxis.com/en> (referer: None)
2015-07-05 16:24:03 [scrapy] DEBUG: Crawled (200) <POST http://www.holidaytaxis.com/en/search> (referer: http://www.holidaytaxis.com/en)
Hello World
200
<200 http://www.holidaytaxis.com/en/search>
heading:  []

Answer 1

主要问题在于您如何传递预订类型、国家/地区、接送服务。您需要传递相应的 "id" 而不是文字字符串。

以下内容适用于您的情况：

return FormRequest.from_response(
    response,
    formxpath="//form[@id='transfer_search']",
    formdata={
        'bookingtypeid': '1',
        'airportgroupid': '14',
        'pickup': '121',
        'dropoff': '1076',
        'arrivaldate': '12-07-2015',
        'arrivalhour': '12',
        'arrivalmin': '00',
        'departuredate': '14-07-2015',
        'departurehour': '12',
        'departuremin': '00',
        'adults': '2',
        'children': '0',
        'infants': '0',
        'submit': 'GET QUOTE'
    },
    callback=self.parseResponse
)

请注意，我还修复了 arrivaldate 和 departuredate 参数名称。

你可能想问我是怎么得到这些ID的。好问题 - 我使用了浏览器开发人员工具并研究了在搜索表单提交时发出的传出 POST 请求：

现在真正的问题是如何在 Scrapy 代码中获取 ID。预订类型很容易处理 - 只有 3 种类型的 ID 从 1 到 3。国家列表实际上在带有 id="airportgroupid" 的 select 标签中的同一搜索表单页面上可用 - 您可以构建国家名称与其内部 ID 之间的映射字典，例如：

countries = {
    option.xpath("@label").extract()[0]: option.xpath("@value").extract()[0]
    for option in response.xpath("//select[@id='airportgroupid']//option")
}

country_id = countries["Turkey"]

接送地点变得越来越困难 - 它们取决于预订类型和国家/地区，并且通过对“http://www.holidaytaxis.com/en/search/getpickup" and "http://www.holidaytaxis.com/en/search/getdropoff”端点的额外 XHR 请求进行检索。

使用 scrapy 的 FormRequest 没有提交表单

Using scrapy's FormRequest no form is submitted

web-crawler

scrapy

web-scraping

python-2.7

scrapy-spider