从 sh 脚本启动 scrapy spider 的问题

Question

当我尝试运行我的 sh 脚本与蜘蛛时，它只显示一个警告并且不解析，但是当我运行我自己的蜘蛛时，解析正常

我的 sh 文件

#!/bin/bash
# shellcheck disable=SC2164
cd /var/www/scrapy_parser/avito/avito/spiders
scrapy crawl avito -L WARNING
cd /var/www/scrapy_parser/info/info/spiders
scrapy crawl info_v1 -L WARNING.

sh 输出：

WARNING: /usr/local/lib/python3.6/site-packages/scrapy/extensions/feedexport.py:210: 
ScrapyDeprecationWarning: The `FEED_URI` and `FEED_FORMAT` settings have been deprecated in 
favor of the `FEEDS` setting. Please see the `FEEDS` setting docs for more details
exporter = cls(crawler)

我该怎么做才能解决这个问题？

Answer 1

一般情况下，我是通过登录解决这个问题的，最后发现我解析的站点将我作为bot屏蔽，sh脚本没有读取系统中预装的代理，我解决了在启动蜘蛛之前将代理设置直接添加到 sh 脚本中的一切

从 sh 脚本启动 scrapy spider 的问题

Problem with launching scrapy spider from sh script

sh

scrapy

web-scraping