运行 Anaconda-Scrapy 作为 Cron 作业

Question

我正在尝试运行一个 scrapy（与 anaconda2 一起安装）爬虫作为 cron 作业。到目前为止运气不好。

这是 cron 命令：

* * * * * sh /home/username/anaconda2/folder/getdata.sh

cron 运行s 每 1 分钟一次（我检查了日志文件，似乎没问题）这是 sh 文件中的代码：

#!/home/username/anaconda2/bin/python
cd /home/username/anaconda2/crawler_folder
PATH=$PATH:/home/username/anaconda2/bin
export PATH
scrapy crawl spider

sh 代码在终端中按预期执行，但不是作为 cron 作业。你能帮忙吗

Answer 1

这对我有用，因为 .sh 文件和 cron 作业没有改变。

#!/home/username/anaconda2/bin/bash
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

运行 Anaconda-Scrapy 作为 Cron 作业

Run Anaconda-Scrapy as Cron job

python

cron

scrapy

anaconda

centos7