芹菜+ SQS - pycurl错误

Question

今天我一直在尝试使用 AWS SQS 作为代理来设置 Celery，但是在执行以下操作时：

test.py

from celery import Celery

access_key_id = '********************'
secret_access_key = '****************************************'

broker_url = 'sqs://%s:%s@' %(access_key_id, secret_access_key)

app = Celery('test', backend=None, broker=broker_url)

@app.task
def add(x, y):
    return x + y

正在尝试运行 Celery worker 使用命令

celery -A test worker --loglevel=info

有了这个我得到以下错误：

Unrecoverable error: ImportError('The curl client requires the pycurl library.',)

我安装了以下软件包：

amqp (2.2.2)
billiard (3.5.0.3)
boto (2.48.0)
boto3 (1.4.7)
botocore (1.7.48)
celery (4.1.0)
docutils (0.14)
jmespath (0.9.3)
kombu (4.1.0)
pip (9.0.1)
pycurl (7.43.0)
python-dateutil (2.6.1)
pytz (2017.3)
s3transfer (0.1.11)
schedule (0.5.0)
setuptools (37.0.0)
six (1.11.0)
vine (1.1.4)
wheel (0.30.0)

谁能看出我做错了什么？提前致谢！

Answer 1

看起来这可能是您拥有的 Celery (4.1.0) 版本的问题。如果我在降级到版本 3.1.25 后执行相同的代码，它工作正常。

Answer 2

如果你在Mac，你需要编译安装PycURL。如果尚未安装，您可能还需要安装 openssl。

brew install openssl
    
export PYCURL_SSL_LIBRARY=openssl 
export LDFLAGS="-L/usr/local/opt/openssl/lib"
export CPPFLAGS="-I/usr/local/opt/openssl/include" 
pip install --no-cache-dir pycurl

对于 linux 安装 openssl 类似：

apt-get update -y && apt-get install -y libcurl4-openssl-dev libssl-dev gcc

查看 PycURL SSL Docs 了解更多安装信息。

Answer 3

我遇到了同样的错误，这些步骤对我有用：

mac:

brew upgrade openssl

export LDFLAGS="-L/usr/local/opt/openssl/lib"
export CPPFLAGS="-I/usr/local/opt/openssl/include"   

export PYCURL_SSL_LIBRARY=openssl

python -m pip install celery[sqs]

centos:

pip uninstall pycurl
export PYCURL_SSL_LIBRARY=nss
pip install --compile pycurl

Answer 4

这适用于 Debian

sudo apt install libcurl4-openssl-dev libssl-dev
pip uninstall pycurl
pip install pycurl --compile --global-option="--with-openssl" --no-cache-dir

芹菜+ SQS - pycurl错误

Celery + SQS - pycurl error

python

amazon-sqs

celery

python-3.x