Scrapy 认证抓取
Scrapy authenticated crawl
我尝试使用 Scrapy 抓取 WackoPicko and have been stuck at this page, http://localhost/pictures/view.php?picid=3 的页面，据说下面有一个评论框。
我试过只使用一个 cookiejar 来确保我的身份验证会话在我登录后传递到所有链接，并且调整了大多数设置，包括 don_redirect meta。
DEBUG: Sending cookies to: <GET https://app1.com/pictures/view.php?picid=12>
Cookie: PHPSESSID=4kohgvdbloritctck7ih13pir0
DEBUG: Redirecting (303) to <GET https://app1.com/users/login.php> from <GET https://app1.com/pictures/view.php?picid=12>
而且我不会从 view.php 那里得到评论表。
任何帮助表示赞赏。谢谢
好的，来自 scrapy 文档的登录有效。这只是 cookie 罐的一个小配置错误。
我尝试使用 Scrapy 抓取 WackoPicko and have been stuck at this page, http://localhost/pictures/view.php?picid=3 的页面，据说下面有一个评论框。
我试过只使用一个 cookiejar 来确保我的身份验证会话在我登录后传递到所有链接，并且调整了大多数设置，包括 don_redirect meta。
DEBUG: Sending cookies to: <GET https://app1.com/pictures/view.php?picid=12>
Cookie: PHPSESSID=4kohgvdbloritctck7ih13pir0
DEBUG: Redirecting (303) to <GET https://app1.com/users/login.php> from <GET https://app1.com/pictures/view.php?picid=12>
而且我不会从 view.php 那里得到评论表。 任何帮助表示赞赏。谢谢
好的，来自 scrapy 文档的登录有效。这只是 cookie 罐的一个小配置错误。