使用 jsoup 登录 espn 梦幻足球联赛并抓取统计数据
Using jsoup to login to espn fantasy football league and scrape stats
我有一个与 espn 梦幻足球有关的宠物项目。 Anywho 我的联盟是私人的,它要求我先登录该网站,然后才能导航到该页面。例如,当我转到
时在浏览器上
http://games.espn.go.com/ffl/standings?leagueId=491518&seasonId=2014
我被重定向到登录页面。我正在尝试使用 jsoup 登录并从网页上抓取一些数据,但我无法解决登录问题。无论我尝试什么,我都会被重定向。
我检查了 POST 和 GET 请求,发现除了用户名和密码之外,表单数据中还有一些参数,例如 "submit"、"multipleDomains"、"cookieDomain" 等.我不确定我是否需要设置这些,我试过了,但不管怎样都没有,或者我做错了什么。在检查时我发现登录地址是
https://r.espn.go.com/espn/memberservices/pc/login
因此,当我使用该地址时,我不会被重定向,但它不会 return 我可以在后续请求中使用的任何 cookie 来绕过重定向。
我正在寻找一些指导或看看是否有人成功地做到了这一点?我已经看过所有 "jsoup login examples" 并尝试了其中的几个,但 none 似乎有效。任何帮助或指示将不胜感激。也许还有比 jsoup 更好的way/tool?我对 jsoup 并不执着,它似乎非常流行且稳定。
我希望这也能帮助到一些人,但事实证明我确实遗漏了表单数据中的一项:/如果有人正在尝试与 ESPN 类似的内容,正确的表单数据元素是
failedAttempts
SUBMIT
failedLocation
aff_code
appRedirect
cookieDomain
multipleDomain
username
password
submit
所有这些都可以使用 Chrome 的开发人员选项并检查登录名 headers 找到。
我有一个与 espn 梦幻足球有关的宠物项目。 Anywho 我的联盟是私人的,它要求我先登录该网站,然后才能导航到该页面。例如,当我转到
时在浏览器上http://games.espn.go.com/ffl/standings?leagueId=491518&seasonId=2014
我被重定向到登录页面。我正在尝试使用 jsoup 登录并从网页上抓取一些数据,但我无法解决登录问题。无论我尝试什么,我都会被重定向。
我检查了 POST 和 GET 请求,发现除了用户名和密码之外,表单数据中还有一些参数,例如 "submit"、"multipleDomains"、"cookieDomain" 等.我不确定我是否需要设置这些,我试过了,但不管怎样都没有,或者我做错了什么。在检查时我发现登录地址是
https://r.espn.go.com/espn/memberservices/pc/login
因此,当我使用该地址时,我不会被重定向,但它不会 return 我可以在后续请求中使用的任何 cookie 来绕过重定向。
我正在寻找一些指导或看看是否有人成功地做到了这一点?我已经看过所有 "jsoup login examples" 并尝试了其中的几个,但 none 似乎有效。任何帮助或指示将不胜感激。也许还有比 jsoup 更好的way/tool?我对 jsoup 并不执着,它似乎非常流行且稳定。
我希望这也能帮助到一些人,但事实证明我确实遗漏了表单数据中的一项:/如果有人正在尝试与 ESPN 类似的内容,正确的表单数据元素是
failedAttempts
SUBMIT
failedLocation
aff_code
appRedirect
cookieDomain
multipleDomain
username
password
submit
所有这些都可以使用 Chrome 的开发人员选项并检查登录名 headers 找到。