如何抓取 ajax 生成的网页？

Question

我已经尝试抓取https://world.taobao.com/search/search.htm?cat=50008090&_ksTS=1461999216322_20&spm=a21bp.7806943.banner_XX_cat.13.UxfRzO&_input_charset=utf-8&navigator=all&json=on&callback=__jsonp_cb&cna=CKNtDjuNxTgCAdIGQMzvfvwH&abtest=_AB-LR517-LR854-LR895-PR517-PR854-PV895_2462

但是没有成功，响应页面源与查看页面不匹配，有人知道怎么办吗？谢谢

Answer 1

您将不得不使用一些可以捕获 JS 内容的库，这就是 php-curl 在这里不起作用的原因。

您可以使用各种库，例如 phantomjs, casperjs