NodeJS Web 抓取 - 表单提交
NodeJS Web Scraping - Form Submission
我正在尝试使用 X-Ray 执行以下操作,我不熟悉网络抓取,我正在寻找适合我使用的技术。
浏览到一个页面,在其中分配一个特定的表单,设置一些变量,然后提交。
然后获取其他页面,依此类推...
什么是最好的基于 NodeJS 的解决方案以及示例和文档来完成这项工作?
谢谢。
有许多为网络抓取创建的节点模块。
其中一些是:
参见 Node.js Scraping Libraries - Moritz Klack 在 Webkid 博客上的一个非常好的比较。
网上有一些关于如何使用其中一些的不错的文章,主要是关于 Cheerio 的:
- Web Scraping With Node.js 作者 Elliot Bonneville(Smashing Magazine)关于 Cheerio
- Scraping the Web With Node.js Adnan Kukic (Scotch.io) 关于 Cheerio
- Easy Web Scraping With Node.js 作者 Miguel Grinberg 关于 Cheerio
- Simple web scraping with Node.js / JavaScript 作者 Stephen('Net Instructions)关于 Cheerio
值得一提的是,x-ray 模块是由 Cheerio 的作者编写的 - 请参阅:X-Ray: A Scraper by the Author of Cheerio on DailyJS。
我正在尝试使用 X-Ray 执行以下操作,我不熟悉网络抓取,我正在寻找适合我使用的技术。
浏览到一个页面,在其中分配一个特定的表单,设置一些变量,然后提交。 然后获取其他页面,依此类推...
什么是最好的基于 NodeJS 的解决方案以及示例和文档来完成这项工作?
谢谢。
有许多为网络抓取创建的节点模块。
其中一些是:
参见 Node.js Scraping Libraries - Moritz Klack 在 Webkid 博客上的一个非常好的比较。
网上有一些关于如何使用其中一些的不错的文章,主要是关于 Cheerio 的:
- Web Scraping With Node.js 作者 Elliot Bonneville(Smashing Magazine)关于 Cheerio
- Scraping the Web With Node.js Adnan Kukic (Scotch.io) 关于 Cheerio
- Easy Web Scraping With Node.js 作者 Miguel Grinberg 关于 Cheerio
- Simple web scraping with Node.js / JavaScript 作者 Stephen('Net Instructions)关于 Cheerio
值得一提的是,x-ray 模块是由 Cheerio 的作者编写的 - 请参阅:X-Ray: A Scraper by the Author of Cheerio on DailyJS。