寻找用于非 GUI 网站交互的 good/reliable API

Question

基本上我想收集各种搜索引擎（google、yahoo 等）的搜索统计数据，我想检查特定 phrases/words 的搜索次数，并将信息存储在一个文件，然后使用此信息在我的网站上标记文章。直到现在，我都是使用 Google Trends 手动执行此操作。

基本要求是：

• 登录

• 操纵HTML DOM元素，包括打开spans/showing表格（基本上采取任何必要的行动来揭示所需的表格）

• 编辑表单字段（主要用于数据输入）

• 提交表单

• 表单提交后从网页中检索相关信息

Java API 是首选，但不是必须的，基本上任何语言都可以，只要 API 是 "transparent" 并且足够简单，所以我不必花几天时间学习如何使用它。

我看了this question which suggested the use of selenium这个目的王，好像不错可以试试。但由于这个问题已有一年之久，我想知道是否还有其他选择。

Answer 1

This 站点列出了一些硒的替代品。

也就是说，我使用过 selenium 并发现它非常灵活。您还可以将其设置为 headless 模式，这将允许 Java 应用程序在不需要 GUI 的情况下工作（如果您有远程服务器，这将很有用）工作，但没有显示器）。

我遇到的唯一主要问题 (selenium) 是我使用的 Firefox 版本仍然不支持，因此您可能需要关注它。

另外请注意，如果您将从低功耗设备（例如 Raspberry Pi 中使用它，请确保添加隐式超时。