使用 Python 的 Elasticsearch 数据插入
Elasticsearch Data Insertion with Python
我是 Elastic Stack 的新手,所以请原谅我对这个主题的了解不足。我是 运行 公司工作计算机 Windows 10 上的 Elastic Stack。我为 bash cli 安装了 Git Bash,我可以成功启动整个 Elastic Stack。我的任务是获取存储在我们的一个数据库中的日志数据,并将其显示在 Kibana 仪表板上。
据我和我的团队推断,我不需要使用 Logstash,因为日志发送到的数据库实际上是我们的 'log stash',因此使用 Logstash 服务是多余的。我找到了这个漂亮的图表
在 freecodecamp 上,据我所知,Logstash 只是日志检索不同服务的中介。所以不用 Logstash,因为日志数据已经在数据库中,我可以做这样的事情
USER ---> KIBANA <---> ELASTICSEARCH <--- My Python Script <--- [DATABASE]
我的 python 脚本成功调用了我们的数据库并检索了数据,以及一个将数据塑造成 dict 对象的函数(据我所知,Elasticsearch 采用 JSON 格式的数据)。
现在我想将所有这些数据插入 Elasticsearch - 我一直在阅读 Elastic 文档,并且有很多关于索引的讨论并不是真正的索引,我还没有找到任何 API 调用我可以用来将数据直接插入 Elasticsearch。到目前为止我找到的所有文档都与 Logstash 的使用有关,但由于我没有使用 Logstash,所以我有点不知所措。
如果有人可以帮助我并指出正确的方向,我将不胜感激。谢谢
-段
您使用 Index API 在 elasticsearch 上提取数据,它基本上是使用 PUT 方法的请求。
要使用 Python 做到这一点,您可以使用 elasticsearch-py,elasticsearch 的官方 python 客户端。
但有时您需要使用 Logstash 更容易完成,因为它可以从您的数据库中提取数据,使用许多过滤器对其进行格式化并发送到 elasticsearch。
我是 Elastic Stack 的新手,所以请原谅我对这个主题的了解不足。我是 运行 公司工作计算机 Windows 10 上的 Elastic Stack。我为 bash cli 安装了 Git Bash,我可以成功启动整个 Elastic Stack。我的任务是获取存储在我们的一个数据库中的日志数据,并将其显示在 Kibana 仪表板上。
据我和我的团队推断,我不需要使用 Logstash,因为日志发送到的数据库实际上是我们的 'log stash',因此使用 Logstash 服务是多余的。我找到了这个漂亮的图表
在 freecodecamp 上,据我所知,Logstash 只是日志检索不同服务的中介。所以不用 Logstash,因为日志数据已经在数据库中,我可以做这样的事情
USER ---> KIBANA <---> ELASTICSEARCH <--- My Python Script <--- [DATABASE]
我的 python 脚本成功调用了我们的数据库并检索了数据,以及一个将数据塑造成 dict 对象的函数(据我所知,Elasticsearch 采用 JSON 格式的数据)。
现在我想将所有这些数据插入 Elasticsearch - 我一直在阅读 Elastic 文档,并且有很多关于索引的讨论并不是真正的索引,我还没有找到任何 API 调用我可以用来将数据直接插入 Elasticsearch。到目前为止我找到的所有文档都与 Logstash 的使用有关,但由于我没有使用 Logstash,所以我有点不知所措。
如果有人可以帮助我并指出正确的方向,我将不胜感激。谢谢
-段
您使用 Index API 在 elasticsearch 上提取数据,它基本上是使用 PUT 方法的请求。
要使用 Python 做到这一点,您可以使用 elasticsearch-py,elasticsearch 的官方 python 客户端。
但有时您需要使用 Logstash 更容易完成,因为它可以从您的数据库中提取数据,使用许多过滤器对其进行格式化并发送到 elasticsearch。