将大型 sql 文件（每天 30 GB）导入 elasticsearch 中的一个索引
Import a large sql file (30 gb per day) to one single index in elasticseach
我每天都会生成 sql 转储 (40 GB)，我想将这个转储迁移到单个索引中的 elasticseach 例如：昨天的转储被转移到 index1，今天的转储应该被转移到相同的索引（即 index1），并且接下来几天的下一个转储也应该附加相同的索引（index1）。
我的问题：在elasticsearch中，如何构造索引来存储每天产生的这些大转储？
一般问题在于您的使用模式，即每个分片应具有一定的大小（取决于用例，每个分片大约 10 到 50GB）。用一个索引很难做到这一点。
你想要的是 rollover index，它基本上是在满足特定条件后创建一个新索引——这可能是适合你的大小。并且有一个指向所有索引的别名，您可以轻松地在整个数据集中搜索。
另外，最近的功能 ILM 使展期指数的管理变得更加简单，所以这就是我在这里要研究的内容。
我每天都会生成 sql 转储 (40 GB)，我想将这个转储迁移到单个索引中的 elasticseach 例如：昨天的转储被转移到 index1，今天的转储应该被转移到相同的索引（即 index1），并且接下来几天的下一个转储也应该附加相同的索引（index1）。
我的问题：在elasticsearch中，如何构造索引来存储每天产生的这些大转储？
一般问题在于您的使用模式，即每个分片应具有一定的大小（取决于用例，每个分片大约 10 到 50GB）。用一个索引很难做到这一点。
你想要的是 rollover index，它基本上是在满足特定条件后创建一个新索引——这可能是适合你的大小。并且有一个指向所有索引的别名，您可以轻松地在整个数据集中搜索。
另外，最近的功能 ILM 使展期指数的管理变得更加简单，所以这就是我在这里要研究的内容。