如何在 mosaic 中以最小配置 运行 流动

How to run flow with minimal configuration in mosaic

我正在使用 Mosaic Decisions 开发一些 ETL 作业。当 运行 作业时,它使用默认配置将作业提交给 Spark。这个默认配置真的很大,我不需要那么多用于开发(因为我在开发时使用较少数量的记录进行单元测试)。

有什么方法可以指示 Mosaic 在我的开发中使用更少的 Spark 资源?这样我就不会不必要地阻塞集群的资源?

是的,这是有可能实现的。为此,您必须使用 Manager 中所需的 resource 配置创建一个新的 运行 配置 角色 (LTI 马赛克管理器)。然后,只需使用新创建的 运行 配置 .

执行 flow

按照以下步骤创建新的 运行 配置:

  1. 登录 Mosaic Decisions 并在右上角单击“项目”,然后单击 Manager

  1. Mosaic Manager 中,单击左侧导航面板中的 Runconfig 选项卡。
  2. 点击 Add New Configuration。提供所需的 配置 并单击 Save

  1. 返回Mosaic Decisions,并使用新创建的运行配置[执行所需的流程