cron 作业的容错能力如何?
How fault tolerant cron job is?
我正在使用 cron 作业在每 2 分钟后安排一个 shell 脚本,其中包含 pig 和 hive 脚本。我想知道容错 cron 作业的容错性如何,假设当作业 运行 时网络出现故障或某些文件损坏,cron 作业将做什么?它会再次重新启动 shell 脚本还是会发生什么。我在互联网上没有得到任何关于此的信息。如果你们能帮忙,那就太好了。
谢谢
Cron 的唯一工作就是按时间表执行任务。如果这是您想要的fault/failure 容忍度,则取决于您的脚本。
Oozie 使用 DAG 并在启动共享它的多个脚本时检查数据可用性。 Oozie 允许您更轻松地处理 Pig 和 Hive 作业的依赖项。由于它与 Yarn 集成在一起,您将不那么担心炸毁集群。
如果数据损坏,cron 将不执行任何操作,它将等待下一个执行周期。此外,您可能会用 cron 很容易地填写问题,这可能会导致作业执行时间更长。
我正在使用 cron 作业在每 2 分钟后安排一个 shell 脚本,其中包含 pig 和 hive 脚本。我想知道容错 cron 作业的容错性如何,假设当作业 运行 时网络出现故障或某些文件损坏,cron 作业将做什么?它会再次重新启动 shell 脚本还是会发生什么。我在互联网上没有得到任何关于此的信息。如果你们能帮忙,那就太好了。 谢谢
Cron 的唯一工作就是按时间表执行任务。如果这是您想要的fault/failure 容忍度,则取决于您的脚本。
Oozie 使用 DAG 并在启动共享它的多个脚本时检查数据可用性。 Oozie 允许您更轻松地处理 Pig 和 Hive 作业的依赖项。由于它与 Yarn 集成在一起,您将不那么担心炸毁集群。
如果数据损坏,cron 将不执行任何操作,它将等待下一个执行周期。此外,您可能会用 cron 很容易地填写问题,这可能会导致作业执行时间更长。