当前位置:网站首页>2020-08-14:数据任务的执行引擎用的哪些?

2020-08-14:数据任务的执行引擎用的哪些?

2020-11-06 21:55:49 福大大架构师每日一题

福哥答案2020-08-14:

知乎答案

最基础的是 crontab 定时任务。
考虑到分布式分片定时任务和高可用,可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。
大数据处理框架一般用的是DAG(有向无环图)工作流类调度系统,通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中,就是基于DAG描述rdd之间的依赖关系。

版权声明
本文为[福大大架构师每日一题]所创,转载请带上原文链接,感谢
https://my.oschina.net/u/4553401/blog/4495972