[摘要]Schedulis是一款工作流任务调度系统,基于LinkedIn的开源项目Azkaban开发,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度。软件介绍Schedulis系统具备高性能,高...
Schedulis是一款工作流任务调度系统,基于LinkedIn的开源项目Azkaban开发,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度。
软件介绍
Schedulis系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户DataSphere Studio。
Schedulis支持常规的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。
与DataSphere Studio和Linkis的对接:
DataSphere Studio可以将编辑好的工作流一键发布到Schedulis进行调度,而Schedulis也实现了Linkis插件,用于向Linkis提交任务,这样使得Schedulis与DataSphere Studio和Linkis能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。
使用编程语言写的程序,由于每条指令都对应计算机一个特定的基本动作,所以程序占用内存少、执行效率高。