选择你喜欢的标签
我们会为你匹配适合你的网址导航

    确认 跳过

    跳过将删除所有初始化信息

    0XU.CN
    发布于2023-06-30 10:58
    659

    DolphinScheduler调度器大家有用过没?

    试用了一下,感觉设计欠缺很多,坑太多了  口号吹的很响亮...

    我要回答 分享 举报
    最新问答
    DolphinScheduler调度器大家有用过没?
    11 条回答
    赵克石
    2023-06-30 10:59

     贴一下我的 airflow 调研笔记,基本上如果是我来做技术选型肯定是 airflow + 对应 cloud 上 data tool


    - [Apache Airflow Documentation — Airflow Documentation]( https://airflow.apache.org/docs/apache-airflow/stable/)
    - [GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflows]( https://github.com/apache/airflow)
    - [社区支持]( https://airflow.apache.org/ecosystem/)非常好
    - 有 [awesome list]( https://github.com/jghoman/awesome-apache-airflow),有很多讲述最佳实践的文章
    - github 搜索超过 9000 相关仓库
    - 云厂商支持好,如 [[Google Cloud]], [[Amazon]]
    - 有书,有[开发者大会]( https://airflowsummit.org),有 Meetup ,有[播客]( https://www.astronomer.io/podcast/),有专门的 Youtube 频道,有 Udemy 上的培训课程
    - 大量科技企业的选择,并且有创业项目围绕它做数据服务平台
    - Twitter: [Productionizing ML with workflows at Twitter]( https://blog.twitter.com/engineering/en_us/topics/insights/2018/ml-workflows.html)
    - [[Robinhood]]: [Why Robinhood uses Airflow. Robinhood relies on batch processing… | by Vineet Goel | Robinhood]( https://robinhood.engineering/why-robinhood-uses-airflow-aed13a9a90c8), [Upgrading & Scaling Airflow at Robinhood | by Abhishek Ray | Robinhood]( https://robinhood.engineering/upgrading-scaling-airflow-at-robinhood-5b625dfaa2ee)
    - Gitlab: [dags · master · GitLab Data / GitLab Data Team · GitLab]( https://gitlab.com/gitlab-data/analytics/-/tree/master/dags)

    分享 举报
    杨启茵
    2023-06-30 10:59

    整理的真不错,收藏了。airflow 界面好看,用代码维护 workflow 不错,文档也很全。另外最近发现还有一个 argo workflow ,融合云原生更进一步。

    分享 举报
    辛德勇
    2023-06-30 10:59

    前端的长期贡献者相比后端的更少,UI 体验的优化可能短期内不太可能有太大的改观

    开源软件我理解都是没有十全十美的,想要使用体验更好更多还是需要自己动手丰衣足食,比如我正在使用的 Apache Ranger ,其中 Trino 350+ plugin 社区里很多人提了一年多了依旧没实现,最后还得自己来实现一个...


    分享 举报
    你的微笑闪
    2023-06-30 10:59

    10 人常驻 人手短缺的话能理解 海豚本身声量还是挺大的 希望可以变得更好 小 bug 后续有机会贡献一下UI 那块爱莫能助 真心希望下决心重做...

    分享 举报
    吴昊宸
    2023-06-30 10:59

    你提的问题确实都存在,我也遇到过更多其他类似的问题。目前因为社区长期贡献者严重不足(据我所知长期的不足 10 个),一些非主流程的功能由一些新晋的贡献者贡献后,贡献者就不再维护了,这就产生了很多遗留问题...我本身虽然是贡献者,同时也是用户,个人时间有限,用不到的功能也没过多去尝试并且修复...目前我了解到的开源软件不论国内还是国外都存在着类似的问题,大多都依靠社区的贡献者们用爱发电,解决问题的关键是如何扩大社区长期贡献者的人数...

    分享 举报
    麦景婷
    2023-06-30 10:59

    谢谢。作为一个非贡献者,只能嘴炮一下。调研过一些时间,实际用发现坑挺多,挺失望,所以多说几句。以下主要为了交流使用观点,非针对个人,无需挂心。数据质量这些新模块可以加,这是社区的团队自己定的。我寻思 DS 要是想发力可以试着下决心重做 UI &优化交互&去掉一些不必要的可视化、尝试拥抱云原生、代码化 workflow 、自动部署、完善文档、修修 bug 啥的。举几个使用中发现的问题:1. 设置 workflow crontab ,会弹出一个丑丑的界面,有些其实简单 UI 更容易理解和增加美观度...2. 调用一个外部 shell 脚本并传入动态参数,找了很多文档没找到...,找到如何传参了但试用半天无法获取到值,最后发现是 workflow 参数自动将大写转为了小写3. 任务状态统计、流程状态统计、工作流关系的可视化作用是负的其他很多不一一列举。夯实现有功能、提高品味,真的能让这个项目长足进步,加新功能对 PR 有作用,但对项目的实际口碑就...对于数据领域来说,近几年能看到很多海豚的宣传,对有一个在这领域踏足的国产项目感到高兴,真心希望这个项目能变好。

    分享 举报
    张学忠
    2023-06-30 10:59

    DS 专注于大数据工作流调度,DQC(数据质量) 是数仓调度很重要的一个环节,各个厂的数仓只要对数据质量有一定要求的,或多或少都会对工作流调度进行数据质量监控,这是大势所趋


    分享 举报
    怀恩
    2023-06-30 10:58

    很多功能不应该聚集在调度器身上,借助 grafana 等实现监控很容易。3.0 还要加数据质量校验啥的,感觉更是跑偏了。界面太丑了!有更好的推荐没,例如想基于 k8s 搭建。

    分享 举报
    陈婷
    2023-06-30 10:58

    国内开源的东西尽量不要用!!!


    分享 举报
    何佳颖
    2023-06-30 10:58

         
           2

    kaichen   

       2022-05-08 08:24:31 +08:00

    印象不好- 自动化程度低,仅仅提供 vb 式拖拽界面- 不够云原生,很多能力并不是通过依赖外部组合实现,而是基本自己实现,比如监控- 外部集成能力差,没有插件系统,数据输出,监控等感觉是定制化写死- 社区差,你几乎很难找到大量讨论- 土土国企风,从界面排版字体,都感觉像十多年前的设计建议有需要 etl 调度工具,用 airflow ,可编程,高度集成,社区繁荣


    分享 举报
    • 1
    • 2