分享文章
DolphinScheduler调度器大家有用过没?
试用了一下,感觉设计欠缺很多,坑太多了 口号吹的很响亮...
贴一下我的 airflow 调研笔记,基本上如果是我来做技术选型肯定是 airflow + 对应 cloud 上 data tool
- [Apache Airflow Documentation — Airflow Documentation]( https://airflow.apache.org/docs/apache-airflow/stable/)
- [GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflows]( https://github.com/apache/airflow)
- [社区支持]( https://airflow.apache.org/ecosystem/)非常好
- 有 [awesome list]( https://github.com/jghoman/awesome-apache-airflow),有很多讲述最佳实践的文章
- github 搜索超过 9000 相关仓库
- 云厂商支持好,如 [[Google Cloud]], [[Amazon]]
- 有书,有[开发者大会]( https://airflowsummit.org),有 Meetup ,有[播客]( https://www.astronomer.io/podcast/),有专门的 Youtube 频道,有 Udemy 上的培训课程
- 大量科技企业的选择,并且有创业项目围绕它做数据服务平台
- Twitter: [Productionizing ML with workflows at Twitter]( https://blog.twitter.com/engineering/en_us/topics/insights/2018/ml-workflows.html)
- [[Robinhood]]: [Why Robinhood uses Airflow. Robinhood relies on batch processing… | by Vineet Goel | Robinhood]( https://robinhood.engineering/why-robinhood-uses-airflow-aed13a9a90c8), [Upgrading & Scaling Airflow at Robinhood | by Abhishek Ray | Robinhood]( https://robinhood.engineering/upgrading-scaling-airflow-at-robinhood-5b625dfaa2ee)
- Gitlab: [dags · master · GitLab Data / GitLab Data Team · GitLab]( https://gitlab.com/gitlab-data/analytics/-/tree/master/dags)
整理的真不错,收藏了。airflow 界面好看,用代码维护 workflow 不错,文档也很全。另外最近发现还有一个 argo workflow ,融合云原生更进一步。
前端的长期贡献者相比后端的更少,UI 体验的优化可能短期内不太可能有太大的改观
10 人常驻 人手短缺的话能理解 海豚本身声量还是挺大的 希望可以变得更好 小 bug 后续有机会贡献一下UI 那块爱莫能助 真心希望下决心重做...
你提的问题确实都存在,我也遇到过更多其他类似的问题。目前因为社区长期贡献者严重不足(据我所知长期的不足 10 个),一些非主流程的功能由一些新晋的贡献者贡献后,贡献者就不再维护了,这就产生了很多遗留问题...我本身虽然是贡献者,同时也是用户,个人时间有限,用不到的功能也没过多去尝试并且修复...目前我了解到的开源软件不论国内还是国外都存在着类似的问题,大多都依靠社区的贡献者们用爱发电,解决问题的关键是如何扩大社区长期贡献者的人数...
谢谢。作为一个非贡献者,只能嘴炮一下。调研过一些时间,实际用发现坑挺多,挺失望,所以多说几句。以下主要为了交流使用观点,非针对个人,无需挂心。数据质量这些新模块可以加,这是社区的团队自己定的。我寻思 DS 要是想发力可以试着下决心重做 UI &优化交互&去掉一些不必要的可视化、尝试拥抱云原生、代码化 workflow 、自动部署、完善文档、修修 bug 啥的。举几个使用中发现的问题:1. 设置 workflow crontab ,会弹出一个丑丑的界面,有些其实简单 UI 更容易理解和增加美观度...2. 调用一个外部 shell 脚本并传入动态参数,找了很多文档没找到...,找到如何传参了但试用半天无法获取到值,最后发现是 workflow 参数自动将大写转为了小写3. 任务状态统计、流程状态统计、工作流关系的可视化作用是负的其他很多不一一列举。夯实现有功能、提高品味,真的能让这个项目长足进步,加新功能对 PR 有作用,但对项目的实际口碑就...对于数据领域来说,近几年能看到很多海豚的宣传,对有一个在这领域踏足的国产项目感到高兴,真心希望这个项目能变好。
很多功能不应该聚集在调度器身上,借助 grafana 等实现监控很容易。3.0 还要加数据质量校验啥的,感觉更是跑偏了。界面太丑了!有更好的推荐没,例如想基于 k8s 搭建。
2kaichen
2022-05-08 08:24:31 +08:00
- 1
- 2
-
如何评价国产游戏黑神话:悟空?125条回答 2024-06-13 02:25
-
你是否赞同李佳琦怼网友觉得眉笔贵应反思自己?91条回答 2023-09-11 23:49
-
如何看待大叔地铁玩手机被女子质疑偷拍?87条回答 2023-06-11 17:29
-
如何看待太古里牵手门连衣裙爆火?81条回答 2023-06-10 23:21
-
如何看待李佳琦为花西子眉笔之事哭着道歉?80条回答 2023-09-11 23:41
-
如何看待网红边娥英在柬埔寨去世?72条回答 2023-06-13 05:49
-
如何看待被撞死小学生母亲被网暴?72条回答 2023-06-03 02:40
-
如何看待学校食堂吃出老鼠头,官方回应为鸭脖事件?71条回答 2023-06-10 22:51

乐易玲
