容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?

容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?比如选择Spark on K8s 还是 Hadoop yarn on K8s。显示全部

容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?比如选择Spark on K8s 还是 Hadoop yarn on K8s。

收起
参与9

查看其它 1 个回答dean25的回答

dean25dean25课题专家组软件架构设计师民生银行

混合部署后,计算部分肯定是完全容器化,存储如hdfs还需要使用传统的hdfs,也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式,也可以考虑spark on k8s。如果有存量yarn作业需要迁移,可以考虑用yarn on k8s,这样便于存量作业平滑迁移,出现问题也可以回切,也可以在一定时间内复用传统大数据集群资源

银行 · 2024-05-08
浏览117

回答者

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云

dean25 最近回答过的问题

回答状态

  • 发布时间:2024-05-08
  • 关注会员:3 人
  • 回答浏览:117
  • X社区推广