容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?比如选择Spark on K8s 还是 Hadoop yarn on K8s。
混合部署后,计算部分肯定是完全容器化,存储如hdfs还需要使用传统的hdfs,也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式,也可以考虑spark on k8s。如果有存量yarn作业需要迁移,可以考虑用yarn on k8s,这样便于存量作业平滑迁移,出现问题也可以回切,也可以在一定时间内复用传统大数据集群资源
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30