容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?

容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化?比如选择Spark on K8s 还是 Hadoop yarn on K8s。

参与9

2同行回答

强哥之神强哥之神架构师&技术经理上汽集团云计算中心
在选择大数据混合部署的容器化技术路线时,完全容器化和部分容器化各有优劣,最终选择取决于具体的业务需求、现有技术栈、团队技能和长远发展规划 ,简单来说就三类:* 现代化需求强烈且具备相应技术能力的企业 :可以选择完全容器化,使用 Spark on K8S。已有大量 Hadoop 工作负载...显示全部

在选择大数据混合部署的容器化技术路线时,完全容器化和部分容器化各有优劣,最终选择取决于具体的业务需求、现有技术栈、团队技能和长远发展规划 ,简单来说就三类:

* 现代化需求强烈且具备相应技术能力的企业 :可以选择完全容器化,使用 Spark on K8S。

  • 已有大量 Hadoop 工作负载并需要保留现有生态系统的企业 :可以选择部分容器化,逐步迁移到 Hadoop YARN on K8S。
  • 资源管理和简化运维是首要目标的企业 :可以倾向于完全容器化,统一使用 K8S 进行资源调度和管理。
收起
互联网服务 · 3天前
dean25dean25课题专家组软件架构设计师民生银行
混合部署后,计算部分肯定是完全容器化,存储如hdfs还需要使用传统的hdfs,也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式,也可以考虑spark on k8s。如果有存量yarn作业需要迁移,可以考虑用yarn on k8s,这样便于存量作业平滑迁移,出现问题也可以回切,也...显示全部

混合部署后,计算部分肯定是完全容器化,存储如hdfs还需要使用传统的hdfs,也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式,也可以考虑spark on k8s。如果有存量yarn作业需要迁移,可以考虑用yarn on k8s,这样便于存量作业平滑迁移,出现问题也可以回切,也可以在一定时间内复用传统大数据集群资源

收起
银行 · 2024-05-08
浏览120

ChatGPT 回答

容器化技术已经成为现代软件开发的重要趋势之一,它可以提高应用程序的可移植性、可伸缩性和可靠性。在大数据混部场景下,容器化技术也可以帮助企业更好地管理和部署大数据应用程序。

对于容器化技术路线落地大数据混部技术选型,应该根据具体情况进行选择。完全容器化可能会带来更好的可移植性和可伸缩性,但也可能会带来一些性能和稳定性方面的问题。部分容器化则可以在保证一定性能和稳定性的前提下,提高应用程序的可移植性和可伸缩性。

在选择容器化技术路线时,可以考虑以下因素:

  1. 应用程序的特点:不同的应用程序可能对容器化技术的支持程度不同,需要根据具体情况进行选择。
  2. 系统的稳定性要求:如果系统对稳定性要求较高,可以选择部分容器化,将关键的组件部署在物理机上,以确保系统的稳定性。
  3. 资源利用率:完全容器化可以更好地利用资源,提高资源利用率,但也需要考虑容器化带来的额外开销。
  4. 管理和维护成本:容器化技术可以简化应用程序的管理和维护,但也需要考虑容器化技术的学习成本和管理成本。

在大数据混部场景下,选择Spark on K8s还是Hadoop Yarn on K8s,也需要根据具体情况进行选择。Spark on K8s可以更好地利用Kubernetes的资源管理和调度功能,提高资源利用率和应用程序的可伸缩性。Hadoop Yarn on K8s则可以更好地支持Hadoop生态系统的组件,提供更完整的大数据解决方案。因此,需要根据具体场景进行选择。

提问者

heceke
中原银行股份有限公司
擅长领域: 云计算容器大数据

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-05-06
  • 关注会员:3 人
  • 问题浏览:686
  • 最近回答:3天前
  • X社区推广