请问大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里？读写性能相对原有物理机部署模式有多大差异？

需要几个关键能力，包括serverless yarn，大数据作业专用调度器，内核级别的资源优先级控制能力，计算节点资源超卖能力，裸机计算节点，underlay容器网络。

混合部署后，计算部分肯定是完全容器化，存储如hdfs还需要使用传统的hdfs，也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式，也可以考虑spark on k8s。如果有存量yarn作业需要迁移，可以考虑用yarn on k8s，这样便于存量作业平滑迁移，出现问题也可以回切，也...(more)

首先需要确保基础调度组件，如RM，NM的稳定性，同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制，如果因为RM/NM偶发异常导致作业失败，可以通过重试恢复。这里说的离线大数据作业都是批量式的，flink这种长期运行的一般放在在线应用范围。...(more)

感谢分享！

大数据平台容器化部署后，原有的大数据平台产品（如CDH、星环等）是否还需要，取决于具体的业务需求和场景。首先，容器化部署确实为大数据平台带来了诸多优势，如资源管理、快速部署与迭代、弹性扩展以及更好的可移植性和标准化。这使得大数据应用能够更灵活地应对变化，提高了开发和...(more)