大数据作业容器化部署后日志收集、监控告警、异常诊断如何有效处理？

大数据作业容器化部署后日志收集、监控告警、异常诊断如何有效处理,我可以分享一些我这边的经验给你参考：如果是serverless yarn方式，还是通过yarn UI查看作业日志。 监控建议通过prometheus exportor对接k8s集群内的prometheus，实现监控数据的同一采集。 异常诊断需要首先通过作业日志定位作业失败的原因，如果涉及平台管理组件（比如RM或者NM），需要查看RM或者NM Pod的日志。这些是一些日常的经验总结，希望能对你有带来一定的帮助和参考。