大数据多租户管理问题 (立项调研）
运营商的数据接入应用都涉及到很多部门，也是非常头疼的问题。
这样如果对于不同的应用/数据使用不同的集群，就涉及到数据共享问题，这肯定是难以接受的，也不符合大数据的架构特点。而使用同一个集群就涉及到应用资源抢占（比如CPU 内存）的问题，每个应用都应该都一个特定的资源比例，比如A应用理论能使用集群80%的资源，B应用重要性比较低使用20%的资源，在实际执行中如何达到这样资源隔离的效果。
另外数据的安全管控是一个问题，希望达到一个多应用、多数据管控公用的集群效果，有什么好的建议？
这样如果对于不同的应用/数据使用不同的集群，就涉及到数据共享问题，这肯定是难以接受的，也不符合大数据的架构特点。而使用同一个集群就涉及到应用资源抢占（比如CPU 内存）的问题，每个应用都应该都一个特定的资源比例，比如A应用理论能使用集群80%的资源，B应用重要性比较低使用20%的资源，在实际执行中如何达到这样资源隔离的效果。
另外数据的安全管控是一个问题，希望达到一个多应用、多数据管控公用的集群效果，有什么好的建议？
15同行回答
运营商的数据接入应用都涉及到很多部门，也是非常头疼的问题。这样如果对于不同的应用/数据使用不同的集群 ...zhangfengyu 发表于 2015-3-9 14:55
就涉及到数据共享问题，这肯定是难以接受的，也不符合大数据的架构特点。而使用同一个集群就涉及到应用资源抢占（比如CPU 内存）的...就涉及到数据共享问题，这肯定是难以接受的，也不符合大数据的架构特点。而使用同一个集群就涉及到应用资源抢占（比如CPU 内存）的问题，每个应用都应该都一个特定的资源比例，比如A应用理论能使用集群80%的资源，B应用重要性比较低使用20%的资源，在实际执行中如何达到这样资源隔离的效果？
A:我想计算资源的管理和控制还是有多种办法的，需要分析确定的需求来选择恰当的方式。比如，同一集群内多个node运行的应用其实是可以不同的，只要应用不冲突，不同的应用也可以同时运行在某些相同node上，而每个node在虚拟化下变为动态的VM，资源也具有动态性和容量自动调整的能力。所以，隔离应该不难实现，动态调整需要分析需求然后细化方案。
另外数据的安全管控是一个问题，希望达到一个多应用、多数据管控公用的集群效果，有什么好的建议？
A:数据管控要根据实际需求来看，关键是哪些应用可能修改数据，避免冲突。对于只读的应用访问相对容易，可以通过设定只读权限，或增加只读副本来增加数据并发访问性能的同时达到数据可靠性和一致性的实现。对于数据修改的需求，一般权限应该集中到某一个应用接口上，避免数据的不一致。当然，这个应用本身可以是并发的，来提高并发性能。
鉴于对需求了解有限，以上仅供参考。收起
浏览2147
浏览2106
有没有现成的方案或者相关资料，修改yarn的源代码有难度哦收起
浏览2141