万台集群规模下的Kubernetes实践徐运元杭州谐云科技架构师•大规模下实践Kubernetes需要考虑的问题•多集群管理•DevOps集成•多租户管理•微服务集成•负载均衡•…•Kubernetes平台之外考虑的问题大规模下实践kubernetes需要考虑的问题多集群管理多集群管理多集群的优势•故障隔离•多数据中心管理•环境隔离云平台负责多集群管理，满足了federation的概念功能•注册集群•跨集群同步资源:配置模板•跨集群资源监控管理•多集群状态维护•跨集群部署应用高可用部署同时，为了防止keepalived子进程崩溃，我们编写了keepalived配置检查工具，改进后的keepalived支持多种策略实现Master节点的高可用，适用于不同的业务场景：第一种策略：主节点挂掉以后立即将虚拟IP漂移到备用节点，由备用节点提供服务。当主节点恢复时，虚拟IP重新漂移到主节点，由主节点提供服务；第二种策略：主节点挂了以后尝试拉起挂掉的服务，尝试N次，如果服务拉起失败，则漂移虚拟IP到备用节点，由备用节点提供服务，主节点恢复以后，并不马上漂移虚拟IP，继续由备用节点提供服务。Event集群Scheduler优化-分步长调度……预选条件•NoDiskConflict•PodFitsResources•PodSelectorMatches•PodFitsHost•CheckNodeLabel…•…..优选条件•LeastRequestedPriority•BalancedResourceAllocation•SelectorSpreadPriority•CalculateAntiAffinityPriority•ImageLocalityPriority•NodeAffinityPriority预选优选Kubernetes原生调度机制Scheduler优化-分步长调度预选条件•NoDiskConflict•PodFitsResources•PodSelectorMatches•PodFitsHost•CheckNodeLabel…•…..优选条件•LeastRequestedPriority•BalancedResourceAllocation•SelectorSpreadPriority•CalculateAntiAffinityPriority•ImageLocalityPriority•NodeAffinityPriority……预选优选分步长调度机制多租户管理权限管理•全局角色•数据权限资源隔离•Namespace•Cgroup网络隔离•NetworkPolicy权限管理Kubernetes的RBAC局限性•没有跨集群的权限控制基于Kubernetes的RBAC进行增强•使用KubernetesRBAC进行单个集群的内部权限管理•使用平台RBAC进行全部的权限管理NetworkPolicy隔离NetworkPolicy隔离三种类型的负载均衡策略•集群共享任何租户和项目都可以使用该负载均衡•租户共享只有特定的租户下面的应用才能使用该负载均衡•项目共享只有特定的项目发布的应用才可接入该负载均衡负载均衡方案可覆盖场景：...
