个推kubernates运维生态个推方壮2019-03-242•管理问题•效率问题•成本问题01个推原生应用的痛点02运维能做的什么03muchmore•部署架构设计•负载均衡(边缘节点配置)•日志处理•监控选型•升级问题•优化问题01个推原生应用的痛点•管理问题•效率问题•成本问题3管理问题41、基础设施管理;故障率、资源使用率等;2、业务模块的管理;技术栈选型、模块数量、系统间调用等3、附加组件;监控组件,日志组件5效率问题6p一个系统发布的过程。成本问题7p人力成本p信息维护成本▪部署列表精细化维护▪运维平台维护▪自动化维护p其他成本▪交付时间▪分布式成本▪应急响应耗时(来电)▪无效率和人为错误02运维能做什么•部署架构设计•负载均衡(边缘节点配置)•日志处理•监控选型89部署架构设计keepalivedorhaproxy10边缘节点选择▪Traefik以DaemonSet的方式或deployment启动;▪通过nodeSelector选择边缘节点▪通过hostPort暴露端口;▪外部流量通过keepalived进入,再通过ClusterIp进入Traefik;▪Traefik根据访问的host和path配置,将流量转发到相应的service上;11Service的短板-AKUBE-SVC-66US2VTYTBVREJQS-mcomment--comment"kube-td/common-tdbase:common-5080"-mstatistic--moderandom--probability0.25000000000-jKUBE-SEP-DIQIATF5W5YKTRGS-AKUBE-SVC-66US2VTYTBVREJQS-mcomment--comment"kube-td/common-tdbase:common-5080"-mstatistic--moderandom--probability0.33332999982-jKUBE-SEP-EWVJMUIFDNH5WGPE-AKUBE-SVC-66US2VTYTBVREJQS-mcomment--comment"kube-td/common-tdbase:common-5080"-mstatistic--moderandom--probability0.50000000000-jKUBE-SEP-ED3A7HSQGDVR3BVA-AKUBE-SVC-66US2VTYTBVREJQS-mcomment--comment"kube-td/common-tdbase:common-5080"-jKUBE-SEP-MWNVE353VJ547QM5No1endpoint:1/4No2endpoint:3/4*1/3=1/4No3endpoint:3/4*2/3*1/2=1/4No4endpoint:3/4*2/3*1/2*1=1/412consul可用服务列表的实现:▪Scriptcheck▪HTTPcheck▪TCPcheck▪TTLcheck三种注册方法:1、静态注册以静态文件形式,直接放在consul.d文件以指定特定的服务。2、HTTPAPI接口动态注册/v1/agent/service/register3、程序实现服务的注册和发现consulclient或consul-api13边缘节点改造▪直接绕过ClusterIp▪Nginx部署至物理机▪NginxVST采集监控数据到prometheus▪Nginx通过consul获取pod健康状态以及IP地址14consul-template渲染模板nginx.ctmp...