海量可观测性时序数据库的分布式查询演进之路演讲人:字节跳动高英举群内每日免费分享5份+最新资料300T网盘资源+40万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长……全面赋能!添加微信,备注“入群”立刻免费领取200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……扫码先加好友,以备不时之需行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料目录1.可观测性TSDB演进路线2.可观测性TSDB整体架构3.可观测性TSDB查询性能稳定性优化经历4.可观测性TSDB的过去、现在、未来可观测性TSDB演进路线-业务场景、数据规模050000100000150000查询QPS查询QPS20212022202302000400060008000打点量百万每秒打点(datapoint)量2021202220231亿+metrics数量可观测性TSDB演进路线(2019~2023)线上服务种类、规模越来越大;性能、稳定性要求越来越高观测服务用途的时序数据写入、查询量数倍增长完全依赖开源技术到大部分能力自研单节点到分布式的存储、查询多架构(OpenTSDB,InfluxDB,Prometheus)走向统一可观测性TSDB整体架构-数据模型&使用姿势cpu_loadmem_usagedisk_iops写入SDK:Golang/Java/C++/Python数据类型:Timer/Counter/Gauge/Histogram查询:实现了绝大部分OpenTSDB查询语法,可通过Grafana、Bosun等接入,亦可用OpenAPI查询数据可观测性TSDB整体架构-整体架构可观测性TSDB整体架构-查询支持跨机房、跨节点的两级Scatter-Gather架构[跨机房][单机房跨节点][单节点内]可观测性TSDB整体架构-查询分布式查询计划(DAGPlan)1.一次查询的逻辑执行计划最终会转换成一个DAG表示的物理执行计划。2.数据分片的IO,聚合计算,RPC请求都是DAG上的一个节点。3.整个DAG被拆分成多个部分(如查询拆分机房、时间分片),调度到多个节点上。调度器根据节点间依赖的拓扑顺序来调度节点保证计算的正确性。可观测性TSDB整体架构-查询性能、稳定性核心3指标QPS峰值ATBLatencyP99LatencyP50报警规则执行110K99.9%1360ms29ms可观测数据开放API27K99.9%1660ms45ms监控看板、大盘0.6K98.2%10000ms230ms图注:(1)ATB=2...