快狗打车数据仓库建设与演进之路演讲人:申琦群内每日免费分享5份+最新资料300T网盘资源+40万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长……全面赋能!添加微信,备注“入群”立刻免费领取200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……扫码先加好友,以备不时之需行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料申琦技术的变革,一定是思想先行数据仓库架构师现就职于快狗打车数据智能部,数据仓库团队负责人、数据仓库架构师。经历过互联网广告平台、电商平台、自营电商等,不同业务主体、不同发展阶段的数据仓库建设,积累有丰富的数据仓库建设实践经验。目录数据仓库数据仓库背景与挑战数据仓库架构数据管理与运营数据仓库建设思考数据仓库背景掌舵业务方向制定业务目标制定业绩目标执行业务动作操作执行层基础管理层决策管理商务克服管理层之间的通信障碍连通管理层次数据仓库背景数据仓库挑战任务增长造成资源挤占、修改上线造成任务报错、逻辑变更导致数据失真数千个数据表选择困难、插入需求频繁打断需求资源大于可用资源、核心任务分配不到资源、任务排布造成资源峰谷有限的资源无限的需求成本挑战数据仓库挑战应对策略01完善数据平台工具,减少人为不稳定因素02分类分级任务治理,提高资源利用率03低效任务自动化处理,聚焦价值能力输出数据仓库架构-应对挑战问题稳定性、效率、成本下的数据管理与运营稳定性保障解决思路尽量不出错误出错及时发现发现快速恢复稳定性保障:上线流程标准化1修改保存3提交5发布4代码评审语法错误检查添加任务依赖配置任务参数配置重试策略新老版本代码对照,高亮不一致部分发布后,可线执行补数据操作刷新线上数据2测试执行逻辑是否正常运行验证数据是否正确与线上1:1测试环境完成稳定性保障:异常快速发现报警接收方值班表、任务责任人、指定接收人报警方式短信、电话、邮件、webhook监控对象任务节点、工作空间、基线、资源组疲劳度控制报警次数报警间隔免打扰时段触发条件完成、未完成、出错、超时监控规则稳定性保障:异常快速恢...