大数据在微众银行数据管理和应用方面思考和实践日期：2023年03月31日演讲人：微众银行·邹普群内每日免费分享5份+最新资料300T网盘资源+40万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长……全面赋能！添加微信，备注“入群”立刻免费领取200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……扫码先加好友，以备不时之需行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料目录0102030405背景介绍微众银行大数据IT架构实时大数据应用面临的困惑和实践探索离线大数据管理和应用方面探索和实践未来规划背景介绍1.1数据增长趋势Global2018年约33ZB2025年约175ZB内容来源:IDC数据时代2025China2018年约7.6ZB23.4%2025年约8.6ZB27.8%全球数据圈规模(2010-2025)应用潜力大·客户管理·风险控制·智能预测数据质量高·一致性要求高·容错率低下·准确度要求高数据量大·如银行业每100万美元收入实际数据量约820GB·金融交易数据线上化占比日趋增多结构化数据突出·客户数据·交易数据·行为数据1.2金融数据的特点1.3银行大数据技术愿景质量效率成本微众银行大数据IT架构2.1微众银行大数据IT架构关系型数据库非关系型数据库数据文件消息数据交换批量计算交互式计算实时计算复杂计算数据存储HiveonhadoopSparkSqlMapReduceSparkStreamingStormFlink复杂计算CPU复杂计算GPU日志平台工具数据工具应用工具功能平台数据治理数据安全运营管理数据报表数据分析反洗钱用户画像精准营销个性推荐监管报送数据归档存款平台应用贷款平台应用其他应用企同平台应用科管平台应用消金平台应用Tbase/TIDBES文件存储HadoopHDFSHBASE共享存储SparkThriftserverSparkSQLTbase/TiDBHbasePhoenixonHbaseKylin存款平台应用准实时同步APP准实时BINLOGKAFKA集群KAFKA集群统一抽数数据仓库HBAE集群(主)HBAE集群(备)查询系统查询系统分布式联机系统分布式联机系统IDC多活APPBDP2.2核心大数据架构实时大数据·金融系统高可用要求·集群一致性单IDC风险·Gc·合并·热点服务稳定性差·易接入·易运营/维护接入开发繁琐13.1实时查...
