天下营销，唯快不破TalkingData营销云技术实践主讲人：姜伟Outlines智能数据时代，不“快”不“行”（3mins）智能数据的实践：营销云（5mins）营销云介绍；营销云开发的挑战；营销云的尝试（27mins）数据组织和规划（5mins）Bitmap计算引擎；（10mins）Lookalike算法；（5mins）基于地理围栏的快速人群预估能力；（5mins）技术指标；（2mins）远景技术规划；（2mins）智能数据时代的来临VolumeVelocityValueVeracityVariety数据数据体量数据多样性数据时效性数据准确性数据价值不“快”不“行”处理服务收集为什么要“快”？什么叫“快”？“快”的代价是什么？智能数据在广告行业的实践-营销云客群构建•上传构建人群•POI构建人群•标签构建人群•Lookalike画像洞察•人口属性•终端属性•地理位置属性•行业指数客群营销•广告投放平台•EDM•SMS•CallCenter效果评估•触达分析•效果监测营销云-挑战数据特征体量大30亿覆盖6.5亿月活2.5亿日活维度多多种设备ID800+标签地理位置时间周期数据的组织和规划Collect-batch-streamIngest-magpiePrepare-labelingserviceAnalyze-samplingservicePublish-seagull-snipeAct-injectingserviceBitmap计算引擎–bitmap数据分片offset01010..01010..10001..10001..00011..11100..00010..00011..01010..10001..01000..11100..01010..10001..00110..00010..11100..200000000400000000600000000800000000100000000012000000001400000000160000000018000000000………200000000001000..00110..11100..HorizontalShardingBitmap计算引擎–架构BitmapProxy（applayerproxy）Round-Robin机制发送请求；RestService（computinglayerproxy）提供基于表达式的bitmap的and，or，xor，count等REST服务接口；BitmapServer（computingengine）提供分布式bitmap计算能力，计算完成时同时将操作结果进行存储；RocksDB（persistencelayer）Key-Value存储系统RestServiceBitmapServerRocksDBRestServiceBitmapServerBitmapProxyRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBBitmap计算引擎–bitmap抽样能力10亿15亿25亿30亿35亿40亿offset数量5亿20亿数据体量庞大，单一维度精度要求相对不高服务场景（例如数据交叉比对）某维度原始数据分布曲线抽样后的数据分布曲线Lookalike算法-指标>10hrs≈10mins<1hr(500LR)BatchLRSparkMLLibLRSparkFastLRSpark≈1hrRandomDecisionTrees≈30minsRand...
