对话系统技术研究Technologyresearchofdialoguesystem2020-05-17brucehanContents目录技术综述01智能问答02闲聊系统04任务驱动0301技术综述对话系统分类自然语言处理技术栈产品对比PART技术栈文本分类信息检索信息抽取阅读理解问答系统多轮交互推荐系统自动摘要语义embedding机器学习机器翻译知识图谱语义相似性计算分词关系抽取词性标注句法分析命名体语言模型神经网络逻辑推理经验规则领域任务支持技术底层原理01语音识别情感计算对话系统集大成!!分类DialogueSessionQAstructureNon-structureIR…IE…DBKGchattaskpipelinee2eQAPairsReadingComprehension分类闲聊型每条路径的分数是路径上每个时间点的分数的累加特点:机器伪装成一个人,和用户进行沟通例如:小冰…任务型特点:万能小超人,帮助用户做具体的事情,订机票、查天气、设置提醒、邮件处理例如:问答型GoogleNow问答型特点:用户主导,一问一答,例如:专家系统,售前售后客服混合型特定:既能闲聊,又能完成任务例如:Siri、Cortana01常用算法&策略01规则模板生成模型信息检索对话框架技术模式匹配,文法解析基于翻译模型,端到端,包括SMT、phrase-basedMT、seq2seq等算法相似度计算(VSM、TF-IDF、page-Rank、NN等排序方法)状态机,流程控制,对话管理等优点简单实用可以生成更加丰富、有意义、特别的对话响应比生成模型简单,可自定义排序算法,灵活方便,业务可定制性强目标明确,框架对话指导意义明显,适用于具体的封闭领域缺点系统越复杂规则也越多,迁移性较差,而且其无法理解人类语言,也无法生成有意义的自然语言对话。比如沉闷的回应、agent没有一个固定的风格、多轮对话等等没有进行语义理解,相似性的度量标准不统一,无法应对自然语言的多变性、语境解构、连贯性等框架设计需要人工成本,且无法迁移到别的领域,并未涉及到人类语言的理解层面。应用意图理解,语义提槽闲聊机器人客服系统,智能问答点餐、订票等任务系统微软小冰01阿里小蜜01SiriCortana(小娜)GoogleNow小冰(微信公众号)贤儿机器僧(微信公众号)科大讯飞灵犀百度度秘AmazonEchoGoogleHomePepper对话系统举例02智能问答结构化知识非结构化知识语义映射PARTIR--baidu结构化知识知识图谱存储:图数据库,例如Neo4j规范:RDF,SPO实体–属性–属性值实体–关系–实体02梁朝伟刘嘉玲演员男《无间道》中国演员女《狄仁杰》中国刘德华歌手、演员男《忘情水》《冰雨》中国《无间道》职...