贪心科技|让每个人享受个性化教育服务Contents•NLP概述•文本预处理(分词,拼写纠错,停用词过滤,词的标准化)•文本表示(词袋模型,文本相似度计算,词向量,句子向量,语言模型)贪心科技|让每个人享受个性化教育服务WhatisNLP?NLP=NLU+NLG•NLU:语音/文本->语义(meaning)•NLG:语义->文本/语音贪心科技|让每个人享受个性化教育服务TheChallenge:MultipleWaystoExpress(多种表达方式)•贪心科技开设了NLP训练营•贪心科技新出了NLP训练营•新出的NLP训练营是贪心科技出的•......贪心科技|让每个人享受个性化教育服务TheChallenge:Ambiguity(一词多义)•今天参观了苹果公司•现在正好是苹果收获季节贪心科技|让每个人享受个性化教育服务#NLP太难了#@zibuyu9TheChallenge:Multi-modal(多模态)贪心科技|让每个人享受个性化教育服务HowtoSolveAmbiguity?InterestBankLoanInterestConcern,Fascination?PartOwnership?贪心科技|让每个人享受个性化教育服务SolvingAmbiguity:LearningfromDataInterestBankLoanInterestConcern,Fascination?PartOwnership?贪心科技|让每个人享受个性化教育服务SolvingAmbiguity:LearningfromDataafinancialInterestinIBMBankLoanInterestConcern,Fascination?PartOwnership?贪心科技|让每个人享受个性化教育服务NLP的经典应用场景贪心科技|让每个人享受个性化教育服务QuestionAnswering(问答系统)贪心科技|让每个人享受个性化教育服务QuestionAnswering(问答系统)语料库问题答案贪心科技|让每个人享受个性化教育服务SentimentAnalysis(情感分析)贪心科技|让每个人享受个性化教育服务输入语句特征工程模型情感值输入语句深度学习模型情感值SentimentAnalysis(情感分析)贪心科技|让每个人享受个性化教育服务MachineTranslation(机器翻译)贪心科技|让每个人享受个性化教育服务Google机器翻译贪心科技|让每个人享受个性化教育服务TextSummarization(自动摘要)贪心科技|让每个人享受个性化教育服务InformationExtraction(信息抽取)贪心科技|让每个人享受个性化教育服务你好啊不好发生什么事情了么?不想告诉你额…说出来嘛跟女朋友分手了那我做你女朋友吧…..先生您好,有什么需要帮忙的吗?定个机票请问目的地是?上海打算什么时候从哪儿出发呢?15号,从北京出发有个国航的晚上9点,这是目前最划算的,您看可以吗?好,帮我下单吧您好,有什么问题可以帮到您呢?我是做IT的,毕业之后想做AI的工作,但数学基础差,...