西北大学学报（自然科学版）２０２３年６月，第５３卷第３期，Ｊｕｎ．，２０２３，Ｖｏｌ．５３，Ｎｏ．３ＪｏｕｒｎａｌｏｆＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■收稿日期：２０２２⁃１１⁃１５基金项目：陕西省自然科学基础研究计划面上项目（２０２２ＪＭ⁃３２４）；陕西省社会科学基金项目（２０２１Ｋ０１４）第一作者：韩泓丞，男，江西抚州人，博士研究生，从事机器学习和医学图像分析研究。通信作者：林玉萍，女，黑龙江勃利人，教授，从事语料库和二语习得研究，ｌｉｎｙｏｕｃｈｅｎ＠ｘｊｔｕ．ｅｄｕ．ｃｎ；岳婕，女，陕西西安人，从事医学图像处理研究，ｊｅｎｎｉｅ－ｙｕｅ＠ｘｊｔｕ．ｅｄｕ．ｃｎ。·医疗与人工智能·面向多模态医学语料库的皮肤镜图像分类韩泓丞１，林玉萍２，郭钦钵１，张栋１，３，许美凤４，朱龙飞４，李小棉２，冯丽丽５，岳婕６（１．西安交通大学人工智能学院，陕西西安７１００４９；２．西安交通大学外国语学院，陕西西安７１００４９；３．西安交通大学自动化科学与工程学院，陕西西安７１００４９；４．西安交通大学第二附属医院皮肤科，陕西西安７１０００４９；５．韩国全北国立大学英语教育学系，韩国全北全州５６０７５９；６．西安交通大学第一附属医院儿科，陕西西安７１００６１）摘要多模态医学语料库是医学研究、临床诊断和教学的重要工具之一。然而，现有的医学语料库大多仅有文本数据，缺乏匹配的直观图像，信息不够充分。而大量医学图像缺少明确的语义标签，导致构建语料库困难。针对上述问题，该文提出一种面向多模态医学语料库的皮肤镜图像分类方法，通过对皮肤镜图像进行精确分类获取语义标签，并结合自然语言处理方法匹配相关文本信息，从而建立图像与文本相结合的多模态语料库。首先，针对传统机器学习图像分类方法对病灶特征提取较弱且易受背景噪声影响，导致病灶分类精度差的问题，该文构建双流网络，通过融合病灶的形状与纹理特征增强病灶特征提取能力。其次，为减少特征融合导致的信息冗余，引入了基于通道注意力机制的特征筛选方法，关注关键特征并抑制噪声影响。此外，针对皮肤镜图像良恶性样本数量不均衡导致的模型优化困难问题，引入非对称损失函数，提升模型对样本不均衡的鲁棒性。在ＩＳＩＣ皮肤镜图像数据集上的实验结果表明...
