本研究报告仅通过邮件提供给中庚基金使用。1行业及产业行业研究/行业点评证券研究报告计算机2023年02月06日ChatGPT/AIGC九问九答看好——AI行业系列点评相关研究"计算机主线会持续吗？AIGCFAQ几大问题！-计算机行业周报20230130-20230203"2023年2月4日"数字经济+chatGPT+港股科技，均预示科技全面机会！-计算机行业周报20230116-20230120"2023年1月29日证券分析师洪依真A0230519060003hongyz@swsresearch.com林起贤A0230519060002linqx@swsresearch.com刘洋A0230513050006liuyang2@swsresearch.com联系人洪依真(8621)23297818×hongyz@swsresearch.com本期投资提示：近期市场对于AIGC/ChatGPT关注较高，投资者常见以下问题。Q：大规模预训练模型（大模型）与小模型的核心区别？相比小模型，大模型有什么优势？首先最核心区别在于参数量，例如GPT-3参数量达到了1,750亿个，是传统深度学习小模型参数量的至少一万倍以上。通过模型的扩大，可以带来提升包括：1）GPT-2等大模型舍弃了小模型中常见的调参过程，转向无监督训练；2）在NLP中常见小模型需要对不同的任务使用不同模型分别训练解决，而GPT-3等大规模预训练模型不再规定任务，而是对不同任务都有较好效果；3）GPT-3先使用海量数据预训练大模型，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。大幅降低后续对数据量的需求。Q：GPT-3等大模型和Transformer的关联？GPT/Bert等大模型都在自然语言领域应用。而Transformer是目前NLP领域效果较好的深度学习模型，因此GPT/Bert等都使用了Transformer。Transformer最大的特点是，可以让每个单元都可以捕捉到整句的信息，这也是RNN/LSTM等更早期NLP模型无法做到的一点。Q：Transformer对于CV机器视觉可以有类似NLP的提升吗？实际上2017年transformer推出之后，2018年就有学者将其应用于CV图像领域，但当时应用效果未发现相比传统CNN等算法有较大提升。但在2021年后，随着swintransformer、mae等论文推出，transformer在CV和跨模态等应用增加。因此国内擅长CV的AI公司，在2022年前对于基于transformer的大模型关注投入较少，但是我们认为随着VIT等效果提升，应用类的CV公司也会开始关注并投入大模型。Q：国内transformer大模型做的怎样？如何看待中美技术差距。首先需要承认这一类大模型底层创新在美国开始。中国在2021年后加速追赶。此前国内大部分视觉类AI公司都以小模型路线为主，投入大模型研发较多的包括百度、华为等...
