2025-10-17 18:00:17
【导语】中国人民大学副教授塔娜解析大模型奥秘：从预训练、微调技术到GPT系列发展脉络，揭示DeepSeek等国产模型特色优势，同时直面算法偏见、AI幻觉等现实挑战，提出数据多样性提升、伦理审查等解决方案，助您科学认知与批判性使用人工智能。
大家好，我是中国人民大学新(xīn)闻学院的副教授塔娜。我主要研究的方向是传播学与计算科学的交叉学科方向。
大模型为什么可以回答各种问题？
大模型之所以能回答各种问题，核心在于预训练和微调这两个技术步骤。
预训练是通过让模型“阅读”充分多的，各种各样领域文本的语料知识，它能够推理得出文本之间最可能的关联关系。通过大量的训练，它可以帮助我们做很多文本生成任务。从而能够进行文本分类、摘要、翻译、生成等多种任务。“大”在这里指的是模型的规模和复杂性。
具体到模型本身，它是含有数以亿计的参数，大模型的参数越多，这个模型就越强。大模型还可以进行后续的微调。微调就是引入我们人工的辅助，由大模型进行进一步的学习。随后它就可能生成更符合我们人类要求的文本。
什么是GPT
GPT：它是通用预训练转换器的简称，它其实就是OpenAI这个公司，基于通用预训练的基础的技术来生成的。用于我们自然(rán)语(yǔ)言(yán)处(chù)理(lǐ)的(de)一(yī)个(gè)大(dà)的(de)模(mó)型(xíng)。主要(yào)的(de)一(yī)个(gè)特(tè)点(diǎn)
生(shēng)成(chéng)式(shì)（Generative）：通(tōng)过(guò)学(xué)习(xí)大(dà)量(liàng)文本(běn)数(shù)据(jù)的统计规律，生成连贯、自然的文本
预训练（Pre-trained）：在大规模无标注文本上训练，掌握通用语言模式，再通过微调适应(yīng)特(tè)定(dìng)任(rèn)务(wu)
变(biàn)换(huàn)器(qì)（Transformer）：基(jī)于(yú)Transformer架(jià)构(gòu)，利(lì)用(yòng)自(zì)注(zhù)意(yì)力(lì)机(jī)制(zhì)（Self-Attention）高(gāo)效(xiào)处(chù)理(lǐ)长(zhǎng)文本(běn)依(yī)赖(lài)关系(xì)，支(zhī)持(chí)并(bìng)行(xíng)计(jì)算(suàn)
GPT的(de)发(fā)展(zhǎn)：
GPT-1（2018年）：首个基于Transformer的无监督预训练模型，参数1.17亿
GPT-2（2019年）：参数量增至15亿，支持多任务学习
GPT-3（2020年）：1750亿参数，具备零样本/小样本学习能力
GPT-4（2023年）：支持多模态（文本+图像），性能进一步提升
GPT-4o（2024年）：多模态扩展至文本、音频、图像组合输入与输出
关于DeepSeek：
DeepSeek 是一款由中国团队研发的大型语言模型，以其高性能、低成本和对中文的优化处理而著称
核心特点：
高性能与低成本：DeepSeek 采用 专家混合架构（MoE），总参数达 6710 亿，但每个 token 仅激活 370 亿参数，显著降低计(jì)算(suàn)成(chéng)本(běn)，实(shí)现(xiàn)“小(xiǎo)力(lì)出(chū)奇(qí)迹(jī)”的(de)效(xiào)果(guǒ)
中(zhōng)文优(yōu)化(huà)：通(tōng)过(guò) 双(shuāng)通(tōng)道注意力机制和大量中文语料训练，在中文语境下表现优于多数国际开源模型，成语匹配准确率达 89%
开源生态：采用 MIT 协议开源，支持本地部署和定制化开发，适合企业级应用。
维度
DeepSeek
ChatGPT
架构
MoE混合专家，动态激活模块
传统Transformer，全参数参与运算
成本
本地部署成本低
训练成本低
高昂（API调用是D的5-10倍）
中文能力
专优，支持成语和复杂语义
通用性强，
多语言覆盖
实时性
知识截止 2024 年
部分版本支持联网更新
多模态
仅文本（截至 2025 年）
支持图文混合输入
开放性
全系列模型开源，支持二次开发
不开源，提供API
算法偏见是(shì)什(shén)么(me)？
算(suàn)法(fǎ)偏(piān)见(jiàn)指AI因数据或设计问题，产生不公平、歧视性的结果。例如：
比如我们的训练数据里边，男生求职更倾向于某几类专业，女生的求职更倾向于某几类专业。这样就无形之中形成了对性别的职业的歧视。还有一些是社会文化的影响，开发者他可能无意识的会将一些自身的偏见带进去。比如说我们对于这种人脸识别系统，白人的编程员，他可能更多的去选择了白人的人脸进行训练。对于黑人深色肤色人种的人脸的识别，那可能准确率会更低。
那算法偏见它导致的一个后果，在无形之中会加剧社会不平等，数据导致的偏差会导致结果性的偏差，会降低公众对算法的信任。解决的办法。首先就是提高数据的多样性。第二个提高算法的透明度。还有一点，对算法进行(xíng)充(chōng)分(fēn)的(de)伦(lún)理(lǐ)审(shěn)查(chá)，改(gǎi)进(jìn)或(huò)者(zhě)是(shì)减(jiǎn)少(shǎo)算(suàn)法(fǎ)偏(piān)见(jiàn)对(duì)于(yú)现(xiàn)实(shí)社(shè)会(huì)的(de)一(yī)个(gè)影(yǐng)响(xiǎng)。
为(wèi)什(shén)么(me)大(dà)模(mó)型(xíng)会(huì)“一(yī)本(běn)正(zhèng)经(jīng)地(de)胡(hú)说(shuō)八(bā)道(dào)”？
这(zhè)种(zhǒng)现(xiàn)象(xiàng)称(chēng)为(wèi)AI幻(huàn)觉(jué)（Hallucination），这(zhè)个(gè)幻(huàn)觉(jué)可(kě)以(yǐ)分(fēn)成(chéng)几(jǐ)种(zhǒng)，事(shì)实(shí)性(xìng)幻(huàn)觉(jué)：与(yǔ)真(zhēn)实(shí)世(shì)界(jiè)不(bù)符(fú)。还(hái)有(yǒu)一(yī)种(zhǒng)我(wǒ)们(men)叫(jiào)忠(zhōng)实(shí)性(xìng)幻(huàn)觉(jué)，就(jiù)是(shì)模(mó)型(xíng)并(bìng)不(bù)服从用户的指令产生。
产生幻觉的原因：
1.数据缺陷：训练数据包含错误或过时知识（如过时的科学结论）。
2.训练漏洞：模型过度依赖统计规律（如“多伦多”常与“加拿大”共现，误认为它是首都）。
3.推理局限：复杂问题超出模型能力，强行编造答案。
风险：如何批判性使用大模型？
第一个是我们需要有独立的思考能力，不能单向的模型输出什么，我们就接受什么，我们需要自主再行的进行验证。第二个，我们要理解模型，它其实本身它并没有形成真正的对这个世界的认知。它只是尽可能的通过最大化的概率来生成一个最可能的答案。还有一个需要来注意恶意的一些数据的隐私的一些侵犯。这个幻觉问题目前并没有100%的解决，但是会有一些方向。比如说我们可以通过检索增强生成（RAG）、人工审核等减少幻觉。RAG我们简单的理解就是，我手头有一个大模型，同时我还能让它，现场新学知识，收到我们的提问之后，它可以一边基于它的知识库组织答案。一边还可以在互联网上或者是其它的知识库里面进行检索，来得出一个更新知识后的答案。
本文为·创作培育计划扶持作品
作者：人民日报
审核：贾宁 大连东软信息学院 教授
出品：中国科协科普部
监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司
来源: 创作培育计划
MORE
