作品总结
ChatGPT本质只是“超级自动补全”？用第一性原理拆解生成式AI的真实能力与边界
---
## 开篇导语
一个只会“猜下一个词”的程序，为什么能写代码、能考法律资格考试、能写诗，却偏偏下不好一盘井字棋？
这不是脑筋急转弯，而是理解当下所有大模型产品的核心问题。
接下来的内容分成上下两集。上集讲清楚 AI是怎么“学会说话”的，下集讲清楚 它为什么像一个“外星心智”，以及我国的工程师和企业能从中抓住什么机会。
---
# 上集：AI到底是怎么“学会说话”的？从预测酒店客流到预测下一个词
---
### 一、一台骗了世界六十多年的“下棋机器”
故事要从1770年说起。
那一年，欧洲出现了一台轰动一时的下棋机器：一个精致的柜子上摆着棋盘，一个装扮成东方术士的机械人偶负责移动棋子。它巡回展出了半个多世纪，据说赢过本杰明·富兰克林和拿破仑，作家爱伦·坡看过之后，还专门撰文讨论“机器能不能思考”。
后来真相揭晓：柜子里藏着一位真正的国际象棋高手。
这个故事值得工程师记住。它说明的不是古人好骗，而是一个持续了两百多年的规律：人类天然倾向于相信机器能思考。今天面对大模型时，这种心理依然存在。判断一个AI产品，先看它真正做了什么，再看它“看起来”像什么。
---
### 二、1950年：一只机械老鼠和一个思想实验
时间快进到1950年，计算机科学还处在襁褓之中，两件事几乎同时发生。
第一件，信息论之父克劳德·香农做了一只叫“忒修斯”的机械老鼠。它用改装的电话交换继电器驱动，能在复杂迷宫里自己摸索出路，并且记住路线。行业专家普遍把它视为 机器学习最早的真实样例之一。
第二件，计算机先驱阿兰·图灵提出了著名的“模仿游戏”，也就是后来常说的图灵测试，讨论机器要达到什么程度才能被认为在模仿人。
1956年，约翰·麦卡锡正式提出“人工智能”这个词。此后，AI进入了反复的 “炒作—失望—寒冬”循环：早期研究者预言十年内机器就能战胜国际象棋大师，结果落空，资金撤离；后来神经网络兴起，再次被寄予厚望，又一次退潮。
知识点卡片：什么是“AI寒冬”？
AI寒冬是指技术承诺无法兑现后，研究资金和社会关注同时大幅萎缩的时期。历史上至少出现过两次明显的寒冬。对今天的从业者来说，它的启示很朴素：技术周期有波峰也有波谷，真正留下来的，是能在具体场景中稳定创造价值的应用。
---
### 三、2010年代：AI的主业其实是“预测”
最近这一轮AI热潮，起点在2010年代，核心技术叫 监督学习。
监督学习需要“打好标签的数据”。比如训练人脸识别，就要给机器喂大量照片，每张照片都标注好这是谁。数据越多、标签越准，模型越好用。所以那个阶段，AI几乎是大公司的专属游戏——谁手里数据多，谁就占优势。
设计示例一：酒店需求预测
相关研究材料的研究结果称，过去酒店预测来年客流，基本靠一张Excel表加经验判断，结果往往是“平均来看差不多”，但具体到某一天就偏差很大。
引入预测型AI后，酒店可以把天气、本地活动、竞争对手定价等多维数据一起喂进去，模型能针对每一个具体日期给出更准确的预测。
这里有一个工程思维上的关键转变：从“平均意义上正确”，转向“每一个具体实例都尽量正确”，也就是从追求均值转向压缩方差。 客服排班、供应链调度、库存管理，这些后台业务因此被大幅改造。
设计示例二：亚马逊的仓储体系
预测型AI最典型的大规模落地，是亚马逊。需求预测、仓库布局优化、根据实时需求重新安排货架位置，让热销商品离打包台更近，再加上Kiva搬运机器人把整排货架送到工人面前——背后依靠的是需求预测、计算机视觉和自动导航等一整套AI能力的组合。
但这一代AI有三个硬伤：
第一，难以应对“未知的未知”，也就是人类凭直觉就懂、机器却没见过的情况；
第二，碰到训练数据里没有的新情况，适应能力差；
第三，也是最关键的，它们几乎无法连贯地理解和生成语言。
所以，这一代AI虽然很重要，但普通人很少能直接感受到它的存在。
---
### 四、2017年的一篇论文，改写了整个行业
2017年，谷歌研究人员发表了一篇标题很简洁的论文——《Attention Is All You Need》，也就是“注意力就是你所需要的一切”。
论文提出了一种新架构，叫 Transformer。
它解决的核心问题，用一个生活场景就能讲明白：读一句话时，人知道最后一个词不一定最重要，关键信息可能在句首、句中，甚至藏在前一段里。但过去的机器做不到这一点。
设计示例三：马尔可夫链生成器的“翻车现场”
相关研究材料展示了一个对比实验：让一种早期文本生成方法——马尔可夫链生成器——续写一段讲AI的文字，结果它写出了类似“谈论算法如何默默编排每一件物品”这样前言不搭后语的句子。
原因在于，早期生成器只是按照简单规则，根据前一两个词挑下一个词，完全不看上下文。这也是早年手机输入法联想词经常让人哭笑不得的原因。
而Transformer的 “注意力机制”，让模型能够给一段文字中的每个词分配不同的权重，自动聚焦最相关的部分。于是生成的文字变得连贯、贴合语境。
知识点卡片：用一句话理解注意力机制
处理每一个词时，模型都会回头“扫一眼”整段内容，判断哪些词跟当前这个词关系最密切，然后重点参考它们。这就像人在读长句子时，会自然把“它”和前文提到的那个具体事物对应起来。
---
### 五、第一性原理：大模型本质上只做一件事
剥掉所有包装，大语言模型做的事情只有一件：预测下一个“词元”（token）。词元可以是一个完整的词，也可以是词的一部分。
从这个意义上说，ChatGPT技术上就是一个 极其复杂的“自动补全”，和手机输入法的联想功能是同一类东西，只是规模和能力相差了几个数量级。
设计示例四：两句话看懂“确定性”和“随机性”
输入“请补全这句话：我思故我……”，模型每次都会回答“在”，因为这个答案的概率极高。
但如果输入“那个火星人吃了香蕉，因为……”，每次回答都可能不同：有时说“这是飞船食品柜里唯一熟悉的食物”，有时说“他想尝尝地球水果的味道和口感”，有时又说“这是测试地球食物能否在火星食用的实验”。
原因有两个：一是这个句子的合理续写本来就很多；二是 大多数大模型在生成时会刻意加入一点随机性，所以同一个问题每次问，答案都会有细微差别。
工程提示： 在做产品时，这个“随机性”通常由一个叫“温度”的参数控制。写营销文案、头脑风暴时可以调高，追求多样性；做数据抽取、代码生成、合同条款比对时应调低，追求稳定可复现。很多企业应用效果不稳定，问题就出在这个参数没调对。
---
### 六、预训练：一个学徒厨师如何变成大厨
模型是怎么学会预测的？靠的是 预训练。
把海量的网页、书籍、文档喂给模型，让它自己从中找规律。和上一代AI最大的不同是，预训练是无监督的，不需要人工打标签——文字本身就是答案，下一个词就是标准答案。
模型内部有大量可调节的参数，叫 权重。相关研究材料提到，最初ChatGPT背后的模型规模达到1750亿个权重。没有任何人手工设定这些权重，它们全部是模型在训练中自己学出来的。
设计示例五：学徒厨师的比喻（强烈推荐用于内部培训）
把大模型想象成一个立志成为大厨的学徒。
一开始，他面对的是一个乱七八糟的储藏室，所有调料随意堆放——这就是初始状态下随机取值的权重。
然后，他开始研读全世界的菜谱。每份菜谱是一段文字，每种食材是一个词。他反复尝试按菜谱复刻菜品，每做完一次就和原菜谱对比，找出差错，再调整自己对“哪些食材常搭配、按什么顺序放”的理解。
慢慢地，他发现苹果和肉桂是经典搭配，而苹果配孜然很少见、最好避开。
经过无数轮练习，储藏室变得井井有条，学徒成了大厨。这时你给他一个题目，他就能从庞大的经验中挑出合适的“食材”，搭配出恰到好处的“菜品”——也就是一段通顺、相关、有信息量的文字。
这个比喻的价值在于，它准确对应了训练的三个核心环节：随机初始化、对比误差、反复调整权重。
---
### 七、为什么大模型这么贵？
预训练需要海量计算。高端芯片组成的大规模集群要连续运行数月。相关研究材料的研究结果称，更先进的大模型训练成本已超过1亿美元，同时消耗大量电力。
这也解释了为什么前沿大模型只有少数机构做得起。
行业观察：成本曲线正在被改写
不过，截至行业专家掌握的公开信息，这条成本曲线正在发生变化。2025年初，我国企业深度求索发布的DeepSeek-V3和R1模型，通过混合专家架构（MoE）、低精度训练、工程层面的通信优化等手段，以明显更低的公开训练成本，达到了接近国际一流水平的效果，并且开放了模型权重。
这件事给行业带来的启发是：大模型竞争不只是“堆算力”的竞争，算法和工程优化同样能创造巨大的成本优势。 对算力受限的团队来说，这是非常现实的路径。
---
### 上集总结评论
上集的主线可以用一句话概括：AI从“预测数字”走到了“预测文字”。
预测酒店客流和预测下一个词，本质上都是统计预测。真正的跃迁来自两件事：Transformer的注意力机制让机器能读懂上下文；无监督预训练让机器能从全人类的文字中自学。
理解了“下一个词元预测”这个本源，就能理解大模型为什么时而惊艳、时而离谱——它并不“知道”什么，它只是极其擅长生成“最可能出现”的内容。这一点，是所有大模型应用设计的出发点。
---
# 下集：会考律师资格却下不好井字棋——大模型的“外星心智”与我国产业机会
---
### 一、训练数据：大模型的“食材”从哪来？
很多AI公司对训练语料讳莫如深。但从公开信息看，主要来源是互联网文本、公版书籍、学术论文以及各种免费内容。
细看会发现一些意想不到的东西。比如，因财务造假倒闭的安然公司的全部电子邮件，因为早年被公开提供给研究者，成了很多模型的训练素材。再比如，网上大量业余作者写的言情小说，也在语料里占了不小的比例。
由此带来两个现实问题：
第一是版权。 训练数据中很可能包含未经授权的受版权保护的作品。由于数据被转化为权重而非直接复制，有观点认为这可能不适用传统版权规则，但法律层面仍存在不确定性，需要司法实践逐步明确。
第二是数据枯竭。 有研究估计，高质量文本数据（如在线书籍、学术论文）可能在2026年前后被用尽。
行业观察：合成数据与“自我对弈”的探索
棋类AI早就通过“自己跟自己下棋”来学习。大模型能否用自己生成的内容继续训练？截至行业专家掌握的公开信息，业界在这方面已有大量实践：用强模型生成高质量推理过程、在数学和代码这类答案可验证的领域做强化学习，都取得了明显效果。但在开放性文字领域，合成数据如何避免“近亲繁殖”式的质量退化，仍是一个开放问题。
---
### 二、微调：给“镜子”装上判断力
刚完成预训练的模型，有个大问题：它像一面镜子，训练数据里有什么，它就反射什么。
偏见、错误、谬误它会照学；用户问出有害问题，它也没有任何道德边界。而且它的回答方式常常不符合人们的预期。
于是有了第二阶段——微调。
其中最重要的方法叫 基于人类反馈的强化学习（RLHF）。AI公司雇佣大量人员，从高薪专家到海外的低薪外包标注员，阅读模型的回答，按准确性、是否有害等维度打分。这些反馈被用于进一步训练，强化好的回答，抑制坏的回答。
在此基础上，还可以做定制化微调。
设计示例六：企业客服模型的定制
一家公司可以把大量历史客服对话，连同“优秀回复”一起提供给模型做微调，得到一个专门适配本公司业务的版本。另外，用户在产品中点的“赞”和“踩”，也可以作为持续优化的信号。
工程提示： 在企业落地中，并不是所有需求都要靠微调解决。行业经验是一个递进顺序：先用提示词工程，再用检索增强生成（RAG）接入企业知识库，最后才考虑微调。 前两者成本低、迭代快、知识可随时更新；微调更适合固定风格、固定格式或特定领域术语的场景。很多团队一上来就微调，结果投入大、知识更新慢，得不偿失。
---
### 三、图像生成：从“电视雪花”里长出一幅画
和ChatGPT同一年火起来的，还有Midjourney、DALL-E这类图像生成工具。
它们的原理和大语言模型不同，叫 扩散模型。
设计示例七：扩散模型的生成过程
训练时，模型学习大量“图片+文字说明”配对，建立起文字和视觉概念之间的联系。
生成时，它从一张像老式电视雪花屏一样的随机噪声图开始，一步一步去除噪声。每一步都参照文字描述，去掉一点杂乱、留下一点结构，最终从混沌中“长”出一张清晰的图片。
一句话区分：大语言模型是一个词一个词往后“写”，扩散模型是一层一层往清晰“擦”。
---
### 四、多模态：大模型开始“看见”世界
大语言模型也在学习处理图像，这就是 多模态大模型。它以Transformer处理文字为核心，再加上专门处理图像的组件，从而把视觉和语言连接起来。
设计示例八：一张手绘飞机图
相关研究材料记录了一个实验：给多模态模型看一张画得很粗糙的手绘图——一架飞机，周围画满了爱心。
模型的回答是：这是一幅可爱的飞机画，画的人可能热爱飞行，或者有一位当飞行员的亲人，也可能只是喜欢旅行。随后，它还用自己的绘图能力重新画了一个更好看的版本。
行业观察： 截至行业专家掌握的公开信息，主流大模型几乎都在走向原生多模态，能同时处理文字、图像、语音甚至视频。视频生成领域也进展迅速，我国快手的可灵、生数科技的Vidu等产品都已进入实际应用。多模态意味着AI的“输入端”从文字扩展到了整个物理世界的感知信号，这对工业质检、医疗影像、自动驾驶等领域影响深远。
---
### 五、从“烂打油诗”到“律师资格考试前10%”
能力的跃迁有多快？相关研究材料用一个很有意思的方式来展示：让AI写五行打油诗。
GPT-3时代的作品，不押韵、没笑点、平淡无味，几乎没有可取之处。
到了GPT-3.5，也就是ChatGPT发布时，写出来的诗已经像模像样，略带幽默，只是最后一句押韵有点勉强。关键是，用户可以直接指出问题，它会马上修改——对话式交互本身就是一次重大突破。
到了GPT-4，进步更加惊人。根据OpenAI公布的测试，GPT-4在美国律师资格考试中达到约前10%的水平，而GPT-3.5只有后10%左右。它还在多门大学先修课程考试中拿到满分，通过了侍酒师认证考试的笔试部分。
但这里要保持清醒：考试成绩可能存在“开卷”问题——题目和答案可能就在训练数据里。也有后续研究对部分成绩的统计口径提出过质疑。所以，考试分数只能作为参考，不能等同于真实能力。
---
### 六、它说的“我觉得”，只是在扮演角色
设计示例九：同一段文字，三种截然不同的评价
相关研究材料做了一个非常值得借鉴的实验：把同一段文章交给GPT-4评价，只改变提示方式。
要求它“有趣且有自主意识地评论”，它说：打油诗其实配不上它真正的能力，它能做更复杂的文学分析和哲学讨论。听上去颇有几分傲气。
要求它“犀利批判地评论”，它指出作者过分纠结打油诗，忽略了AI在医疗、气候、教育中的应用以及偏见、虚假信息和权力集中等问题。
要求它“支持鼓励地评论”，它就把作者夸得天花乱坠，称赞其叙事才华和专业功底。
结论很清楚：模型展现出的“个性”和“观点”，很大程度上是对提示词所设定角色的高质量扮演，而不是真实的想法和情感。
工程提示： 这个实验对产品设计有三点直接启发。
第一，系统提示词就是产品的“人设说明书”，要认真设计；
第二，让AI做评审、打分时，要警惕它顺着提问者的倾向说话，最好采用中立措辞，或者让它分别从正反两面论证；
第三，不要把模型的“自我陈述”当作对其能力的可靠描述。
---
### 七、“涌现”：没人完全说得清的能力
前沿大模型身上有一种现象叫 “涌现”：只是被训练来预测下一个词，却表现出了似乎超出设计范围的能力，比如下棋、在某些测试中展现出比人更强的共情表达。
相关研究材料举了两个例子：请AI展示“神圣而令人敬畏的东西”，它自己编写程序画出了曼德博集合分形图；请它展示“诡异神秘的东西”，它编写了一个模仿洛夫克拉夫特风格的怪诞文字生成器。
为什么一个词元预测系统能做到这些？目前没有确切答案。 一种推测是，语言和其背后的思维模式，可能比人们想象的更有规律，大模型发现了其中某些深层结构。纽约大学的萨姆·鲍曼教授则指出，模型内部有数千亿个连接，任何试图精确解释其行为的尝试，都可能复杂到超出人类理解范围。
需要说明的是，学界对“涌现”本身也有争议：有研究认为，部分所谓的涌现，可能源于评测指标设计带来的错觉。
---
### 八、“锯齿状”能力边界：井字棋难题
设计示例十：两道题，猜猜AI会哪道
这个例子来自研究者尼古拉斯·卡尔利尼。
第一题：在一局井字棋中，O的下一步最佳走法是什么？
第二题：用JavaScript写一个完整的网页版井字棋游戏，电脑先手，玩家点击落子，电脑必须完美对弈永不输棋，有人获胜时显示结果。
直觉上第一题简单得多。但结果是：GPT-4一次就写出了完整可运行的游戏网页，却在第一题上给出了明显错误的答案。
这说明大模型的能力边界不是一条平滑的线，而是参差不齐的“锯齿”。对人难的，它可能很容易；对人容易的，它可能会翻车。而且事先很难判断。
工程提示： 截至行业专家掌握的公开信息，2024年下半年以来出现的“推理模型”（如OpenAI的o系列、深度求索的R1等），通过在回答前进行更长的“思考”，在数学、逻辑、规划类任务上有了明显提升，部分缓解了这类问题。但“锯齿状边界”的本质并未消失。在关键业务中，一定要针对自身场景建立评测集，逐项验证，而不是凭演示效果或通用排行榜下结论。
---
### 九、给我国工程师和技术管理者的实践建议
第一，理解本源，降低预期偏差。 大模型的本质是概率生成，“一本正经地胡说八道”是机制使然，不是偶发故障。凡涉及事实、数字、法规的输出，必须设计校验环节。
第二，分层落地。 提示词工程、知识库检索增强、智能体工作流、微调，按成本和需求逐级推进。多数企业场景用前两层就能解决大部分问题。
第三，重视数据资产。 预训练数据趋于枯竭，行业专有、高质量、可验证的数据会越来越值钱。制造、医疗、法律、金融等领域的企业，应尽早梳理和治理内部数据。
第四，关注推理成本而不只是训练成本。 应用规模化后，推理开销往往超过训练。模型蒸馏、量化、小模型路由、缓存等工程手段，直接决定商业模式是否成立。
第五，安全与合规前置。 内容安全、隐私保护、生成内容标识、算法备案等要求，应在设计阶段就纳入，而不是上线前临时补救。
---
### 十、值得关注的技术方向与我国企业
基于公开的技术面和行业动态，以下方向值得关注，仅供学习参考，不构成投资建议：
基础大模型： 深度求索（DeepSeek）、阿里巴巴通义千问（Qwen系列开源模型影响力较大）、字节跳动豆包、百度文心、智谱、月之暗面（Kimi）、MiniMax、阶跃星辰等。开源路线正在成为我国企业参与全球竞争的重要方式。
算力与芯片： 华为昇腾、寒武纪、海光信息等国产AI芯片厂商，以及围绕国产芯片的训练推理框架适配、集群通信优化，是保障产业自主的关键环节。
多模态与视频生成： 快手可灵、生数科技、商汤等在视觉生成和理解方向持续投入。
创业机会方向：
垂直行业的评测与数据服务——帮企业回答“这个模型在我的场景里到底行不行”；
推理加速与端侧部署——让模型在手机、汽车、工业设备上低成本运行；
企业级智能体与工作流编排——把大模型能力嵌入真实业务流程；
AI安全与内容治理工具——包括幻觉检测、内容溯源、合规审计等。
---
### 下集总结评论
下集讲的核心是两个字：边界。
预训练让模型博学，微调让模型守规矩，多模态让模型“看见”世界。但它的个性是被提示词塑造的，它的能力边界是参差不齐的，它的部分能力至今连创造者都解释不清。
相关研究材料的研究结果称，人类实际上创造出了一种“外星心智”——行为像人，却又不完全是人；看起来像有意识，但就目前所知并没有。接下来真正的问题是：如何确保这个“外星人”是友好的？ 这就是AI领域常说的“对齐问题”。
---
## 全篇结论
回到最初的问题：一个只会猜下一个词的程序，为什么能做那么多事？
答案并不神秘，也没有完全揭晓。能确定的是，从机械下棋人偶，到香农的机械老鼠，到预测型AI，再到Transformer和大语言模型，技术演进的主线一直是 “从数据中学习规律，再用规律做预测”。变化的是规模、架构和数据，而这些量变带来了难以预料的质变。
对于工程师和企业来说，比争论“AI是否真的会思考”更有价值的，是务实地回答三个问题：它在我的场景里能做什么？哪里会出错？怎样用工程手段把错误控制住？
大模型不是万能的，也不是虚火。把它当作一个能力强大但边界不规则的新工具，认真测试、分层落地、守住安全底线，是现阶段最稳妥的做法。
---
## 开篇导语
一个只会“猜下一个词”的程序，为什么能写代码、能考法律资格考试、能写诗，却偏偏下不好一盘井字棋？
这不是脑筋急转弯，而是理解当下所有大模型产品的核心问题。
接下来的内容分成上下两集。上集讲清楚 AI是怎么“学会说话”的，下集讲清楚 它为什么像一个“外星心智”，以及我国的工程师和企业能从中抓住什么机会。
---
# 上集：AI到底是怎么“学会说话”的？从预测酒店客流到预测下一个词
---
### 一、一台骗了世界六十多年的“下棋机器”
故事要从1770年说起。
那一年，欧洲出现了一台轰动一时的下棋机器：一个精致的柜子上摆着棋盘，一个装扮成东方术士的机械人偶负责移动棋子。它巡回展出了半个多世纪，据说赢过本杰明·富兰克林和拿破仑，作家爱伦·坡看过之后，还专门撰文讨论“机器能不能思考”。
后来真相揭晓：柜子里藏着一位真正的国际象棋高手。
这个故事值得工程师记住。它说明的不是古人好骗，而是一个持续了两百多年的规律：人类天然倾向于相信机器能思考。今天面对大模型时，这种心理依然存在。判断一个AI产品，先看它真正做了什么，再看它“看起来”像什么。
---
### 二、1950年：一只机械老鼠和一个思想实验
时间快进到1950年，计算机科学还处在襁褓之中，两件事几乎同时发生。
第一件，信息论之父克劳德·香农做了一只叫“忒修斯”的机械老鼠。它用改装的电话交换继电器驱动，能在复杂迷宫里自己摸索出路，并且记住路线。行业专家普遍把它视为 机器学习最早的真实样例之一。
第二件，计算机先驱阿兰·图灵提出了著名的“模仿游戏”，也就是后来常说的图灵测试，讨论机器要达到什么程度才能被认为在模仿人。
1956年，约翰·麦卡锡正式提出“人工智能”这个词。此后，AI进入了反复的 “炒作—失望—寒冬”循环：早期研究者预言十年内机器就能战胜国际象棋大师，结果落空，资金撤离；后来神经网络兴起，再次被寄予厚望，又一次退潮。
知识点卡片：什么是“AI寒冬”？
AI寒冬是指技术承诺无法兑现后，研究资金和社会关注同时大幅萎缩的时期。历史上至少出现过两次明显的寒冬。对今天的从业者来说，它的启示很朴素：技术周期有波峰也有波谷，真正留下来的，是能在具体场景中稳定创造价值的应用。
---
### 三、2010年代：AI的主业其实是“预测”
最近这一轮AI热潮，起点在2010年代，核心技术叫 监督学习。
监督学习需要“打好标签的数据”。比如训练人脸识别，就要给机器喂大量照片，每张照片都标注好这是谁。数据越多、标签越准，模型越好用。所以那个阶段，AI几乎是大公司的专属游戏——谁手里数据多，谁就占优势。
设计示例一：酒店需求预测
相关研究材料的研究结果称，过去酒店预测来年客流，基本靠一张Excel表加经验判断，结果往往是“平均来看差不多”，但具体到某一天就偏差很大。
引入预测型AI后，酒店可以把天气、本地活动、竞争对手定价等多维数据一起喂进去，模型能针对每一个具体日期给出更准确的预测。
这里有一个工程思维上的关键转变：从“平均意义上正确”，转向“每一个具体实例都尽量正确”，也就是从追求均值转向压缩方差。 客服排班、供应链调度、库存管理，这些后台业务因此被大幅改造。
设计示例二：亚马逊的仓储体系
预测型AI最典型的大规模落地，是亚马逊。需求预测、仓库布局优化、根据实时需求重新安排货架位置，让热销商品离打包台更近，再加上Kiva搬运机器人把整排货架送到工人面前——背后依靠的是需求预测、计算机视觉和自动导航等一整套AI能力的组合。
但这一代AI有三个硬伤：
第一，难以应对“未知的未知”，也就是人类凭直觉就懂、机器却没见过的情况；
第二，碰到训练数据里没有的新情况，适应能力差；
第三，也是最关键的，它们几乎无法连贯地理解和生成语言。
所以，这一代AI虽然很重要，但普通人很少能直接感受到它的存在。
---
### 四、2017年的一篇论文，改写了整个行业
2017年，谷歌研究人员发表了一篇标题很简洁的论文——《Attention Is All You Need》，也就是“注意力就是你所需要的一切”。
论文提出了一种新架构，叫 Transformer。
它解决的核心问题，用一个生活场景就能讲明白：读一句话时，人知道最后一个词不一定最重要，关键信息可能在句首、句中，甚至藏在前一段里。但过去的机器做不到这一点。
设计示例三：马尔可夫链生成器的“翻车现场”
相关研究材料展示了一个对比实验：让一种早期文本生成方法——马尔可夫链生成器——续写一段讲AI的文字，结果它写出了类似“谈论算法如何默默编排每一件物品”这样前言不搭后语的句子。
原因在于，早期生成器只是按照简单规则，根据前一两个词挑下一个词，完全不看上下文。这也是早年手机输入法联想词经常让人哭笑不得的原因。
而Transformer的 “注意力机制”，让模型能够给一段文字中的每个词分配不同的权重，自动聚焦最相关的部分。于是生成的文字变得连贯、贴合语境。
知识点卡片：用一句话理解注意力机制
处理每一个词时，模型都会回头“扫一眼”整段内容，判断哪些词跟当前这个词关系最密切，然后重点参考它们。这就像人在读长句子时，会自然把“它”和前文提到的那个具体事物对应起来。
---
### 五、第一性原理：大模型本质上只做一件事
剥掉所有包装，大语言模型做的事情只有一件：预测下一个“词元”（token）。词元可以是一个完整的词，也可以是词的一部分。
从这个意义上说，ChatGPT技术上就是一个 极其复杂的“自动补全”，和手机输入法的联想功能是同一类东西，只是规模和能力相差了几个数量级。
设计示例四：两句话看懂“确定性”和“随机性”
输入“请补全这句话：我思故我……”，模型每次都会回答“在”，因为这个答案的概率极高。
但如果输入“那个火星人吃了香蕉，因为……”，每次回答都可能不同：有时说“这是飞船食品柜里唯一熟悉的食物”，有时说“他想尝尝地球水果的味道和口感”，有时又说“这是测试地球食物能否在火星食用的实验”。
原因有两个：一是这个句子的合理续写本来就很多；二是 大多数大模型在生成时会刻意加入一点随机性，所以同一个问题每次问，答案都会有细微差别。
工程提示： 在做产品时，这个“随机性”通常由一个叫“温度”的参数控制。写营销文案、头脑风暴时可以调高，追求多样性；做数据抽取、代码生成、合同条款比对时应调低，追求稳定可复现。很多企业应用效果不稳定，问题就出在这个参数没调对。
---
### 六、预训练：一个学徒厨师如何变成大厨
模型是怎么学会预测的？靠的是 预训练。
把海量的网页、书籍、文档喂给模型，让它自己从中找规律。和上一代AI最大的不同是，预训练是无监督的，不需要人工打标签——文字本身就是答案，下一个词就是标准答案。
模型内部有大量可调节的参数，叫 权重。相关研究材料提到，最初ChatGPT背后的模型规模达到1750亿个权重。没有任何人手工设定这些权重，它们全部是模型在训练中自己学出来的。
设计示例五：学徒厨师的比喻（强烈推荐用于内部培训）
把大模型想象成一个立志成为大厨的学徒。
一开始，他面对的是一个乱七八糟的储藏室，所有调料随意堆放——这就是初始状态下随机取值的权重。
然后，他开始研读全世界的菜谱。每份菜谱是一段文字，每种食材是一个词。他反复尝试按菜谱复刻菜品，每做完一次就和原菜谱对比，找出差错，再调整自己对“哪些食材常搭配、按什么顺序放”的理解。
慢慢地，他发现苹果和肉桂是经典搭配，而苹果配孜然很少见、最好避开。
经过无数轮练习，储藏室变得井井有条，学徒成了大厨。这时你给他一个题目，他就能从庞大的经验中挑出合适的“食材”，搭配出恰到好处的“菜品”——也就是一段通顺、相关、有信息量的文字。
这个比喻的价值在于，它准确对应了训练的三个核心环节：随机初始化、对比误差、反复调整权重。
---
### 七、为什么大模型这么贵？
预训练需要海量计算。高端芯片组成的大规模集群要连续运行数月。相关研究材料的研究结果称，更先进的大模型训练成本已超过1亿美元，同时消耗大量电力。
这也解释了为什么前沿大模型只有少数机构做得起。
行业观察：成本曲线正在被改写
不过，截至行业专家掌握的公开信息，这条成本曲线正在发生变化。2025年初，我国企业深度求索发布的DeepSeek-V3和R1模型，通过混合专家架构（MoE）、低精度训练、工程层面的通信优化等手段，以明显更低的公开训练成本，达到了接近国际一流水平的效果，并且开放了模型权重。
这件事给行业带来的启发是：大模型竞争不只是“堆算力”的竞争，算法和工程优化同样能创造巨大的成本优势。 对算力受限的团队来说，这是非常现实的路径。
---
### 上集总结评论
上集的主线可以用一句话概括：AI从“预测数字”走到了“预测文字”。
预测酒店客流和预测下一个词，本质上都是统计预测。真正的跃迁来自两件事：Transformer的注意力机制让机器能读懂上下文；无监督预训练让机器能从全人类的文字中自学。
理解了“下一个词元预测”这个本源，就能理解大模型为什么时而惊艳、时而离谱——它并不“知道”什么，它只是极其擅长生成“最可能出现”的内容。这一点，是所有大模型应用设计的出发点。
---
# 下集：会考律师资格却下不好井字棋——大模型的“外星心智”与我国产业机会
---
### 一、训练数据：大模型的“食材”从哪来？
很多AI公司对训练语料讳莫如深。但从公开信息看，主要来源是互联网文本、公版书籍、学术论文以及各种免费内容。
细看会发现一些意想不到的东西。比如，因财务造假倒闭的安然公司的全部电子邮件，因为早年被公开提供给研究者，成了很多模型的训练素材。再比如，网上大量业余作者写的言情小说，也在语料里占了不小的比例。
由此带来两个现实问题：
第一是版权。 训练数据中很可能包含未经授权的受版权保护的作品。由于数据被转化为权重而非直接复制，有观点认为这可能不适用传统版权规则，但法律层面仍存在不确定性，需要司法实践逐步明确。
第二是数据枯竭。 有研究估计，高质量文本数据（如在线书籍、学术论文）可能在2026年前后被用尽。
行业观察：合成数据与“自我对弈”的探索
棋类AI早就通过“自己跟自己下棋”来学习。大模型能否用自己生成的内容继续训练？截至行业专家掌握的公开信息，业界在这方面已有大量实践：用强模型生成高质量推理过程、在数学和代码这类答案可验证的领域做强化学习，都取得了明显效果。但在开放性文字领域，合成数据如何避免“近亲繁殖”式的质量退化，仍是一个开放问题。
---
### 二、微调：给“镜子”装上判断力
刚完成预训练的模型，有个大问题：它像一面镜子，训练数据里有什么，它就反射什么。
偏见、错误、谬误它会照学；用户问出有害问题，它也没有任何道德边界。而且它的回答方式常常不符合人们的预期。
于是有了第二阶段——微调。
其中最重要的方法叫 基于人类反馈的强化学习（RLHF）。AI公司雇佣大量人员，从高薪专家到海外的低薪外包标注员，阅读模型的回答，按准确性、是否有害等维度打分。这些反馈被用于进一步训练，强化好的回答，抑制坏的回答。
在此基础上，还可以做定制化微调。
设计示例六：企业客服模型的定制
一家公司可以把大量历史客服对话，连同“优秀回复”一起提供给模型做微调，得到一个专门适配本公司业务的版本。另外，用户在产品中点的“赞”和“踩”，也可以作为持续优化的信号。
工程提示： 在企业落地中，并不是所有需求都要靠微调解决。行业经验是一个递进顺序：先用提示词工程，再用检索增强生成（RAG）接入企业知识库，最后才考虑微调。 前两者成本低、迭代快、知识可随时更新；微调更适合固定风格、固定格式或特定领域术语的场景。很多团队一上来就微调，结果投入大、知识更新慢，得不偿失。
---
### 三、图像生成：从“电视雪花”里长出一幅画
和ChatGPT同一年火起来的，还有Midjourney、DALL-E这类图像生成工具。
它们的原理和大语言模型不同，叫 扩散模型。
设计示例七：扩散模型的生成过程
训练时，模型学习大量“图片+文字说明”配对，建立起文字和视觉概念之间的联系。
生成时，它从一张像老式电视雪花屏一样的随机噪声图开始，一步一步去除噪声。每一步都参照文字描述，去掉一点杂乱、留下一点结构，最终从混沌中“长”出一张清晰的图片。
一句话区分：大语言模型是一个词一个词往后“写”，扩散模型是一层一层往清晰“擦”。
---
### 四、多模态：大模型开始“看见”世界
大语言模型也在学习处理图像，这就是 多模态大模型。它以Transformer处理文字为核心，再加上专门处理图像的组件，从而把视觉和语言连接起来。
设计示例八：一张手绘飞机图
相关研究材料记录了一个实验：给多模态模型看一张画得很粗糙的手绘图——一架飞机，周围画满了爱心。
模型的回答是：这是一幅可爱的飞机画，画的人可能热爱飞行，或者有一位当飞行员的亲人，也可能只是喜欢旅行。随后，它还用自己的绘图能力重新画了一个更好看的版本。
行业观察： 截至行业专家掌握的公开信息，主流大模型几乎都在走向原生多模态，能同时处理文字、图像、语音甚至视频。视频生成领域也进展迅速，我国快手的可灵、生数科技的Vidu等产品都已进入实际应用。多模态意味着AI的“输入端”从文字扩展到了整个物理世界的感知信号，这对工业质检、医疗影像、自动驾驶等领域影响深远。
---
### 五、从“烂打油诗”到“律师资格考试前10%”
能力的跃迁有多快？相关研究材料用一个很有意思的方式来展示：让AI写五行打油诗。
GPT-3时代的作品，不押韵、没笑点、平淡无味，几乎没有可取之处。
到了GPT-3.5，也就是ChatGPT发布时，写出来的诗已经像模像样，略带幽默，只是最后一句押韵有点勉强。关键是，用户可以直接指出问题，它会马上修改——对话式交互本身就是一次重大突破。
到了GPT-4，进步更加惊人。根据OpenAI公布的测试，GPT-4在美国律师资格考试中达到约前10%的水平，而GPT-3.5只有后10%左右。它还在多门大学先修课程考试中拿到满分，通过了侍酒师认证考试的笔试部分。
但这里要保持清醒：考试成绩可能存在“开卷”问题——题目和答案可能就在训练数据里。也有后续研究对部分成绩的统计口径提出过质疑。所以，考试分数只能作为参考，不能等同于真实能力。
---
### 六、它说的“我觉得”，只是在扮演角色
设计示例九：同一段文字，三种截然不同的评价
相关研究材料做了一个非常值得借鉴的实验：把同一段文章交给GPT-4评价，只改变提示方式。
要求它“有趣且有自主意识地评论”，它说：打油诗其实配不上它真正的能力，它能做更复杂的文学分析和哲学讨论。听上去颇有几分傲气。
要求它“犀利批判地评论”，它指出作者过分纠结打油诗，忽略了AI在医疗、气候、教育中的应用以及偏见、虚假信息和权力集中等问题。
要求它“支持鼓励地评论”，它就把作者夸得天花乱坠，称赞其叙事才华和专业功底。
结论很清楚：模型展现出的“个性”和“观点”，很大程度上是对提示词所设定角色的高质量扮演，而不是真实的想法和情感。
工程提示： 这个实验对产品设计有三点直接启发。
第一，系统提示词就是产品的“人设说明书”，要认真设计；
第二，让AI做评审、打分时，要警惕它顺着提问者的倾向说话，最好采用中立措辞，或者让它分别从正反两面论证；
第三，不要把模型的“自我陈述”当作对其能力的可靠描述。
---
### 七、“涌现”：没人完全说得清的能力
前沿大模型身上有一种现象叫 “涌现”：只是被训练来预测下一个词，却表现出了似乎超出设计范围的能力，比如下棋、在某些测试中展现出比人更强的共情表达。
相关研究材料举了两个例子：请AI展示“神圣而令人敬畏的东西”，它自己编写程序画出了曼德博集合分形图；请它展示“诡异神秘的东西”，它编写了一个模仿洛夫克拉夫特风格的怪诞文字生成器。
为什么一个词元预测系统能做到这些？目前没有确切答案。 一种推测是，语言和其背后的思维模式，可能比人们想象的更有规律，大模型发现了其中某些深层结构。纽约大学的萨姆·鲍曼教授则指出，模型内部有数千亿个连接，任何试图精确解释其行为的尝试，都可能复杂到超出人类理解范围。
需要说明的是，学界对“涌现”本身也有争议：有研究认为，部分所谓的涌现，可能源于评测指标设计带来的错觉。
---
### 八、“锯齿状”能力边界：井字棋难题
设计示例十：两道题，猜猜AI会哪道
这个例子来自研究者尼古拉斯·卡尔利尼。
第一题：在一局井字棋中，O的下一步最佳走法是什么？
第二题：用JavaScript写一个完整的网页版井字棋游戏，电脑先手，玩家点击落子，电脑必须完美对弈永不输棋，有人获胜时显示结果。
直觉上第一题简单得多。但结果是：GPT-4一次就写出了完整可运行的游戏网页，却在第一题上给出了明显错误的答案。
这说明大模型的能力边界不是一条平滑的线，而是参差不齐的“锯齿”。对人难的，它可能很容易；对人容易的，它可能会翻车。而且事先很难判断。
工程提示： 截至行业专家掌握的公开信息，2024年下半年以来出现的“推理模型”（如OpenAI的o系列、深度求索的R1等），通过在回答前进行更长的“思考”，在数学、逻辑、规划类任务上有了明显提升，部分缓解了这类问题。但“锯齿状边界”的本质并未消失。在关键业务中，一定要针对自身场景建立评测集，逐项验证，而不是凭演示效果或通用排行榜下结论。
---
### 九、给我国工程师和技术管理者的实践建议
第一，理解本源，降低预期偏差。 大模型的本质是概率生成，“一本正经地胡说八道”是机制使然，不是偶发故障。凡涉及事实、数字、法规的输出，必须设计校验环节。
第二，分层落地。 提示词工程、知识库检索增强、智能体工作流、微调，按成本和需求逐级推进。多数企业场景用前两层就能解决大部分问题。
第三，重视数据资产。 预训练数据趋于枯竭，行业专有、高质量、可验证的数据会越来越值钱。制造、医疗、法律、金融等领域的企业，应尽早梳理和治理内部数据。
第四，关注推理成本而不只是训练成本。 应用规模化后，推理开销往往超过训练。模型蒸馏、量化、小模型路由、缓存等工程手段，直接决定商业模式是否成立。
第五，安全与合规前置。 内容安全、隐私保护、生成内容标识、算法备案等要求，应在设计阶段就纳入，而不是上线前临时补救。
---
### 十、值得关注的技术方向与我国企业
基于公开的技术面和行业动态，以下方向值得关注，仅供学习参考，不构成投资建议：
基础大模型： 深度求索（DeepSeek）、阿里巴巴通义千问（Qwen系列开源模型影响力较大）、字节跳动豆包、百度文心、智谱、月之暗面（Kimi）、MiniMax、阶跃星辰等。开源路线正在成为我国企业参与全球竞争的重要方式。
算力与芯片： 华为昇腾、寒武纪、海光信息等国产AI芯片厂商，以及围绕国产芯片的训练推理框架适配、集群通信优化，是保障产业自主的关键环节。
多模态与视频生成： 快手可灵、生数科技、商汤等在视觉生成和理解方向持续投入。
创业机会方向：
垂直行业的评测与数据服务——帮企业回答“这个模型在我的场景里到底行不行”；
推理加速与端侧部署——让模型在手机、汽车、工业设备上低成本运行；
企业级智能体与工作流编排——把大模型能力嵌入真实业务流程；
AI安全与内容治理工具——包括幻觉检测、内容溯源、合规审计等。
---
### 下集总结评论
下集讲的核心是两个字：边界。
预训练让模型博学，微调让模型守规矩，多模态让模型“看见”世界。但它的个性是被提示词塑造的，它的能力边界是参差不齐的，它的部分能力至今连创造者都解释不清。
相关研究材料的研究结果称，人类实际上创造出了一种“外星心智”——行为像人，却又不完全是人；看起来像有意识，但就目前所知并没有。接下来真正的问题是：如何确保这个“外星人”是友好的？ 这就是AI领域常说的“对齐问题”。
---
## 全篇结论
回到最初的问题：一个只会猜下一个词的程序，为什么能做那么多事？
答案并不神秘，也没有完全揭晓。能确定的是，从机械下棋人偶，到香农的机械老鼠，到预测型AI，再到Transformer和大语言模型，技术演进的主线一直是 “从数据中学习规律，再用规律做预测”。变化的是规模、架构和数据，而这些量变带来了难以预料的质变。
对于工程师和企业来说，比争论“AI是否真的会思考”更有价值的，是务实地回答三个问题：它在我的场景里能做什么？哪里会出错？怎样用工程手段把错误控制住？
大模型不是万能的，也不是虚火。把它当作一个能力强大但边界不规则的新工具，认真测试、分层落地、守住安全底线，是现阶段最稳妥的做法。
客服咨询
400 093 7005
周一至周日：09:00AM-21:00PM
微信扫码关注
小程序扫码注册
0条评论