沥沥鲜血染红它：中国语言模型的来时路

世上有朵美丽的花
……
沥沥鲜血染红它

——《绒花》

ChatGPT诞生以前，中国的机器学习技术被用来做过什么？我或许知道这个问题的答案。

2016年3月，AlphaGo战胜李世石。2017年5月，其战胜柯洁。最晚从这时起，中国的机器学习研究就开始“追赶美国”。

2017年6月，《Attention is All You Need》发表，标志着Transformer的诞生（就是“GPT”的那个“T”）。2018年6月，GPT-1发布；10月，BERT发布。它们在问答、语言推断等领域都产生了突破性的进展。

我曾微调过BERT，用于识别王旷逸（Wang Xueqian）的语言风格¹。传统统计方法（词频等）只能做到大约80%的真阳性率和真阴性率，BERT在这两项指标上都达到了95%。换言之，Transformer的语言分类能力前所未有地强，已经足以用于中国的网络审查。²

2019年5月20日，在GPT-1发布的一年后，百度上线内容审查平台³，对外销售其基于机器学习（“AI”）的网络审查能力。同日的技术文章更是直接涉及文本分类⁴（尽管技术是更老的CNN和RNN）。

很快，百度贴吧就开始应用“AI”审查。当时的贴吧用户们并没有调查到上面的证据⁵，但也很明显地感觉到了“AI”审查的存在。理由在于，当时的百度贴吧出现了效率远高于传统“敏感词+人工审查”的删帖、封号、炸吧模式。此前一个贴吧被封后，吧友能较快地转移到其他贴吧，但当时出现了“转移不到一周就被再次炸吧”的情况。

再转移，再炸，直到彻底散伙。这种模式是前所未有的。当时我所在的圈子就被这样从百度贴吧赶尽杀绝。最晚到2021年底，中文“互联网”上，已不存在任何严肃、长篇反建制讨论的可能。

鲁迅说：“外国用火药制造子弹御敌，中国却用它做爆竹敬神。”这当然只是讽刺，现在看来，却是对语言模型的预言。

Transformer被发明后，美国人开始探索其各类用途（文本分类、生成），语言模型沿着Encoder-only、Encoder-Decoder、Decoder-only等不同架构发展。Google同时探索了多条路线，OpenAI则持续推进自回归生成模型的规模扩展。2020年，GPT-3展现出令人瞩目的少样本学习能力；2022年，ChatGPT横空出世。此后的历史就是我们所熟知的了。

与此同时，作为中国人工智能研发的探路者（起大早赶晚集），百度第一时间将语言模型的文本分类能力用于网络审查。百度《2020年信息安全综合治理年报》表示，其“利用人工智能技术挖掘各类有害信息共515.4亿余条”⁶。不知2020年的“有害信息”是否包括“冠状病毒已在武汉传播”？在“查处8名散播谣言者”⁷、迫害李文亮，以及删除《发哨子的人》的过程中，百度是否也贡献了自己的一份力？

利用“AI”做网络审查的当然不止百度一家。2020年，“百分点科技”的一篇公众号文表示，其提供的服务可“利用BERT进行舆情情感分类和负面信息检测”⁸。2017年8月，阿里云“内容检测API”加入文本审核功能。2022年11月30日，ChatGPT发布当天，阿里云发布“文本审核增强版”⁹。其说明页几经更新，现在的版本明确提供“基于大模型能力构建的文本审核服务”¹⁰。

所有被平台赶尽杀绝的社群、所有发不出来的讨论、所有“语料贡献者”的叹息，都构成了“中国AI”的来时路。有人说：“中国模型是在爱里长大的。”圈地incel当然也不遗余力地骑劫邀功。事实恰恰相反：同样是近乎免费从全球互联网获取训练语料，但中国的模型一经诞生，就对中文“互联网”上贡献语料的人举起了屠刀。网络言论审查恐怕是中国模型最早开始盈利的领域，也许中国模型的本源就在于此。

中国模型屠戮“互联网”两三年后，ChatGPT横空出世。百度随后赶鸭子上架自己的“文心一言”，然而简中“互联网”上却再找不到高质量语料了。即使“文心一言”完全比不上当时的ChatGPT，百度也没有开放其模型权重。李彦宏得意扬扬地宣称“开源”没有未来。

2025年初，深度求索（DeepSeek）在中国复刻了ChatGPT的商业胜利，和百度不同，它相对慷慨地开放了自己的权重。随后百度被迫转向“开源”。与其它早先开权或被动开权的中国模型一道，让人产生了“中国模型=开源”的印象。深度求索研究者的一篇出圈随笔曾表示，中国模型的未来是共产主义，美国模型的未来是赛博朋克2077¹¹。

中国的确有更体面的公司。2020年的智谱在做知识图谱和数据挖掘（科研情报）¹²，Kimi创始人杨植麟的“循环智能”在做商业分析¹³。同样的技术当然能用作网络审查（“舆情平台”“舆情分析”等），而当时的它们至少没对外销售审查服务。

深度求索不在“更体面的公司”之列。深度求索的来时路是有些不同：它身上确实没沾太多中文互联网社区的血，而是A股散户的血。我不很了解中国投机市场的历史，想必比论坛社区的历史更加血腥。投机倒把者或许“愿赌服输”，但深度求索以这样的出身宣称自己“赢了就是共产主义”，在“贱”之余更多了几分黑色幽默。

中国的模型不是在爱里长大的，它是被我们的鲜血染红的。沥沥鲜血染红它。