NLP 全景图:从规则到深度学习

NLP 是什么

自然语言处理(Natural Language Processing,NLP)是人工智能的一个子领域,核心目标是让计算机能够处理,理解和生成人类语言.

后端开发日常其实已经接触过 NLP 的应用场景:

• 搜索引擎的查询理解(分词,同义词扩展)
• 内容审核系统(违规文本检测--和对骂检测同类)
• 智能客服的意图分流("查余额" → 余额查询接口)
• ChatGPT/Claude 这类大语言模型(LLM)

技术演进:三代范式

NLP 的发展可以清晰地分为三个阶段,每个阶段的核心差异在于**"规则从哪来"**:

flowchart LR A["规则时代  
1950-2000"] -->|"数据驱动"| B["统计学习时代  
2000-2018"] B -->|"预训练革命"| C["深度学习时代  
2018-至今"]

规则时代:人工编写规则

早期 NLP 靠语言学家手写规则. 比如做情感分析:

if 文本包含("傻逼", "滚", "你妈") → 判定为辱骂
if 文本包含("哈哈", "不错", "赞") → 判定为正面

业务冷启动阶段也会用到这种方式--用关键词 + 正则先跑一版 baseline,能覆盖最明显的对骂场景.

统计学习时代:从数据中学规则

核心思路转变:不再手写规则,而是给机器大量标注好的数据,让它自己学出规则(模式).

这个阶段的代表技术:

后面会用到的 FastText 就属于这个阶段的巅峰之作--训练快(几分钟),效果好(很多场景能到 90%+),部署极简.

深度学习时代:预训练 + 微调

2018 年 BERT 的出现是分水岭. 核心范式变成:

1. 预训练(Pre-training):在海量无标注文本上学习语言的通用表示(就像一个人先读了几万本书)
2. 微调(Fine-tuning):在特定任务数据上做少量训练,让通用模型适配具体场景

这个范式的威力在于:不需要海量标注数据,几百到几千条就能微调出不错的效果.

NLP 任务分类:任务定位

NLP 的任务种类很多,核心可以按输入 → 输出的关系分为四大类:

系统架构定位

回到"小模型前置 + 大模型按需"架构,每个组件在 NLP 技术栈中的位置:

flowchart TD A["群聊消息流"] --> B["文本预处理  
分词/清洗"] B --> C{"小模型层  
(本学习路线重点)"} C -->|"辱骂概率 > 阈值"| D["触发干预"] C -->|"管理指令"| E["解析为结构化动作  
禁言/踢人/警告"] C -->|"语义模糊/需要上下文"| F["大模型层  
GPT/Claude"] F --> G["生成劝架回复  
或复杂判断"] style C fill:#dbeafe,stroke:#3b82f6 style F fill:#fef3c7,stroke:#f59e0b

核心术语速查

后续笔记中会反复出现这些概念,先建立索引:

机器学习流水线概览

不管用什么模型,NLP 项目的工程流程是固定的. 把它类比成一个数据处理 pipeline:

flowchart LR A["数据收集"] --> B["数据标注"] B --> C["特征工程/预处理"] C --> D["模型训练"] D --> E["评估验证"] E -->|"不达标"| C E -->|"达标"| F["导出部署"] F --> G["线上推理"] G --> H["监控+回收"] H -->|"新数据"| B

这个阶段不需要学的

明确边界,避免掉入"从头学数学"的陷阱:

• 不需要:线性代数推导,反向传播数学证明,论文精读
• 不需要:从零实现神经网络(用框架即可)
• 不需要:强化学习(任务是分类,不是决策)
• 不需要:生成模型原理(大模型部分直接调 API)
• 需要:理解每个组件在做什么(直觉层面)
• 需要:能跑通训练 + 部署全流程
• 需要:能读懂评估指标,知道什么时候模型"够用"