文本分类任务解析

从向量到标签:分类器做什么

上一阶段结尾,我们得出一个关键结论:向量空间中同类文本自然聚集,但模型不知道哪个簇是"骂人"--这需要标注数据来定义.

分类器就是那条"国界线"的数学实现:

输入: 一个句子向量(768维)
输出: 一个类别标签(如 "对骂" 或 "正常")

本质: 学一个函数 f(向量) → 标签
      等价于在向量空间中画一个超平面,把不同类别分开

最简单的分类器(逻辑回归)的计算过程:

score = W · sentence_vector + b      ← 向量点积 + 偏置
probability = sigmoid(score)          ← 压到 (0, 1) 当概率
预测 = probability > 0.5 ? 对骂 : 正常

其中 W 是训练出来的权重向量(和输入同维度,768 维). 直觉理解:W 定义了空间中的一个"方向标杆"--点积运算的几何含义是计算输入向量在 W 方向上的投影长度. 投影越长(score 越大),越像对骂;投影越短甚至反方向(score 为负),越像正常.

整个阶段二的核心就一件事:让这个函数从数据中学会怎么画线.

NLP 任务类型对比:分类在什么位置

NLP 中有很多不同的任务形态,分类只是其中一种. 先看全局:

对骂检测是典型的文本分类任务. 后面如果要做意图识别("禁言张三 10 分钟" → 提取动作+对象+时长),那会涉及序列标注--但现在先聚焦分类.

分类任务的三种变体

同样是"贴标签",根据标签体系的不同,分成三种建模方式:

二分类(Binary Classification)

只有两个类别:是/否,正面/负面,对骂/正常.

# 二分类输出
model(sentence_vector) → {对骂: 0.92, 正常: 0.08}
# 取概率最大的作为预测结果

这是最简单的形态,也是起步选择--先把对骂检测建模为二分类.

多分类(Multi-class Classification)

多个类别,每条文本只属于一个类:

# 多分类输出(互斥,只能选一个)
model(sentence_vector) → {对骂: 0.75, 阴阳怪气: 0.15, 正常: 0.08, 广告: 0.02}
# 预测结果: 对骂

当需要区分对骂的子类型(人身攻击,地域歧视,性别歧视等),就需要多分类.

多标签(Multi-label Classification)

一条文本可以同时属于多个类别:

# 多标签输出(不互斥,可以同时命中多个)
model(sentence_vector) → {对骂: 0.92, 带节奏: 0.85, 人身攻击: 0.78, 广告: 0.03}
# 预测结果: 对骂 ✓, 带节奏 ✓, 人身攻击 ✓(超过阈值的都算命中)

"你这种垃圾还好意思带节奏"既是对骂也是带节奏--多标签允许一条文本有多个标签.

评估指标:怎么衡量"分得准不准"

模型训练出来了,怎么知道效果好不好? 不能只看"猜对了几个"--需要更精确的指标.

混淆矩阵:一切指标的起点

假设对骂检测模型在 100 条测试数据上的预测结果:

模型预测
                 对骂      正常
实际 ┌─────────┬─────────┐
标签 │  TP=35  │  FN=5   │ ← 实际是对骂的 40 条
对骂 │ (命中)  │ (漏报)  │
     ├─────────┼─────────┤
实际 │  FP=8   │  TN=52  │ ← 实际是正常的 60 条
正常 │ (误报)  │ (正确)  │
     └─────────┴─────────┘

四个格子的含义:

• TP(True Positive):模型说"对骂",确实是对骂 → 正确命中
• FN(False Negative):模型说"正常",实际是对骂 → 漏报(该管的没管)
• FP(False Positive):模型说"对骂",实际是正常 → 误报(误伤正常用户)
• TN(True Negative):模型说"正常",确实是正常 → 正确放行

精确率(Precision):模型说"对骂"时,有多少是真的

Precision = TP / (TP + FP) = 35 / (35 + 8) = 81.4%

含义:模型报告的"对骂"中,81.4% 确实是对骂
      剩下 18.6% 是误报(正常发言被误判为对骂)

Precision 高 = 误报少. 如果系统对误报敏感(误禁言正常用户会引起投诉),需要追求高 Precision.

召回率(Recall):实际对骂中,模型抓住了多少

Recall = TP / (TP + FN) = 35 / (35 + 5) = 87.5%

含义:40 条真实对骂中,模型抓住了 35 条
      漏掉了 5 条(12.5% 的对骂没被检测到)

Recall 高 = 漏报少. 如果系统对漏报敏感(骂人消息没被拦截,群环境恶化),需要追求高 Recall.

F1 Score:Precision 和 Recall 的平衡

F1 = 2 × (Precision × Recall) / (Precision + Recall)
   = 2 × (0.814 × 0.875) / (0.814 + 0.875)
   = 84.3%

F1 是 Precision 和 Recall 的调和平均--
任何一方太低都会把 F1 拉下来,它惩罚"偏科".

为什么不只看准确率(Accuracy)

Accuracy = 预测正确的总数 / 总样本数 = (TP + TN) / 全部 = (35 + 52) / 100 = 87%

87% 看起来不错? 但考虑一个极端情况:

假设 100 条数据中只有 5 条是对骂,95 条是正常.
模型策略:无脑预测所有文本都是"正常".

Accuracy = 95/100 = 95%  ← 看起来很高!
Precision = 0/0 = 未定义
Recall = 0/5 = 0%        ← 一条对骂都没抓到
F1 = 0%                  ← 完全无用

这就是类别不平衡的陷阱--当某类数据量远大于另一类时,Accuracy 会骗人. 在对骂检测中,正常发言远多于对骂发言(可能 20:1),所以必须用 F1 作为主指标.

把对骂检测建模为分类任务

现在用上面的框架来设计具体任务.

任务定义

业务权衡:Precision vs Recall 该偏向哪边

对骂检测的业务场景决定了指标偏好:

训练-评估循环:模型如何学会分类

有了标注数据和评估指标,训练过程就是一个迭代循环:

flowchart TD A["标注数据集"] --> B["划分: 训练集 80% + 测试集 20%"] B --> C["训练集送入模型"] C --> D["模型学习画分界线"] D --> E["在测试集上预测"] E --> F["计算 P/R/F1"] F --> G{"F1 达标?"} G -->|"是"| H["上线/导出"] G -->|"否"| I["分析错误案例"] I --> J["调整: 加数据 / 换模型 / 调参数"] J --> C

关键概念:

• 训练集:模型用来学习的数据,看过答案
• 测试集:模型没见过的数据,用来评估真实表现
• 为什么必须分开? 防止模型"背答案"--在训练集上全对,遇到新数据就不行(过拟合)

跑通分类需要什么

把阶段二要做的事情拆成具体的输入输出:

其中标注数据是最关键的--模型效果的天花板取决于数据质量,不是模型复杂度. 下一篇会讲如何设计标注规范,如何从零构建数据集.

完整流水线预览

把分类任务的完整流水线画出来,后续每篇笔记聚焦其中一段:

flowchart LR A["原始文本"] --> B["预处理"] B --> C["特征提取  
TF-IDF / BERT"] C --> D["分类模型  
LR / FastText / CNN"] D --> E["输出概率"] E --> F["阈值判断"] F --> G["最终标签"] style C fill:#dbeafe,stroke:#3b82f6 style D fill:#fef3c7,stroke:#f59e0b

蓝色部分(特征提取)阶段一已经搞定了;黄色部分(分类模型)是阶段二的核心内容.

从阶段一的种子数据出发

阶段一的练习中已经有了 40 条标注数据(20 对骂 + 20 正常)和对应的 TF-IDF 向量, BERT [CLS] 向量. 现在可以直接在上面跑一个最简单的分类器看看效果:

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import numpy as np

# 加载阶段一保存的 [CLS] 向量
data = np.load("data/cls_vectors.npz")
X, y = data["vectors"], data["labels"]

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)

# 逻辑回归分类器--最简单的线性模型
clf = LogisticRegression(max_iter=1000)
clf.fit(X_train, y_train)

# 在测试集上评估
y_pred = clf.predict(X_test)
print(classification_report(y_test, y_pred, target_names=["正常", "对骂"]))

这段代码就是阶段二的第一个"能跑的 baseline"--用阶段一产出的向量 + 最简单的线性模型. 下一篇讲数据标注时,会正式写这段代码的完整练习版本.