UTF-8 编码,索引与遍历

UTF-8:变长编码的字节序列

Rust 规定所有 str 和 String 内部必须是合法的 UTF-8 字节.UTF-8 是一种变长编码:不同字符占用的字节数不同.

看一个具体的例子,字符串 "a中😀" 在内存里的实际字节布局:

字符:     a            中                  😀
字节: [ 0x61 ][ 0xE4  0xB8  0xAD ][ 0xF0  0x9F  0x98  0x80 ]
索引:    0      1     2     3      4     5     6     7

字符数 (chars) = 3
字节数 (len)   = 8

这里 "a中😀".len() 返回的是 8,而不是 3.len() 永远返回字节数,这是新手最容易误判的地方.

为什么 s[i] 被禁止

在 Python 里 "中"[0] 能直接取字符,为什么 Rust 不行?编译下面的代码会直接报错:

let s = String::from("中文");
// let c = s[0];   // 编译错误:`String` cannot be indexed by `{integer}`

Rust 禁止它,有两个理由:

1. 性能不可预期:下标访问 s[i] 在所有语言中都被期望是 O(1).但在变长编码里,要找到"第 i 个字符"必须从头逐字节扫描,是 O(n).Rust 不愿意为一个看起来 O(1) 的语法偷偷藏一个 O(n) 的实现.
2. 语义有歧义:s[i] 中的 i 到底指第 i 个字节,第 i 个 Unicode 标量值,还是第 i 个"看起来的字符"?三者结果可能完全不同.与其猜,不如让开发者显式选择.

切片可以,但要小心边界

虽然不能用单个整数下标,Rust 却允许用范围切片,例如 &s[0..3].代价是:这里的范围是字节索引,且必须恰好落在字符边界上,否则运行时 panic.

let s = String::from("中文");   // 每个汉字 3 字节,共 6 字节

let ok = &s[0..3];     // "中",正好切在字符边界
println!("{ok}");

// let bad = &s[0..2];  // 运行时 panic:byte index 2 is not a char boundary

正确的遍历方式

既然不能下标访问,遍历就成了操作字符串的主力手段.标准库提供两条主要途径,按关心的"单位"选择.

按字符遍历:chars()

let s = "a中😀";

for c in s.chars() {
    println!("{c}");        // 依次输出 a / 中 / 😀
}

let count = s.chars().count();   // 3,字符个数(注意是 O(n))

chars() 把字符串解析成一个个 char(Unicode 标量值).要"取第 n 个字符",惯用法是 s.chars().nth(n),它返回 Option<char>,本质仍是从头扫描.

按字节遍历:bytes()

let s = "a中";

for b in s.bytes() {
    print!("{b} ");          // 97 228 184 173
}

当做的是底层协议解析,校验和计算等不关心字符语义的工作时,直接遍历字节更高效.

同时要字符和位置:char_indices()

let s = "a中😀";

for (byte_idx, c) in s.char_indices() {
    println!("{byte_idx}: {c}");
    // 0: a
    // 1: 中
    // 4: 😀
}

注意输出的索引是 0 / 1 / 4,而非 0 / 1 / 2--返回的是每个字符的起始字节位置.这正是做安全切片时定位合法边界的工具.

一个经典陷阱:字符串反转

"把字符串反转"看似简单,却是 UTF-8 陷阱的集中体现:

let s = "中文";

// 正确:按字符反转
let reversed: String = s.chars().rev().collect();
println!("{reversed}");   // "文中"

// 错误:如果按字节反转,会破坏 UTF-8 编码,产生乱码甚至非法字符串