Unicode是现代文本处理的基础，本教程将介绍Python中的Unicode字符串处理，涵盖从基础概念到高级应用等。

一、Unicode基础概念

1.1 Unicode与编码

核心概念：

• Unicode：字符集标准，为每个字符分配唯一码点
• 编码：将码点转换为字节序列的规则（UTF-8、UTF-16等）
• 码点：Unicode字符的唯一编号（如U+0041表示'A'）

编码示例：

# 查看字符的Unicode码点
ord('A')  # 65
ord('你')  # 20320

# 通过码点获取字符
chr(65)   # 'A'
chr(20320) # '你'

表1：常见Unicode编码对比

1.2 Python字符串类型

Python 3中的字符串：

# Unicode字符串（Python 3默认）
unicode_str = "Hello 世界" 

# 字节串（带b前缀）
byte_str = b"Hello"  # 只能包含ASCII

# 字节串与Unicode转换
"世界".encode('utf-8')  # b'\xe4\xb8\x96\xe7\x95\x8c'
b'\xe4\xb8\x96'.decode('utf-8')  # '世'

编码声明（PEP 263）：

# 文件编码声明（必须放在文件开头）
# -*- coding: utf-8 -*-

二、字符串操作与处理

2.1 基本字符串操作

Unicode字符串操作：

s = "Python编程"

# 长度计算（按字符）
len(s)  # 8

# 切片操作
s[6:]  # '编程'

# 包含判断
'编程' in s  # True

# 格式化（Python 3.6+）
f"字符串: {s}"  # '字符串: Python编程'

注意事项：

• 避免直接按字节位置切片
• 比较前确保相同编码
• 文件操作时明确指定编码

2.2 正则表达式与Unicode

Unicode正则处理：

import re

# Unicode属性匹配
text = "Résumé 包含中文和English"
re.findall(r'\w+', text)  # ['Résumé', '包含中文和English']

# Unicode字符类
re.findall(r'\p{Script=Han}+', text)  # ['包含中文'] (需regex库)

标志使用：

# 忽略大小写（支持Unicode）
re.search(r'résumé', 'R'ESUM'E', re.IGNORECASE)  # 匹配

三、编码转换与处理

3.1 常见编码问题解决

处理策略：

# 替换无效字符
b'Invalid\xff'.decode('utf-8', errors='replace')  # 'Invalid'

# 忽略错误
b'Invalid\xff'.decode('utf-8', errors='ignore')  # 'Invalid'

# 严格模式（默认）
# b'Invalid\xff'.decode('utf-8')  # 抛出UnicodeDecodeError

编码检测：

import chardet

rawdata = b'\xe4\xb8\xad\xe6\x96\x87'
result = chardet.detect(rawdata)
# {'encoding': 'utf-8', 'confidence': 0.99}
text = rawdata.decode(result['encoding'])

3.2 规范化与比较

Unicode规范化：

from unicodedata import normalize, name

# 不同形式的字符
c1 = 'é'  # U+00E9
c2 = 'e'  # U+0065 + U+0301

# 规范化形式
nfc = normalize('NFC', c2)  # 'é' (组合形式)
nfd = normalize('NFD', c1)  # 'e' (分解形式)

# 规范化比较
normalize('NFC', c1) == normalize('NFC', c2)  # True

表2：Unicode规范化形式

四、文件与IO中的Unicode

4.1 文件读写最佳实践

安全文件操作：

# 写入文件（明确指定编码）
with open('text.txt', 'w', encoding='utf-8') as f:
    f.write("Unicode文本")

# 读取文件（自动检测编码）
def read_file(filename):
    with open(filename, 'rb') as f:
        rawdata = f.read()
        result = chardet.detect(rawdata)
        return rawdata.decode(result['encoding'])

# 处理不同换行符
with open('text.txt', 'r', encoding='utf-8', newline='') as f:
    content = f.read()  # 保留原始换行符

4.2 命令行参数处理

系统编码问题：

import sys, locale

# 获取系统编码
sys.getfilesystemencoding()  # 'utf-8' (现代系统)
locale.getpreferredencoding()  # 控制台编码

# 安全处理命令行参数
def get_argv():
    if sys.platform == 'win32':
        return [arg.encode('mbcs').decode('utf-8') for arg in sys.argv]
    return sys.argv

五、高级Unicode功能

5.1 特殊字符处理

不可见字符：

# 零宽度空格
zwsp = '\u200b'
"Hello" + zwsp + "World"  # 看起来像"HelloWorld"

# 双向控制字符
ltr = '\u202A'  # 左到右嵌入
rtl = '\u202B'  # 右到左嵌入

# 检测非常规字符
def has_special_chars(text):
    return any(ord(c) > 0x7f for c in text)

5.2 文本排序与搜索

本地化排序：

import locale
from functools import cmp_to_key

# 设置本地化环境
locale.setlocale(locale.LC_COLLATE, 'fr_FR.UTF-8')

words = ['été', 'étage', 'étaler']
sorted(words, key=cmp_to_key(locale.strcoll))
# ['étage', 'étaler', 'été']

Unicode大小写转换：

"strasse".upper()  # 'STRASSE' (德语特殊规则)
"I".lower()      # 'i' (土耳其点问题)

# 本地化敏感转换
import locale
locale.setlocale(locale.LC_CTYPE, 'tr_TR.UTF-8')
"I".lower()      # 'i' (土耳其正确转换)

六、应用案例

6.1 多语言文本处理

字符统计工具：

from collections import defaultdict

def unicode_stats(text):
    stats = defaultdict(int)
    scripts = set()
    
    for c in text:
        stats['total'] += 1
        if ord(c) < 128:
            stats['ascii'] += 1
        else:
            stats['non_ascii'] += 1
        
        try:
            script = unicodedata.script(c)
            scripts.add(script)
            stats[script] += 1
        except ValueError:
            stats['unknown_script'] += 1
    
    return {
        'char_counts': dict(stats),
        'detected_scripts': scripts
    }

# 使用示例
stats = unicode_stats("Hello 你好 αβγ")
print(stats)

6.2 安全输入验证

XSS防护函数：

def sanitize_input(text, max_length=1000):
    """清理用户输入"""
    # 规范化Unicode
    text = unicodedata.normalize('NFKC', text)
    
    # 移除控制字符（保留\t\n\r）
    cleaned = ''.join(
        c for c in text 
        if ord(c) >= 32 or c in '\t\n\r'
    )
    
    # 截断长度
    return cleaned[:max_length]

七、技巧

7.1 字符串构建优化

高效字符串拼接：

# 避免循环中使用+=
parts = []
for i in range(10000):
    parts.append(str(i))
result = ''.join(parts)  # 高效拼接

# 使用io.StringIO
from io import StringIO
buf = StringIO()
for i in range(10000):
    buf.write(str(i))
result = buf.getvalue()

7.2 内存高效处理

内存视图处理大文本：

def process_large_text(filename):
    """处理大文本文件"""
    with open(filename, 'r', encoding='utf-8') as f:
        for line in f:  # 逐行读取
            process_line(line)  # 处理单行

# 使用mmap处理超大文件
import mmap

with open('huge.txt', 'r+', encoding='utf-8') as f:
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
        text = mm.read().decode('utf-8')
        # 处理文本

八、常见问题与解决方案

问题1：编码不一致导致的乱码

解决方案：

def fix_mojibake(text, possible_encodings=['gbk', 'latin1', 'utf-8']):
    """尝试修复乱码"""
    for enc in possible_encodings:
        try:
            return text.encode(enc).decode('utf-8')
        except UnicodeError:
            continue
    return text  # 无法修复则返回原文本

问题2：文件名编码问题

解决方案：

import os

def safe_listdir(path):
    """安全列出含非ASCII文件名的目录"""
    try:
        return os.listdir(path)
    except UnicodeEncodeError:
        return os.listdir(path.encode('utf-8').decode('mbcs'))

九、总结

9.1 核心原则

1. 明确编码：始终明确指定文本编码
2. 尽早转换：在IO边界进行编解码
3. 内部统一：程序内部使用Unicode字符串
4. 规范化：比较前进行Unicode规范化
5. 安全处理：防御性处理外部文本

9.2 工具推荐

• chardet：编码检测
• ftfy：修复混乱的Unicode文本
• unidecode：Unicode转ASCII音译
• pyuca：Unicode排序算法实现
• regex：增强的正则表达式库

通过本教程，我们能够：

1. 理解Unicode基本原理和Python实现
2. 正确处理多语言文本和编码转换
3. 解决常见的Unicode相关问题
4. 编写健壮的国际化应用程序
5. 优化Unicode文本处理性能

持续更新Python编程学习日志与技巧，敬请关注！

#编程# #python# #在头条记录我的2025# #Python#