做数据处理的同学应该都懂：80% 的时间都耗在数据清洗上，而其中一半的麻烦都来自数据转换。明明看着简单的类型转换，一到实际项目里就各种报错，今天就把我踩过的坑和解决方案整理出来，新手看完直接抄作业！

一、字符串转数字：看似简单的 ValueError 陷阱

上周帮运营处理销售数据时，Excel 里的金额列明明是数字，读进 Python 里却变成了字符串。用 int () 转换时直接报错：ValueError: invalid literal for int() with base 10: '123.45'

问题根源：

• 字符串里藏着小数点（该转 float 却用了 int）

• 数字中间混有逗号（如 "1,234"）

• 表面是数字实际含空格（如 "123"）

解决方案：

写一个万能转换函数，先清洗再转换：

def str_to_num(s):

# 移除逗号和空格

s = s.replace(',', '').strip()

# 尝试转int，失败则转float

try:

return int(s)

except ValueError:

try:

return float(s)

except ValueError:

return None # 无法转换的返回空值

# 测试案例

print(str_to_num(" 1,234.56 ")) # 输出1234.56

二、日期格式混乱：从 "2023/12-31" 到标准时间的战斗

做用户行为分析时，遇到过最离谱的日期格式集合："2023/12/31"、"31-12-2023"、"2023年12月31日"甚至"20231231"。用 pd.to_datetime () 直接批量转换？结果一半变成 NaT。

破局关键：

用 dateutil 库自动识别格式，配合异常捕获处理特殊值：

from dateutil import parser

import pandas as pd

def parse_date(s):

try:

# 自动识别大多数格式

return parser.parse(s)

except:

# 处理中文格式

if '年' in s:

return pd.to_datetime(s, format='%Y年%m月%d日')

# 处理纯数字格式

elif s.isdigit() and len(s) == 8:

return pd.to_datetime(s, format='%Y%m%d')

else:

return None

# 实战效果

dates = ["2023/12/31", "31-12-2023", "2023年12月31日", "20231231"]

print([parse_date(d) for d in dates]) # 全部转换成功

三、列表与字典互转：别让嵌套结构搞崩溃

爬取电商评论时，遇到过这种数据："[{'id':1}, {'id':2}]"—— 看着是列表套字典，实际是字符串。直接用 list () 转换只会拆成单个字符，用 eval () 又怕有安全风险。

安全转换方案：

用 ast 库的 literal_eval ()，比 eval () 更安全：

import ast

str_data = "[{'id':1}, {'id':2}]"

try:

# 安全解析字符串格式的列表/字典

data = ast.literal_eval(str_data)

print(type(data)) # 输出<class 'list'>

except SyntaxError:

print("格式错误，无法转换")

如果遇到更复杂的 JSON 字符串，记得用 json 库：

import json

json_str = '[{"id":1}, {"id":2}]'

data = json.loads(json_str) # 注意JSON里必须用双引号

四、数据类型不兼容：Pandas 里的 astype () 失效之谜

处理 DataFrame 时，经常遇到某列明明看着是数字，却无法用 astype (float) 转换，报错ValueError: could not convert string to float: '未知'。

背后原因：

列中混入了非数字值（如 "未知"、"N/A"），astype () 无法处理这种脏数据。

正确操作：

先用 to_numeric () 配合 errors 参数过滤异常值：

import pandas as pd

df = pd.DataFrame({'value': ['123', '45.6', '未知', '789']})

# 转换为数值，错误值转为NaN

df['value_num'] = pd.to_numeric(df['value'], errors='coerce')

# 填充缺失值（根据业务场景选择填充方式）

df['value_num'] = df['value_num'].fillna(0)

print(df['value_num'].dtype) # 输出float64

五、编码转换：从乱码 "é?éa 1/2 " 到正常中文

爬取境外网站时，最头疼的就是编码问题。明明指定了 utf-8，结果还是出现 "~A(c)^A^A?~A(c)^A^A~Ayen^A^A 1/2 " 这种乱码。

排查步骤：

1. 先用 chardet 检测真实编码

2. 再用正确编码重新解码

import chardet

# 检测编码

raw_data = b'\xc3\xa9\xc2\x98\xc2\x99\xc3\xa9\xc2\x87\xc2\x8c\xc3\xa5\xc2\x8d\xc2\x8e'

detect_result = chardet.detect(raw_data)

print(detect_result['encoding']) # 输出ISO-8859-1

# 正确解码

correct_text = raw_data.decode('ISO-8859-1').encode('latin-1').decode('utf-8')

print(correct_text) # 输出"阿里巴巴"

避坑总结：3 条黄金法则

1. 转换前先检查：用 type () 查看数据类型，用 chardet 检测编码，用 value_counts () 看数据分布

2. 永远用 try-except：批量转换时一定要加异常捕获，避免一条坏数据搞崩整个程序

3. 优先用专业库：日期用 dateutil，JSON 用 json 库，少用 eval () 等危险操作

其实数据转换的核心不是死记函数，而是培养 "预判错误" 的思维。你在项目中还遇到过哪些奇葩的转换问题？评论区告诉我，下次专门出解决方案！