utf-8和utf-8-sig

最新推荐文章于 2025-06-24 16:30:37 发布

skyadore

最新推荐文章于 2025-06-24 16:30:37 发布

阅读量5.9k

点赞数 4

CC 4.0 BY-SA版权

文章标签：编码 utf-8

本文链接：https://blog.csdn.net/u011854875/article/details/78466585

本文详细介绍了UTF-8编码的特点及BOM(Byte Order Mark)的作用，特别针对utf-8-sig编码进行了说明，并解释了在使用Pandas读取CSV文件时遇到特定错误的原因。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

As UTF-8 is an 8-bit encoding no BOM is required and anyU+FEFF character in the decoded Unicode string (even if it’s the firstcharacter) is treated as a ZERO WIDTH NO-BREAK SPACE.

UTF-8以字节为编码单元，它的字节顺序在所有系统中都是一様的，没有字节序的问题，也因此它实际上并不需要BOM(“ByteOrder Mark”)。但是UTF-8 with BOM即utf-8-sig需要提供BOM。

简单的说，utf-8-sig是对字节编码有序的。

这种情况发生在pandas在read csv的时候，如果报错，key error, File "pandas/index.pyx", line 137, in pandas.index.IndexEngine.get_loc (pandas/index.c:4154)
File "pandas/index.pyx", line 159, in pandas.index.IndexEngine.get_loc (pandas/index.c:4018)
File "pandas/hashtable.pyx", line 675, in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12368)
File "pandas/hashtable.pyx", line 683, in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:12322)

这种情况要考虑使用utf-8-sig这种编码