如何删除这个特殊字符？

Question

我在观察以下内容时试图统一文件中的行:

word1 word2
word1 word2

我不明白为什么这些行没有合并所以我在vim中打开文件并用来:set list查看是否有任何特殊字符,我发现了这个:

 word1 <feff>word2
 word1 word2

我不确定如何在Python中清除这个单词.关于什么角色可能是什么以及如何清理它的任何建议？

Answer 1

U + FEFF是字节顺序标记字符,它只应出现在文档的开头.在文件中,它应被视为一个ZERO WIDTH NON-BREAKING SPACE.如果这会导致问题,您可以像删除任何其他字符一样删除它:

>>> s = u'word1 \ufeffword2'
>>> s = s.replace(u'\ufeff', '')
>>> s
u'word1 word2'

_{(在Python 3.1或3.2中,u放在字符串前面)}