[Python, Error] \xef\xbb\xbf 제거 (UTF-8에서 BOM을 제거)

1. 문제 키워드

파이썬에서 csv파일을 읽다보면 \xef\xbb\xbf 문구가 삽입되어, 원하는 파일 형태로 read할수 없는 경우가 발생한다.

2. 원인

유니코드 저장 시 자동으로 발생되는 문자열로 \xef\xbb\xbf (UTF-8 BOM)이라는 것으로 나타납니다.
Byte Order Mark로 UTF-8인지 쉽게 알수있도록 하는 문자입니다. 아마 에디터에서는 보이지 않을겁니다.

3. 해결 방법

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

 

참고 출처

https://unix.stackexchange.com/questions/381230/how-can-i-remove-the-bom-from-a-utf-8-file