文本文件和二進制文件的判別

作為程序員，從第一次接觸編程開始，就知道了文件的兩大類別：文本文件和二進制文件。但是，如何定義和判別這兩類文件，在我的知識體系里，卻一直是模糊的。直覺上，用文本方式讀寫的文件一定是文本文件，用二進制方式讀寫的文件一定是二進制文件，然而，用 notepad++ 照樣可以打開甚至編輯一個 .jpg 文件或者一個 .xls 文件。

事實上，不管是文本文件還是二進制文件，在物理存儲上都是二進制的。二者之間的區別不是物理層面的，而是邏輯層面的。文本文件是基于字符編碼的文件，常見的編碼有 ASCII 編碼，UTF 編碼等等。二進制文件是基于值編碼的文件，你可以根據具體應用，指定某個值是什么意思（可以看作是自定義編碼）。

在很多文檔處理的應用中，我們需要判別某個文件是文本文件還是二進制文件。如果單從文件的擴展名來判別，自然是最簡單的，但結果未必是正確的。我們重點討論通過文件內容來判別。

適用于 py2 的方法：

import string def isText(content): """判斷文件是文本還是二進制""" if "

import string def isText(content): """判斷文件是文本還是二進制""" if "\0" in content: return False text_characters = ''.join(map(chr, range(32, 127)) + list("\n\r\t\b")) _null_trans = string.maketrans("", "") t = content.translate(_null_trans, text_characters) if float(len(t))/float(len(content)) > 0.30: return False else: return True

" in content: return False text_characters = ''.join(map(chr, range(32, 127)) + list("\n\r\t\b")) _null_trans = string.maketrans("", "") t = content.translate(_null_trans, text_characters) if float(len(t))/float(len(content)) > 0.30: return False else: return True

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

適用于 py3 的方法：

def isText(content): """判斷文件是文本還是二進制""" if b'\0' in content: return False text_characters = ''.join(list(map(chr, range(32, 127))) + list('\n\r\t\b')) _null_trans = b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff' t = content.translate(_null_trans, text_characters.encode()) if float(len(t))/float(len(content)) > 0.30: return False else: return True

1

2

3

4

5

6

7

8

9

10

11

12

13

14

Python

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。