Python中有兩種字符串，分別是一般的字符串（每個(gè)字符用8 bits表示）和Unicode字符串（每個(gè)字符用一個(gè)或者多個(gè)字節(jié)表示），它們可以相互轉(zhuǎn)換。關(guān)于Unicode，Joel Spolsky 在 The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) 中有生動(dòng)的說(shuō)明，Jason Orendorff 在 Unicode for programmers 有著更為全面的描述，在此我就不再多說(shuō)什么了。來(lái)看下面的代碼：
運(yùn)行上述代碼，Python會(huì)給出下面的錯(cuò)誤提示
說(shuō)是遇到非ASCII字符了，并讓我們參考pep-0263。PEP-0263（Python Enhancement Proposal）上面說(shuō)得很清楚了，Python也意識(shí)到了國(guó)際化問(wèn)題，并提出了解決方案。根據(jù)提案上面的要求，我們有如下代碼
程序運(yùn)行的結(jié)果如下：
我們可以看到，通過(guò)引入編碼聲明，我們可以正常地在使用中文了，而且在code 1和2中，控制臺(tái)也能正確的把中文打印出來(lái)。但是，很明顯，上面的代碼也反映出了不少的問(wèn)題： 1、code 1 和 2在使用print時(shí)采用了不同的方式，1是直接print，而2在print之前先進(jìn)行編碼 2、code 1 和 2中在同樣的字符串查找同一個(gè)字符“我”，得出的結(jié)果不一樣（分別是5和3） 3、code 3 中直接打印unicode字符串 y時(shí)出現(xiàn)錯(cuò)誤（這也是為什么code 2中要先進(jìn)行編碼的原因）
為什么？為什么？我們可以先在腦海中模擬一下我們使用Python的流程：首先，我們先用編輯器編寫好源代碼，保存成文件。如果源代碼中有編碼聲明而且用的編輯器支持該語(yǔ)法，那么該文件就以相應(yīng)的編碼方式保存在磁盤中。注意：編碼聲明和源文件的編碼不一定是一致的，你完全可以在編碼聲明中聲明編碼為UTF-8，但是用GB2312來(lái)保存源文件。當(dāng)然，我們不可能自尋煩惱，故意寫錯(cuò)，而且好的IDE也能強(qiáng)制保證兩者的一致性，但是，如果我們用記事本或者EditPlus等編輯器來(lái)編寫代碼的話，一不小心就會(huì)出現(xiàn)這種問(wèn)題的。 得到一個(gè).py文件后，我們就可以運(yùn)行它了，這是，我們就把代碼交給Python解析器來(lái)完成解析工作。解析器讀入文件時(shí)，先解析文件中的編碼聲明，我們假設(shè)文件的編碼為gb2312，那么先將文件中的內(nèi)容由gb2312轉(zhuǎn)換成Unicode，然后再把這些Unicode轉(zhuǎn)換為UTF-8格式的字節(jié)串。完成這一步驟后，解析器把這些UTF-8字節(jié)串分段，解析。如果遇到使用Unicode字符串，那么就使用相應(yīng)的UTF-8字節(jié)串創(chuàng)建Unicode字符串，如果程序中使用的是一般的字符串，那么解析器先將UTF-8字節(jié)串通過(guò)Unicode轉(zhuǎn)換成相應(yīng)編碼（這里就是gb2312編碼）的字節(jié)串，并用其創(chuàng)建一般的字符串對(duì)象。也就是說(shuō)，Unicode字符串跟一般字符串在內(nèi)存中的存放格式是不一樣的，前者使用UTF-8的格式，后者使用GB2312格式。 好了，內(nèi)存中的字符串存放格式我們知道了，下面我們要了解print的工作方式。print其實(shí)只是負(fù)責(zé)把內(nèi)存中相應(yīng)的字節(jié)串交給操作系統(tǒng)，讓操作系統(tǒng)相應(yīng)的程序（譬如cmd窗口）進(jìn)行顯示。這里有兩種情況： 1、若字符串是一般的字符串，那么print只需把內(nèi)存中相應(yīng)的字節(jié)串推送給操作系統(tǒng)。如例子中的code 1。 2、如果字符串是Unicode字符串，那么print在推送之前先進(jìn)行相應(yīng)的encode：我們可以顯示使用Unicode的encode方法使用合適的編碼方式來(lái)編碼（例子中code 2），否則Python使用默認(rèn)的編碼方式進(jìn)行編碼，也就是ASCII（例子中的code 3）。當(dāng)然ASCII是不可能正確編碼中文的，因此Python報(bào)錯(cuò)。 至此，上面的三個(gè)問(wèn)題我們已經(jīng)可以解析第一和第三個(gè)了。至于第二個(gè)問(wèn)題，因?yàn)镻ython中有兩種字符串，一般字符串和Unicode字符串，兩者都有各自的字符處理方法。對(duì)于前者，方法是以字節(jié)的方式進(jìn)行的，而且在GB2312中，每個(gè)漢字占用兩個(gè)字節(jié)，因此得到的結(jié)果是5；對(duì)于后者，也就是Unicode字符串，所有字符都是統(tǒng)一看待的，因此得到3。 雖然上面只提到了控制臺(tái)程序的中文問(wèn)題，但是文件讀寫以及網(wǎng)絡(luò)傳輸中出現(xiàn)的中文問(wèn)題在原理上都是類似的。Unicode的出現(xiàn)可以很大程度上解決軟件的國(guó)際化問(wèn)題，同時(shí)Python為Unicode提供了極為良好的支持，因此，我建議大家在編寫Python的程序時(shí)，都統(tǒng)一使用Unicode方式。保存文件時(shí)使用UTF-8的編碼方式。How to Use UTF-8 with Python有詳細(xì)的描述。
Powered by: C++博客 Copyright © Hero
