Posted on 2007-05-30 16:54
chemz 閱讀(5830)
評論(14) 編輯 收藏 引用 所屬分類:
C++
字符集相關(guān)問題
字符集目前有兩個大的類別：本地字符集和國際字符集，其中每一類別的字符集又有多個
不同的字符編碼實例。比如：本地字符集中基本上對于每一個不同的地區(qū)和國家就會形成一個
屬于自己的字符集（ascii, latin-1, chs等），國際字符集中同樣包括多種不同的編碼方案
（utf8, utf16等）。
那么在C/C++程序中如何完成上述字符集之間的轉(zhuǎn)換工作呢？分成兩種情況：
1. 通過const char *cstr使用開發(fā)環(huán)境中的編輯器輸入字符串常量"中國"，如下：
const char *cstr = "中國";
這樣一來cstr所指向的字符串內(nèi)存中保存的則是本地字符編碼下所形成的字符串，也
就是說，上面的cstr中存儲著chs字符編碼集中的字符；
2. 通過const wchar_t *wstr使用開發(fā)環(huán)境中的編輯器輸入字符串常量"中國"，如下：
const wchar_t *wstr = L"中國";
這樣一來wstr所指向的字符串內(nèi)存中保存的則是國際字符編碼（在VC++下是ucs2，
在gcc下是ucs4）下所形成的字符串，也就是說，上面的wstr中存儲著utf16字符編
碼集中的字符；
那么如何將cstr轉(zhuǎn)換成為wstr呢？可以通過C語言中的標(biāo)準(zhǔn)轉(zhuǎn)換函數(shù)mbstowcs來完成該工
作，此時需要注意的是如果直接使用mbstowcs進行轉(zhuǎn)換會得到一個錯誤的結(jié)果，并不能成功
的完成轉(zhuǎn)換成為國際寬字符的要求，這是為什么呢？在C/C++語言標(biāo)準(zhǔn)中定義了其運行時的
字符集環(huán)境為"C"，也就是ASCII字符集的一個子集，那么mbstowcs在工作時會將cstr中所包
含的字符串看作是ASCII編碼的字符，而不認(rèn)為是一個包含有chs編碼的字符串，所以他會將
每一個中文拆成2個ASCII編碼進行轉(zhuǎn)換，這樣得到的結(jié)果就是會形成4個wchar_t的字符組成
的串，那么如何才能夠讓mbstowcs正常工作呢？在調(diào)用mbstowcs進行轉(zhuǎn)換之間必須明確的告
訴mbstowcs目前cstr串中包含的是chs編碼的字符串，通過setlocale( LC_ALL, "chs" )函數(shù)
調(diào)用來完成，需要注意的是這個函數(shù)會改變整個應(yīng)用程序的字符集編碼方式，必須要通過重
新調(diào)用setlocale( LC_ALL, "C" )函數(shù)來還原，這樣就可以保證mbstowcs在轉(zhuǎn)換時將cstr中
的串看作是中文串，并且轉(zhuǎn)換成為2個wchar_t字符，而不是4個。
Feedback
const wchar_t *wstr = "中國";
這樣寫不合法吧
const wchar_t *wstr = L"中國";
請教一下，在Solaris操作系統(tǒng)下中文字符串使用的是什么字符集。
我在Solaris下用setlocale( LC_ALL, "chs" )，然后將字符串轉(zhuǎn)換成unicode
得到錯誤結(jié)果，后來發(fā)現(xiàn)在solaris里面就沒有"chs"這種編碼方式，請問我怎樣才能正確轉(zhuǎn)換
我在搞solaris的時候也遇到過這個問題，我所在的環(huán)境是solaris9和10對于8我不太清楚。是這樣的，在solaris的操作系統(tǒng)安裝光盤中有一張單獨的Languages語言支持光盤，必須要選擇安裝對應(yīng)的字符集支持，如果要顯示中文還必須要切換操作系統(tǒng)的當(dāng)前語種到中文（任意一種中文都沒有問題，最好采用GB18030，否則會出現(xiàn)有些生僻的字沒有編碼的問題），這樣就可以轉(zhuǎn)換和顯示了。對于solaris8沒有試過，因為比較老了。
謝謝chemz
但是我在solaris下locale -a 查了一下他里面支持的中文字符集有
zh,zh_CN.EUC,zh.GBK,zh.UTF-8,我一個個試過了，但是都不正確轉(zhuǎn)換，是不是真的需要另外加中文字符集，不清楚在solaris下面是不是真的有“chs”的字符集
不好意思我沒有用過Sun的CC，凡是在Unix環(huán)境下開發(fā)我們都用統(tǒng)一的GNU gcc編譯器集合，這樣會比較好移植。
我在LINUX企業(yè)版5上實驗了上面代碼，編譯時這句const wchar_t *wstr = L"中國";報錯converting to execution character set：無效或不完整的多字節(jié)字符或?qū)捵址?
是怎么回事啊，LINUX下不能把中文轉(zhuǎn)成UNICODE嗎？那怎么用。
樓上的需要注意你可能在寫const wchar_t *wstr = L"中國";這句話時引號是個中文的，所以才會有問題。
我怎么知道我的字符串中是什么編碼呢？
比如：
m_ctrlEdit.GetWindowText(m_strEdit);
此時m_strEdit中是什么編碼的字符串呢？
如果中英文混排的情況如何轉(zhuǎn)換成寬字符呢？
const char* str = "I 服了 You";