怎樣把漢字轉(zhuǎn)換成整數(shù),又怎樣把該整數(shù)還原成漢字
char * str="漢字";BYTE *pstr=(BYTE*)str;BYTE B=pstr[i];B 就是整數(shù)
一 引入問(wèn)題
代碼 wchar_t a[3]=L”中國(guó)”,編譯時(shí)出錯(cuò),出錯(cuò)信息為:數(shù)組越界。但wchar_t 是一個(gè)寬字節(jié)類(lèi)型,數(shù)組a的大小應(yīng)為6個(gè)字節(jié),而兩個(gè)漢字的的unicode碼占4個(gè)字節(jié),再加上一個(gè)結(jié)束符,最多6個(gè)字節(jié),所以應(yīng)該不會(huì)越界。
難道是編譯器出問(wèn)題了?
二 解決引入問(wèn)題所需的知識(shí)
主要需兩方面的知識(shí),第一個(gè)為字符尤其是漢字的編碼,以及語(yǔ)言和工具的支持情況,第二個(gè)是vc/c++中MutiByte Charater Set 和 Wide Character Set有關(guān)內(nèi)存分配的情況。
三 漢字的編碼方式及在vc/c++中的處理
1.漢字編碼方式的介紹
對(duì)英文字符的處理,7位ASCII碼字符集中的字符即可滿足使用需求,且英文字符在計(jì)算機(jī)上的輸入及輸出也非常簡(jiǎn)單,因此,英文字符的輸入、存儲(chǔ)、內(nèi)部處理和輸出都可以只用同一個(gè)編碼(如ASCII碼)。
而漢字是一種象形文字,字?jǐn)?shù)極多(現(xiàn)代漢字中僅常用字就有六、七千個(gè),總字?jǐn)?shù)高達(dá)5萬(wàn)個(gè)以上),且字形復(fù)雜,每一個(gè)漢字都有"音、形、義"三要素,同音字、異體字也很多,這些都給漢字的的計(jì)算機(jī)處理帶來(lái)了很大的困難。要在計(jì)算機(jī)中處理漢字,必須解決以下幾個(gè)問(wèn)題:首先是漢字的輸入,即如何把結(jié)構(gòu)復(fù)雜的方塊漢字輸入到計(jì)算機(jī)中去,這是漢字處理的關(guān)鍵;其次,漢字在計(jì)算機(jī)內(nèi)如何表示和存儲(chǔ)?如何與西文兼容?最后,如何將漢字的處理結(jié)果從計(jì)算機(jī)內(nèi)輸出?
為此,必須將漢字代碼化,即對(duì)漢字進(jìn)行編碼。對(duì)應(yīng)于上述漢字處理過(guò)程中的輸入、內(nèi)部處理及輸出這三個(gè)主要環(huán)節(jié),每一個(gè)漢字的編碼都包括輸入碼、交換碼、內(nèi)部碼和字形碼。在計(jì)算機(jī)的漢字信息處理系統(tǒng)中,處理漢字時(shí)要進(jìn)行如下的代碼轉(zhuǎn)換:輸入碼→交換碼→內(nèi)部碼→字形碼。
(1)輸入碼: 作用是,利用它和現(xiàn)有的標(biāo)準(zhǔn)西文鍵盤(pán)結(jié)合來(lái)輸入漢字。輸入碼也稱為外碼。主要?dú)w為四類(lèi):
a) 數(shù)字編碼:數(shù)字編碼是用等長(zhǎng)的數(shù)字串為漢字逐一編號(hào),以這個(gè)編號(hào)作為漢字的輸入碼。例如,區(qū)位碼、電報(bào)碼等都屬于數(shù)字編碼。
b) 拼音碼:拼音碼是以漢字的讀音為基礎(chǔ)的輸入辦法。
c) 字形碼:字形碼是以漢字的字形結(jié)構(gòu)為基礎(chǔ)的輸入編碼。例如,五筆字型碼(王碼)。
d) 音形碼:音形碼是兼顧漢字的讀音和字形的輸入編碼。
(2)交換碼:用于漢字外碼和內(nèi)部碼的交換。交換碼的國(guó)家標(biāo)準(zhǔn)代號(hào)為GB2312-80。
(3)內(nèi)部碼:內(nèi)部碼是漢字在計(jì)算機(jī)內(nèi)的基本表示形式,是計(jì)算機(jī)對(duì)漢字進(jìn)行識(shí)別、存儲(chǔ)、處理和傳輸所用的編碼。內(nèi)部碼也是雙字節(jié)編碼,將國(guó)標(biāo)碼兩個(gè)字節(jié)的最高位都置為"1",即轉(zhuǎn)換成漢字的內(nèi)部碼。
(4)字形碼:字形碼是表示漢字字形信息(漢字的結(jié)構(gòu)、形狀、筆劃等)的編碼,用來(lái)實(shí)現(xiàn)計(jì)算機(jī)對(duì)漢字的輸出(顯示、打印)。
2.VC中漢字的編碼方式
vc/c++正是采用了GB2312內(nèi)部碼作為漢字的編碼方式,因此vc/c++中的各種輸入輸出方法,如cin/wcin,cout/wcout,scanf/wsanf,printf/wprintf...都是基于GB2312的,如果漢字的內(nèi)碼不是這種編碼方式,那么利用上述各種方法就不會(huì)正確的解析漢字。
仔細(xì)觀察ASCII字符表,從第161個(gè)字符開(kāi)始,后面的字符并不經(jīng)常為用戶所使用,負(fù)值也未使用。GB2312編碼方式充分利用這一特性,將161-255(-95~-1)之間的數(shù)值空間作為漢字的標(biāo)識(shí)碼。既然255-161 = 94不能滿足漢字容量的要求,就將每?jī)蓚€(gè)字符并在一塊(即一個(gè)漢字占兩個(gè)字節(jié)),顯然,94* 94 =8836基本上已經(jīng)滿足了常用漢字個(gè)數(shù)的要求。計(jì)算機(jī)處理字符時(shí),當(dāng)連續(xù)處理到兩個(gè)大與160(或-95~-1)的字節(jié)時(shí),就認(rèn)為這兩個(gè)字節(jié)存放了一個(gè)漢字字符。可以用下面的Demo程序來(lái)模擬vc/c++中輸出漢字字符的過(guò)程。
unsigned char input[50];
cin>>input;
int flag=0;
for(int i =0 ;i < 50 ;i++)
{
if(input[i] > 0xa0 && input[i] != 0)
{
if(flag == 1)
{
cout<<"chinese character"<<endl;
flag = 0;
}
else
{
flag++;
}
}
else if(input[i] == 0)
{
break;
}
else
{
cout<<"english character"<<endl;
}
}
輸入:Hello中國(guó) (“中國(guó)”對(duì)應(yīng)的GB2312內(nèi)碼為:214 208,185 250)
輸出:english character
english character
english character
english character
english character
chinese character
chinese character
vc/c++中的英文字符仍然采用ASCII編碼方式。可以設(shè)想,其他國(guó)家程序員利用vc/c++編寫(xiě)程序輸入本國(guó)字符時(shí),vc/c++則會(huì)采用該國(guó)的字符編碼方式來(lái)處理這些字符。
問(wèn)題又產(chǎn)生了,韓國(guó)的vc/c++程序在中國(guó)的vc/c++上運(yùn)行時(shí),如果沒(méi)有相應(yīng)的內(nèi)碼庫(kù),則對(duì)韓語(yǔ)字符的顯示有可能出現(xiàn)亂碼。我個(gè)人猜測(cè),vc安裝程序中應(yīng)該帶有不同國(guó)家的內(nèi)碼庫(kù),這樣一來(lái)肯定會(huì)占用很大的空間。如果所有的國(guó)家使用統(tǒng)一的編碼方式,且所有的程序設(shè)計(jì)語(yǔ)言和開(kāi)發(fā)工具都支持這種編碼方式該多好!而現(xiàn)實(shí)中,確實(shí)已經(jīng)有這種編碼方式了,且許多新的語(yǔ)言也都支持這種編碼方式,如Java、C#等,它就是下面的Unicode編碼
3.新的內(nèi)碼標(biāo)準(zhǔn)---Unicode
Unicode(統(tǒng)一碼、萬(wàn)國(guó)碼、單一碼)是一種在計(jì)算機(jī)上使用的字符編碼。它為每種語(yǔ)言中的每個(gè)字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼,以滿足跨語(yǔ)言、跨平臺(tái)進(jìn)行文本轉(zhuǎn)換、處理的要求。1990年開(kāi)始研發(fā),1994年正式公布。隨著計(jì)算機(jī)工作能力的增強(qiáng),Unicode也在面世以來(lái)的十多年里得到普及。最新版本的 Unicode 是 2005年3月31日推出的Unicode 4.1.0 。另外,5.0 Beta已于2005年12月12日推出,以供各會(huì)員評(píng)價(jià)。
Unicode 編碼系統(tǒng)可分為編碼方式和實(shí)現(xiàn)方式兩個(gè)層次。
編碼方式:Unicode 的編碼方式與 ISO 10646 的通用字符集(Universal Character Set,UCS)概念相對(duì)應(yīng),目前的用于實(shí)用的 Unicode 版本對(duì)應(yīng)于 UCS-2,使用16位的編碼空間。也就是每個(gè)字符占用2個(gè)字節(jié)。這樣理論上一共最多可以表示 216 個(gè)字符。基本滿足各種語(yǔ)言的使用。實(shí)際上目前版本的 Unicode 尚未填充滿這16位編碼,保留了大量空間作為特殊使用或?qū)?lái)擴(kuò)展。
實(shí)現(xiàn)方式:Unicode 的實(shí)現(xiàn)方式不同于編碼方式。一個(gè)字符的 Unicode 編碼是確定的。但是在實(shí)際傳輸過(guò)程中,由于不同系統(tǒng)平臺(tái)的設(shè)計(jì)不一定一致,以及出于節(jié)省空間的目的,對(duì) Unicode 編碼的實(shí)現(xiàn)方式有所不同。Unicode 的實(shí)現(xiàn)方式稱為Unicode轉(zhuǎn)換格式(Unicode Translation Format,簡(jiǎn)稱為 UTF)。如,UTF-8 編碼,這是一種變長(zhǎng)編碼,它將基本7位ASCII字符仍用7位編碼表示,占用一個(gè)字節(jié)(首位補(bǔ)0)。而遇到與其他 Unicode 字符混合的情況,將按一定算法轉(zhuǎn)換,每個(gè)字符使用1-3個(gè)字節(jié)編碼,并利用首位為0或1進(jìn)行識(shí)別。
Java與C#語(yǔ)言都是采用Unicode編碼方式,在這兩種語(yǔ)言中定義一個(gè)字符,在內(nèi)存中存放的就是這個(gè)字符的兩字節(jié)Unicode碼。如下所示:
char a='我'; => 內(nèi)存中存放的Unicode碼為:25105