青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

sunrise

每天不斷學(xué)習(xí),才能不斷提升自己。

  C++博客 :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
  64 隨筆 :: 0 文章 :: 92 評論 :: 0 Trackbacks
ps:中文處理經(jīng)驗不足,學(xué)習(xí)了。
下面這個小工具包含了 判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。 全角符號轉(zhuǎn)半角符號。 unicode字符串歸一化等工作。 還有一個能處理多音字的漢字轉(zhuǎn)拼音的程序,還在整理中。
轉(zhuǎn)自:
http://hi.baidu.com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1
#!/usr/bin/env python
#
 -*- coding:GBK -*- 
 
"""漢字處理的工具:
判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。
全角符號轉(zhuǎn)半角符號。
"""
 
def is_chinese(uchar):
        """判斷一個unicode是否是漢字"""
        if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
                return True
        else:
                return False
 
def is_number(uchar):
        """判斷一個unicode是否是數(shù)字"""
        if uchar >= u'\u0030' and uchar<=u'\u0039':
                return True
        else:
                return False
 
def is_alphabet(uchar):
        """判斷一個unicode是否是英文字母"""
        if (uchar >= u'\u0041' and uchar<=u'\u005a'or (uchar >= u'\u0061' and uchar<=u'\u007a'):
                return True
        else:
                return False
 
def is_other(uchar):
        """判斷是否非漢字,數(shù)字和英文字符"""
        if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
                return True
        else:
                return False
 
def B2Q(uchar):
        """半角轉(zhuǎn)全角"""
        inside_code=ord(uchar)
        if inside_code<0x0020 or inside_code>0x7e:      #不是半角字符就返回原來的字符
                return uchar
        if inside_code==0x0020: #除了空格其他的全角半角的公式為:半角=全角-0xfee0
                inside_code=0x3000
        else:
                inside_code+=0xfee0
        return unichr(inside_code)
 
def Q2B(uchar):
        """全角轉(zhuǎn)半角"""
        inside_code=ord(uchar)
        if inside_code==0x3000:
                inside_code=0x0020
        else:
                inside_code-=0xfee0
        if inside_code<0x0020 or inside_code>0x7e:      #轉(zhuǎn)完之后不是半角字符返回原來的字符
                return uchar
        return unichr(inside_code)


 
def stringQ2B(ustring):
        """把字符串全角轉(zhuǎn)半角"""
        return "".join([Q2B(uchar) for uchar in ustring])
 
def uniform(ustring):
        """格式化字符串,完成全角轉(zhuǎn)半角,大寫轉(zhuǎn)小寫的工作"""
        return stringQ2B(ustring).lower()
 
def string2List(ustring):
        """將ustring按照中文,字母,數(shù)字分開"""
        retList=[]
        utmp=[]
        for uchar in ustring:
                if is_other(uchar):
                        if len(utmp)==0:
                                continue
                        else:
                                retList.append("".join(utmp))
                                utmp=[]
                else:
                        utmp.append(uchar)
        if len(utmp)!=0:
                retList.append("".join(utmp))
        return retList
 
if __name__=="__main__":
        #test Q2B and B2Q
        for i in range(0x0020,0x007F):
                print Q2B(B2Q(unichr(i))),B2Q(unichr(i))
 
        #test uniform
        ustring=u'中國 人名a高頻A'
        ustring=uniform(ustring)
        ret=string2List(ustring)





        print ret
posted on 2012-08-29 17:47 SunRise_at 閱讀(4180) 評論(0)  編輯 收藏 引用 所屬分類: 可愛的python
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品va在线播放| 亚洲国产婷婷香蕉久久久久久99 | 亚洲精品乱码久久久久久按摩观 | 欧美α欧美αv大片| 亚洲精品一区二区三区四区高清| 久久久精品一区| 久久久久女教师免费一区| 亚洲午夜激情免费视频| 亚洲婷婷在线| 欧美在线播放视频| 久热成人在线视频| 91久久精品美女高潮| 欧美性淫爽ww久久久久无| 欧美日韩国产欧| 欧美高清一区| 国产精品理论片在线观看| 国产乱理伦片在线观看夜一区| 国产精品爱久久久久久久| 国产精品网曝门| 亚洲高清在线观看| 亚洲中无吗在线| 老色鬼精品视频在线观看播放| 欧美激情一区二区三区全黄 | 国产精品v欧美精品v日韩| 欧美午夜剧场| 亚洲精品在线三区| 久久精品人人爽| 在线亚洲欧美视频| 免费欧美在线视频| 国产日产欧美一区| 99在线热播精品免费| 久久手机免费观看| 亚洲图片欧洲图片日韩av| 欧美va天堂在线| 狠狠色丁香久久婷婷综合丁香| 亚洲一区二区三区欧美 | 亚洲国产成人不卡| 久久er精品视频| 亚洲欧美精品伊人久久| 欧美日韩国产精品一区| 亚洲精品婷婷| 99亚洲一区二区| 欧美激情精品久久久| 亚洲午夜av电影| 国产精品伦一区| 欧美在线播放高清精品| 午夜精品视频| 在线电影国产精品| 欧美激情国产日韩精品一区18| 久久永久免费| 亚洲午夜av在线| 午夜精品一区二区三区四区 | 亚洲一级二级| 国产一区二区三区无遮挡| 噜噜噜躁狠狠躁狠狠精品视频| 欧美在线视频免费播放| 亚洲国产精品国自产拍av秋霞| 欧美国产免费| 国产精品一区二区三区久久久| 久久精品在线观看| 免费成人性网站| 久久国产视频网| 欧美日韩免费在线| 久久久999精品免费| 欧美精品一线| 猛男gaygay欧美视频| 国产精品成人一区二区艾草| 另类亚洲自拍| 狠狠爱综合网| 香港久久久电影| 亚洲一级片在线看| 欧美成人综合网站| 久久在线免费| 精品动漫3d一区二区三区免费版| 99国产成+人+综合+亚洲欧美| 影音先锋在线一区| 久久爱另类一区二区小说| 国产精品欧美风情| 免费永久网站黄欧美| 国产三级欧美三级日产三级99| 亚洲裸体俱乐部裸体舞表演av| 在线观看中文字幕亚洲| 久久精品国产亚洲一区二区| 久久国产精品毛片| 国产亚洲一本大道中文在线| 亚洲欧美文学| 久久精品毛片| 亚洲高清在线观看一区| 欧美激情一二三区| 亚洲永久视频| 蜜臀久久99精品久久久久久9| 狠狠色伊人亚洲综合网站色| 久久久久网址| 在线亚洲欧美视频| 久久久免费精品视频| 亚洲日本成人| 国产精品综合av一区二区国产馆| 欧美一区二区三区在| 亚洲国产专区| 欧美一区综合| 亚洲人成小说网站色在线 | 欧美激情一区二区三区在线视频观看| 91久久久久久| 极品尤物av久久免费看| 欧美日韩免费观看中文| 久久久久在线观看| 午夜精品久久久久99热蜜桃导演| 久久夜色精品| 欧美一区三区二区在线观看| 亚洲三级电影在线观看| 国产一级一区二区| 国产精品高清在线观看| 欧美va天堂在线| 久久综合中文| 久久在线视频| 久久一综合视频| 久久国内精品视频| 欧美在线观看一二区| 亚洲一区二区三区四区在线观看| 精品999成人| 亚洲激情在线| 日韩视频在线观看| 亚洲美女电影在线| 亚洲视频每日更新| 亚洲欧美综合一区| 久久精品国产亚洲一区二区三区 | 国产日韩欧美二区| 激情久久久久| 亚洲精品日日夜夜| 香蕉av福利精品导航| 久久久久久久波多野高潮日日| 久久久久免费观看| 亚洲国产天堂久久综合网| 亚洲美女中出| 久久久久国产一区二区| 免费在线欧美黄色| 国产精品视频内| 亚洲精品在线一区二区| 欧美一区二区三区四区在线观看地址| 久久精品国产一区二区三区免费看| 免费成人在线观看视频| 国产精品99久久久久久久vr| 久久久精品tv| 国产精品自在线| 亚洲色图在线视频| 欧美国产大片| 久久久国产精品一区二区三区| 欧美日韩国产成人在线91| 激情偷拍久久| 久久久久一区二区| 午夜免费久久久久| 国产精品你懂的| 亚洲欧美一区二区激情| 在线视频欧美日韩精品| 欧美片第一页| 欧美jjzz| 亚洲精品欧美精品| 欧美高清在线视频| 欧美成人精品影院| 亚洲人成欧美中文字幕| 亚洲黄色影片| 欧美日韩亚洲国产精品| 中文高清一区| 亚洲欧美一区二区在线观看| 国产精品乱码| 久久夜色精品国产| 欧美bbbxxxxx| 亚洲一区观看| 久久免费高清视频| 99视频精品全部免费在线| 亚洲免费播放| 国产一区二区视频在线观看 | 亚洲黄一区二区三区| 美女91精品| 欧美日韩一本到| 久久亚洲综合| 国产精品伦一区| 欧美黄色小视频| 国产情人节一区| 亚洲国产91精品在线观看| 国产精品一二| 一区二区三区日韩精品视频| 国产亚洲精品高潮| 中文亚洲字幕| 91久久综合| 欧美国产日韩视频| 国产香蕉久久精品综合网| 在线一区视频| 免费不卡在线视频| 久久精品在线| 国产欧美精品xxxx另类| 亚洲日本中文字幕| 亚洲美女av黄| 久久久久久国产精品一区| 亚洲欧美三级在线| 欧美午夜免费电影| 亚洲一级在线| 久久久久国产一区二区三区| 国产欧美日韩亚洲一区二区三区| 一本色道**综合亚洲精品蜜桃冫|