青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

sunrise

每天不斷學(xué)習(xí),才能不斷提升自己。

  C++博客 :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
  64 隨筆 :: 0 文章 :: 92 評論 :: 0 Trackbacks
ps:中文處理經(jīng)驗不足,學(xué)習(xí)了。
下面這個小工具包含了 判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。 全角符號轉(zhuǎn)半角符號。 unicode字符串歸一化等工作。 還有一個能處理多音字的漢字轉(zhuǎn)拼音的程序,還在整理中。
轉(zhuǎn)自:
http://hi.baidu.com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1
#!/usr/bin/env python
#
 -*- coding:GBK -*- 
 
"""漢字處理的工具:
判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。
全角符號轉(zhuǎn)半角符號。
"""
 
def is_chinese(uchar):
        """判斷一個unicode是否是漢字"""
        if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
                return True
        else:
                return False
 
def is_number(uchar):
        """判斷一個unicode是否是數(shù)字"""
        if uchar >= u'\u0030' and uchar<=u'\u0039':
                return True
        else:
                return False
 
def is_alphabet(uchar):
        """判斷一個unicode是否是英文字母"""
        if (uchar >= u'\u0041' and uchar<=u'\u005a'or (uchar >= u'\u0061' and uchar<=u'\u007a'):
                return True
        else:
                return False
 
def is_other(uchar):
        """判斷是否非漢字,數(shù)字和英文字符"""
        if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
                return True
        else:
                return False
 
def B2Q(uchar):
        """半角轉(zhuǎn)全角"""
        inside_code=ord(uchar)
        if inside_code<0x0020 or inside_code>0x7e:      #不是半角字符就返回原來的字符
                return uchar
        if inside_code==0x0020: #除了空格其他的全角半角的公式為:半角=全角-0xfee0
                inside_code=0x3000
        else:
                inside_code+=0xfee0
        return unichr(inside_code)
 
def Q2B(uchar):
        """全角轉(zhuǎn)半角"""
        inside_code=ord(uchar)
        if inside_code==0x3000:
                inside_code=0x0020
        else:
                inside_code-=0xfee0
        if inside_code<0x0020 or inside_code>0x7e:      #轉(zhuǎn)完之后不是半角字符返回原來的字符
                return uchar
        return unichr(inside_code)


 
def stringQ2B(ustring):
        """把字符串全角轉(zhuǎn)半角"""
        return "".join([Q2B(uchar) for uchar in ustring])
 
def uniform(ustring):
        """格式化字符串,完成全角轉(zhuǎn)半角,大寫轉(zhuǎn)小寫的工作"""
        return stringQ2B(ustring).lower()
 
def string2List(ustring):
        """將ustring按照中文,字母,數(shù)字分開"""
        retList=[]
        utmp=[]
        for uchar in ustring:
                if is_other(uchar):
                        if len(utmp)==0:
                                continue
                        else:
                                retList.append("".join(utmp))
                                utmp=[]
                else:
                        utmp.append(uchar)
        if len(utmp)!=0:
                retList.append("".join(utmp))
        return retList
 
if __name__=="__main__":
        #test Q2B and B2Q
        for i in range(0x0020,0x007F):
                print Q2B(B2Q(unichr(i))),B2Q(unichr(i))
 
        #test uniform
        ustring=u'中國 人名a高頻A'
        ustring=uniform(ustring)
        ret=string2List(ustring)





        print ret
posted on 2012-08-29 17:47 SunRise_at 閱讀(4180) 評論(0)  編輯 收藏 引用 所屬分類: 可愛的python
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            浪潮色综合久久天堂| 亚洲午夜在线观看| 性做久久久久久| 久热精品视频在线免费观看| 欧美色一级片| 久久久久久国产精品mv| 欧美亚洲一级片| 日韩视频免费看| 亚洲色图制服丝袜| 久久在线免费| 亚洲天堂av综合网| 国产女主播一区二区| 亚洲午夜久久久久久尤物| 欧美精品日韩| 久久人人97超碰精品888| 久久久久久久久久久久久久一区 | 免费不卡欧美自拍视频| 国产精品卡一卡二卡三| 欧美绝品在线观看成人午夜影视| 久久久一区二区三区| 久久久久免费| 欧美不卡福利| 欧美日韩国产综合网| 一区二区三区日韩精品视频| 日韩午夜黄色| 欧美一区二区私人影院日本| 日韩视频永久免费观看| 欧美韩日视频| 久久婷婷久久| 亚洲欧美一区二区三区久久| 韩国精品主播一区二区在线观看| 国产精品久久久久91| 国产精品99久久久久久久久| 亚洲精品美女| 亚洲第一精品电影| 欧美中文字幕在线视频| 亚洲精品久久久久久久久久久久久| 久久久夜精品| 免费在线欧美黄色| 欧美黄色aaaa| 国产精品成人免费精品自在线观看| 国产精品国产三级国产普通话99 | 一区二区三区四区精品| 亚洲综合日韩在线| 久久精品夜色噜噜亚洲a∨| 欧美国产日韩视频| 国产精品久久久久高潮| 一区二区亚洲欧洲国产日韩| 国产精品乱子久久久久| 欧美日韩影院| 国内欧美视频一区二区| av成人国产| 久久久久一区二区| 亚洲经典三级| 亚洲一区二区三区视频| 久久免费一区| av成人福利| 久久综合图片| 国产视频在线观看一区二区三区 | 欧美在线免费视频| 欧美国产欧美综合| 国产在线精品自拍| 亚洲毛片在线观看| 久久久久欧美精品| 亚洲一区在线免费| 暖暖成人免费视频| 宅男精品视频| 欧美va天堂| 激情综合色丁香一区二区| 亚洲在线视频网站| 亚洲国产婷婷香蕉久久久久久| 亚洲欧美日本日韩| 欧美日韩一二区| 日韩视频不卡| 欧美刺激性大交免费视频| 99视频超级精品| 欧美护士18xxxxhd| 亚洲激情影院| 欧美国产日韩在线| 久久精品水蜜桃av综合天堂| 在线观看91精品国产入口| 日韩一区二区免费高清| 狂野欧美一区| 国语精品一区| 欧美中文字幕视频在线观看| 国产精品99久久久久久久女警| 欧美巨乳在线| 一本色道久久88综合亚洲精品ⅰ| 亚洲高清av| 欧美成人一区二免费视频软件| 国产美女精品免费电影| 亚洲午夜在线观看| 日韩亚洲欧美成人| 欧美日韩精品在线观看| 夜夜嗨av色一区二区不卡| 亚洲精品久久久久久久久久久| 欧美成人视屏| 一本一本久久a久久精品综合妖精 一本一本久久a久久精品综合麻豆 | 亚洲天堂成人| 99pao成人国产永久免费视频| 欧美不卡在线视频| 日韩亚洲欧美中文三级| 日韩视频在线观看免费| 国产精品啊啊啊| 久久激情婷婷| 理论片一区二区在线| 国产日韩精品在线观看| 久久综合网hezyo| 欧美不卡在线视频| 亚洲午夜黄色| 欧美永久精品| 亚洲欧洲日本在线| 亚洲精品在线观看视频| 国产精品人人做人人爽| 久久亚洲国产成人| 欧美激情国产精品| 亚洲专区一区| 久久亚洲影音av资源网| 一区二区三区日韩在线观看| 中文av一区特黄| 国产亚洲精品久久久久动| 欧美国产日韩一区二区在线观看| 久久免费视频这里只有精品| 洋洋av久久久久久久一区| 亚洲欧美自拍偷拍| 亚洲日本电影| 亚洲午夜精品福利| 亚洲国产精品一区二区久 | 亚洲精品在线观看视频| 亚洲欧洲精品一区二区三区波多野1战4 | 欧美顶级少妇做爰| 欧美日韩中文字幕在线| 国内精品伊人久久久久av影院| 免费亚洲电影在线| 国产精品免费网站在线观看| 亚洲精品偷拍| aa级大片欧美| 欧美日本韩国在线| 亚洲毛片一区二区| 99精品视频一区| 欧美片在线观看| 亚洲精品色婷婷福利天堂| 夜夜躁日日躁狠狠久久88av| 欧美另类亚洲| 在线视频亚洲| 欧美一级在线播放| 国产一区激情| 久久九九全国免费精品观看| 玖玖玖国产精品| 亚洲国产成人久久综合| 欧美99在线视频观看| 亚洲精品在线免费观看视频| 亚洲一区二区黄色| 国产精品一二一区| 欧美在线高清| 欧美激情视频网站| 一区二区欧美国产| 国产精品视频免费| 欧美中文字幕第一页| 久久综合久久美利坚合众国| 亚洲成人直播| 欧美婷婷六月丁香综合色| 亚洲已满18点击进入久久| 免费不卡在线观看| 一区二区三区免费网站| 国产精品日韩欧美大师| 久久这里只有| 一本一本久久a久久精品综合妖精| 性欧美xxxx视频在线观看| 一区二区视频免费完整版观看| 欧美精品福利在线| 欧美怡红院视频| 亚洲伦理精品| 久久综合九色99| 亚洲影院污污.| 亚洲国产精品传媒在线观看| 国产精品v欧美精品v日本精品动漫| 欧美在线观看一区二区三区| 91久久久久久| 久久精品午夜| 宅男噜噜噜66一区二区66| 国内精品久久久久久久影视蜜臀| 嫩草国产精品入口| 亚洲欧美制服中文字幕| 亚洲人成精品久久久久| 久久精品一区二区三区四区 | 一本色道精品久久一区二区三区 | 亚洲国产91| 久久精品官网| 亚洲午夜精品视频| 亚洲韩国一区二区三区| 国产伦精品一区二区三区视频孕妇 | 亚洲高清久久久| 欧美精品一区二区蜜臀亚洲| 校园激情久久| 999亚洲国产精| 亚洲福利视频在线| 麻豆av福利av久久av| 久久国产精品久久久久久电车| 一区二区三区高清不卡|