亚洲欧洲在线一区,亚洲啪啪91,黄色成人在线观看

批量html轉(zhuǎn)text

批量html轉(zhuǎn)text

（轉(zhuǎn)載請注明來源于金慶的專欄）

原來的代碼是參考“Recipe 12.11. Using MSHTML to Parse XML or HTML”，利用htmlfile提取文本。
將當前目錄下的所有html文件轉(zhuǎn)換為text文件。

def extractHtmlFile(htmlFilePath):
    '''Extract html text and save to text file.
    '''
    htmlData = file(htmlFilePath, 'r').read()
    import win32com.client
    html = win32com.client.Dispatch('htmlfile')
    html.writeln(htmlData)
    text = html.body.innerText.encode('gbk', 'ignore')

但是發(fā)現(xiàn)MSHTML解析文件可能會出錯，造成文本提取失敗。

jigloo經(jīng)過對10W+個html文件的測試，得出結(jié)論，htmlfile的容錯比InternetExplorer.Application要差很多。
原文見：http://groups.google.com/group/python-cn/msg/c9221764bcafbc21
他的代碼大致如下，IE使用稍煩：

#!/usr/bin/env python

import sys, os, re, codecs
import time
import win32com.client

class htmlfile:
    def __init__(self):
        self.__ie = win32com.client.Dispatch('InternetExplorer.Application')
        self.__ie.Silent = True
        self.__filename  = ''
        self.__document  = None

    def __del__(self):
        self.__ie.Quit()

    def __getdocument(self, filename):
        filename = os.path.abspath(filename)
        if self.__filename != filename:
            self.__filename = filename
            self.__ie.Navigate2(filename)
            self.__ie.Document.close()
            while self.__ie.Document.Body is None:
                time.sleep(0.1)
            self.__document = self.__ie.Document
        return self.__document
    def gettext(self, filename):
        return self.__getdocument(filename).Body.innerText
    def gettitle(self, filename):
        return self.__getdocument(filename).title

if __name__ == '__main__':
    hf = htmlfile()
    for root, dirs, names in os.walk(u'.'):
        for name in names:
            if name.endswith('htm') or name.endswith('html'):
                htmlpath = os.path.join(root, name)
                textpath = htmlpath + '.txt'
                file(textpath, 'wb').write(hf.gettext(htmlpath).encode('mbcs'))
            # End of if.
        # End of for name.
    # End of for root.
    del hf
# End of if.

對于我的簡單任務，這就足夠了。

有一個問題，如果有資源管理器打開著，運行這段代碼會關(guān)閉資源管理器，并出錯退出。比較奇怪，但應該不難解決，可能是IE控件的使用上還有問題。

self.__ie.Document.close()
File "C:\Python25\Lib\site-packages\win32com\client\dynamic.py", line 496, in
__getattr__
raise AttributeError, "%s.%s" % (self._username_, attr)
AttributeError: Document.close

posted on 2008-03-13 11:55 金慶閱讀(1735) 評論(1) 編輯收藏引用所屬分類: 6. Python

只有注冊用戶登錄后才能發(fā)表評論。


相關(guān)文章: vs2017 linux 編譯輸出改成 vs 格式 xlsx批量轉(zhuǎn)為utf8的csv 如何運行 rpcz python example Windows上Python讀取stdin出錯建立Socket Policy服務器 python計算24點 (Python編程)Pickle對象 Boost.Python中文文檔下載用Boost.Python構(gòu)建混合系統(tǒng) Python封裝的性能研究

網(wǎng)站導航: 博客園 IT新聞 BlogJava 博問 Chat2DB 管理

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

金慶的專欄

公告

留言簿(12)

隨筆分類(502)

隨筆檔案(423)

相冊

搜索

積分與排名

最新評論

閱讀排行榜

評論排行榜

評論