• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            huyutian

            他強由他強,清風拂山崗;他橫由他橫,明月照大江。他自狠來他自惡,我自一口真氣足

              C++博客 :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
              20 隨筆 :: 47 文章 :: 22 評論 :: 0 Trackbacks
            HDF5格式非常適合保存層次化的結構數據集合。python下有pytable和h5py兩種接口方式支持存儲HDF5文件,pandas就支持直接讀寫pytable。保存數據量不太大(一般控制在2GB以內)的日線分鐘線數據用h5格式還是很方便的。pandas在讀取h5文件時,可以像數據庫一樣進行條件檢索。詳細資料可參考pandas.HDFStore的where參數。要使column可以在where語句中查詢,保存數據文件時需要增加index或者明確指定data_columns。但是指定過多的column為data_columns將會使得性能下降
            網上搜索后找到了關于pandas存儲HDF5文件性能優化的一些建議,原文在這里

            1.不使用index,創建出來的HDF文件尺寸會小一些,速度也快一些。
            2.通過store.create_table_index() 創建索引,對data_columns進行篩選時的速度沒有什么影響。
            3.保存HDF時使用壓縮選項對數據的讀取速度影響很小,但是壓縮后,文件尺寸會顯著的變小。
            使用pandas讀寫hdf5文件示例如下
            #write
            store=pd.HDFStore("./data/Minutes.h5","a", complevel=9, complib='zlib')
            store.put("Year2015", dfMinutes, format="table", append=True, data_columns=['dt','code'])
            # read
            store=pd.HDFStore("./data/Minutes.h5","r")
            store.select("Year2015", where=['dt<Timestamp("2015-01-07")','code=="000570"'])
            posted on 2015-12-08 16:38 胡雨田 閱讀(11937) 評論(0)  編輯 收藏 引用
            欧美成人免费观看久久| 欧美丰满熟妇BBB久久久| 久久AⅤ人妻少妇嫩草影院| 久久av免费天堂小草播放| 欧美伊人久久大香线蕉综合| 久久精品毛片免费观看| 久久精品夜色噜噜亚洲A∨| 久久久久久亚洲AV无码专区| 久久久久18| 久久亚洲国产中v天仙www| 2021国内精品久久久久久影院| 97久久精品午夜一区二区| 一本大道久久香蕉成人网| 国产精品无码久久综合网| 亚洲国产精品久久电影欧美| 亚洲人AV永久一区二区三区久久 | 精品久久久久久久久久久久久久久| 香蕉久久夜色精品国产2020| 久久综合久久综合九色| 久久精品国产亚洲av麻豆小说 | 欧美亚洲国产精品久久高清| 日韩精品国产自在久久现线拍| 久久久久久久久久久久中文字幕 | 久久香综合精品久久伊人| 区亚洲欧美一级久久精品亚洲精品成人网久久久久 | 国产精品熟女福利久久AV| 国产高潮国产高潮久久久| 伊人久久大香线蕉av不卡| 久久天天躁狠狠躁夜夜2020一| 亚洲人成网站999久久久综合| 久久人妻少妇嫩草AV无码蜜桃| 91秦先生久久久久久久| 伊人丁香狠狠色综合久久| 99久久精品无码一区二区毛片 | 麻豆成人久久精品二区三区免费| 99久久这里只精品国产免费| 久久亚洲色一区二区三区| 久久婷婷色综合一区二区| 99久久国产亚洲综合精品| 亚洲AV无码久久精品成人| 九九精品99久久久香蕉|