青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

hdqqq

  C++博客 :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
  35 隨筆 :: 0 文章 :: 104 評論 :: 0 Trackbacks

這幾天在寫一個linux下的統計程序,主要是將一個文本文件讀取后,按行進行分類統計.
用C++加 Stl實現,在windows平臺下用vc編寫,然后上傳到linux機器上用gcc編譯.

在處理上,我用了一個list<string>作為讀取行的緩沖,讀了一定的行數后就進行處理.
在讀取文件的函數中是這樣寫的.

 

while (!infile.eof()) {
      memset(buf, 
0, sizeof(char)*2048);
      infile.getline(buf, 
2048);
      tt 
= buf;
      
if (tt.length()) {
        log_list.push_back(tt);
      }

      
//if the file is too big, so we do statistic per 5000 lines
      
if (log_list.size() >= 5000) {
        line_statistic(result, log_list);
        log_list.clear();
      }
}


一切ok, 但是這幾天要處理的文件變地很大,有100多M,我沒有多想,隨便的把
      if (log_list.size() >= 5000) {
改成了
      if (log_list.size() >= 50000) {
想在50000行后再進行計算處理.不料想,在linux下運行效率居然出奇的慢.
原先統計5萬行大概要20秒左右,現在居然要2分多.應該是list::size()這個函數出了問題.
我以前看過vc中的list的實現,是用一個成員變量進行記數的,在size()中就直接返回這個
值,應該不會有問題.

接著我看了gcc使用的stl的list::size()的實現,它是用
std::distance(begin(), end())
來計算的.
但是在std::distance的實現中,它按照iterator類型的不同,實現的方式也不同.
而list的iterator,是屬于雙向iterator,而非隨機iterator,因此,在std::distance()
中使用了一個循環來計算值.也就是說在gcc的stl庫中,每次調用list::size()函數,它都會從頭
到尾遍歷一遍.再看看我的代碼,循環里面每一步size()都要遍歷一遍list,難怪會變得
如此的慢.


沒想到stl的不同實現還會有這種陷阱,一不留神就撞上了.

總之 gcc中list的size()是不能隨便用的,list越大,size()函數花的時間越長.

posted on 2007-12-11 11:56 hdqqq 閱讀(10605) 評論(19)  編輯 收藏 引用 所屬分類: c/c++

評論

# re: gcc 中std::list 的size()成員函數 2007-12-11 12:44 海邊沫沫
呵呵,為什么要用list?為什么不用vector?

還有,讀取文件的代碼寫得太不C++了,像C的代碼。

C++的代碼,要么是
ifstream inputfile("filename);
string tmpstr;
vector<string> log_vector;
while(inputfile >> tmpstr)
{
log_vector.push_back(tmpstr);
}

要么是
ifstream inputfile("filename);
istream_iterator input_begin(inputfile);
istream_iterator input_end();
vector<string> log_vector(input_begin,input_end);  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數[未登錄] 2007-12-11 13:20 hdqqq
不用vector是考慮到在大數據量的情況下,vector會進行內存的拷貝復制,所以采用了list  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-11 14:03 金慶
@海邊沫沫
用istream_iterator<string>不行啊?好象是vector不能接受istream_iterator。貼個調試能過的代碼讓我們瞧瞧吧。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-11 14:20 歲月流冰
可以考慮使用deque。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-11 14:43
#include<iostream>
#include<vector>
#include<iterator>
#include<string>
#include<fstream>
using namespace std;
int main()
{
ifstream inputfile("q.cpp");
vector<string> vec;
string str;
while( getline(inputfile,str) )
vec.push_back(str);
copy(vec.begin(),vec.end(),ostream_iterator<string>(cout,"\n"));
return 0;
}  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-11 15:09 海邊沫沫
#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <iterator>
#include <algorithm>

int main()
{
std::ifstream input_file("D:\\emails100w.txt");
std::istream_iterator<std::string> input_begin(input_file);
std::istream_iterator<std::string> input_end;

std::vector<std::string> log_vector(input_begin,input_end);

//寫入到另外一個文件
std::ofstream output_file("D:\\emails100w_copy.txt");
std::ostream_iterator<std::string> output_begin(output_file,"\n");
std::copy(log_vector.begin(),log_vector.end(),output_begin);
}

上面的代碼是可以編譯通過的,其中的D:\\emails100w.txt是一個包含一百萬條記錄的文本。

剛才我給出的代碼通不過編譯,確實是我的問題,主要是
std::istream_iterator<std::string> input_end;
這一行,最后應該沒有括號。如果加上括號,編譯器就不會認為這是一個iterator,就會調用vector的錯誤構造函數,就會出現博主所敘的錯誤。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-11 17:10 winsty
自己拿個變量統計?
雖然這樣不太好...  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-12 11:02 金慶
@海邊沫沫
可惜istream_iterator<string>是按string輸入的,以空白符分隔,而不是以'\n'分隔。好像沒有辦法改變這個分隔符的吧?  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-13 14:21 海邊沫沫
不錯,是沒有辦法改變分隔符。
不過可以重載operator << 和自定義一個自己的string來實現這樣的功能。

不過這樣搞劃不來,不如使用getline  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-14 13:10 lymons
bz里描述的問題是 關于list容器的size函數帶來的效率的問題,而不是
怎么提高讀寫效率的問題,大家不要跑題啊。

而且,在讀取的過程中,還要對超過固定行數之后的容器進行統計處理。

各位高手們,請仔細看bz的source的機能要求吧。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2007-12-16 20:14 TD
re: gcc 中std::list 的size()成員函數[未登錄] 2007-12-11 13:20 hdqqq
不用vector是考慮到在大數據量的情況下,vector會進行內存的拷貝復制,所以采用了list 回復 更多評論

vector構造的時候指定一個大小,比如你程序中的5000之類的,就不會有內存的拷貝復制了吧  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數[未登錄] 2007-12-16 21:36 hdqqq
@TD
是的,如果開始的時候指定vector是可以的,但是限定了vector的大小。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2008-01-31 21:29 abettor
真沒想到,list會有這種弊端。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2008-09-19 23:12 hgyxb
list怎么會這樣啊,設計的怎么搞的  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2008-12-12 16:00 bianshj
呵呵,真是太感謝了。
最近在寫一個linux的服務器程序,用了list,剛開始的時候我自己處理list的元素數量,后來想stl既然這么優秀,它肯定會用成員變量來計數,使用size不回影響效率。結果用了size后果然出了很多問題。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2009-04-22 10:51 abettor
以前發現過這種情況,而且只在gcc中發現,不知gcc4有沒有把這個問題修正過來。
  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數 2010-12-15 12:15 qci133
@abettor
這個不是gcc的問題,而是c++標準中確實沒有規定list的size函數需要O(1)時間,反而規定了list的分割和合并需要O(1)時間。在后面一個限制之下,前面的要求是達不到的。網上有人貼過具體的分析  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數[未登錄] 2011-08-29 17:14 Chipset
關std::list屁事,是你自己沒有用明白。每個string的字符個數相等嗎?如果不等的話,那行數有什么用?如果一定要用行數標記,那就設置一個變量啊。

list::size本來就沒有規定是O(1)還是O(n),純屬依賴于實現。  回復  更多評論
  

# re: gcc 中std::list 的size()成員函數[未登錄] 2016-04-25 10:01 hdqqq
@Chipset
麻煩看清楚文章再噴  回復  更多評論
  

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美二区在线播放| 亚洲专区在线视频| 国产精品久久午夜夜伦鲁鲁| 欧美电影在线| 欧美精品久久久久久| 欧美日本一道本| 欧美日韩亚洲综合在线| 欧美四级电影网站| 国产日韩欧美一二三区| 黄色精品一二区| 亚洲精品免费网站| 亚洲一区在线免费| 久久嫩草精品久久久精品| 欧美高清你懂得| 亚洲视频在线观看免费| 欧美在线啊v一区| 欧美成人a视频| 国产小视频国产精品| 亚洲精品视频免费在线观看| 亚洲欧美日韩精品久久久久| 米奇777超碰欧美日韩亚洲| 亚洲毛片视频| 欧美一级网站| 欧美日韩日韩| 亚洲黄色av一区| 久久成年人视频| 日韩视频中文字幕| 久久综合久色欧美综合狠狠| 国产精品人人爽人人做我的可爱| 亚洲国产你懂的| 久久久久88色偷偷免费| 日韩视频中午一区| 乱人伦精品视频在线观看| 国产精品久久久亚洲一区| 最新亚洲视频| 美女主播精品视频一二三四| 亚洲一区二区三区免费观看| 嫩模写真一区二区三区三州| 国产亚洲福利| 午夜精品国产| 日韩一级黄色av| 欧美成人一区二区三区片免费| 国产日韩欧美综合一区| 午夜在线播放视频欧美| 亚洲欧美精品在线观看| 亚洲欧美视频一区| 亚洲影院在线| 欧美亚州一区二区三区 | 国产精品久久久久久一区二区三区| 激情综合中文娱乐网| 午夜伦理片一区| 亚洲午夜视频| 国产精品久久97| 亚洲欧美日本日韩| 日韩一区二区免费高清| 欧美理论电影在线观看| 亚洲精品一区二区三区樱花| 欧美电影免费观看大全| 久久婷婷国产麻豆91天堂| 国产一区在线视频| 久久久另类综合| 欧美自拍偷拍午夜视频| 国产自产女人91一区在线观看| 欧美伊人精品成人久久综合97| 亚洲影院色无极综合| 国产精品视频1区| 久久久久国产精品一区| 欧美自拍丝袜亚洲| 亚洲福利精品| 亚洲久久成人| 国产精品毛片高清在线完整版| 亚洲欧美在线另类| 欧美一级午夜免费电影| 亚洲国产成人在线视频| 亚洲国产精品黑人久久久| 欧美电影免费观看大全| 在线亚洲精品| 亚洲欧美日韩国产精品| 精品福利免费观看| 亚洲欧洲美洲综合色网| 欧美天天综合网| 久久精彩免费视频| 蜜桃av综合| 亚洲欧美日本日韩| 久久精品国产亚洲一区二区| 亚洲国产成人av好男人在线观看| 亚洲黄色成人| 国产精品五区| 亚洲动漫精品| 国产精品羞羞答答| 欧美激情第六页| 国产精品啊v在线| 免费看的黄色欧美网站| 欧美精品性视频| 欧美主播一区二区三区| 欧美**字幕| 欧美中文在线字幕| 欧美精品亚洲精品| 久久九九久久九九| 欧美另类变人与禽xxxxx| 久久精品国产清自在天天线| 欧美精品在线免费播放| 久久久久久久精| 欧美日韩一区在线| 欧美日韩精品免费| 欧美视频在线观看免费网址| 欧美噜噜久久久xxx| 亚洲欧美另类久久久精品2019| 欧美在线观看视频在线| 日韩午夜剧场| 久久久av网站| 亚洲欧美在线看| 欧美美女bb生活片| 女生裸体视频一区二区三区| 国产精品乱码一区二三区小蝌蚪 | 亚洲午夜精品久久| 久久久女女女女999久久| 亚洲欧美成人网| 欧美激情按摩| 欧美高清视频在线| 国产亚洲欧美在线| 亚洲性夜色噜噜噜7777| 99国产精品私拍| 欧美成人日韩| 欧美激情国产高清| 亚洲高清不卡在线观看| 久久国产精品99久久久久久老狼 | 久久蜜桃av一区精品变态类天堂| 亚洲一区免费网站| 欧美日韩国产欧| 亚洲精品欧美一区二区三区| 亚洲国内自拍| 欧美成人国产| 亚洲国产高清在线观看视频| 亚洲成色777777女色窝| 久久久久亚洲综合| 欧美成人a视频| 亚洲国产成人精品久久| 久热re这里精品视频在线6| 久久久久青草大香线综合精品| 国产欧美日韩亚洲| 欧美一区午夜视频在线观看| 欧美综合第一页| 黄色另类av| 欧美mv日韩mv亚洲| 亚洲人成久久| 亚洲一区二区三区免费视频| 欧美午夜一区| 亚洲欧美视频在线观看| 久久理论片午夜琪琪电影网| 极品少妇一区二区三区| 久久一区中文字幕| 亚洲国产精品女人久久久| 99国产精品久久久久久久成人热| 欧美日韩中文字幕在线视频| 亚洲综合色婷婷| 噜噜爱69成人精品| 亚洲三级免费| 国产精品久久久一区二区| 亚洲一区免费看| 免费成人高清在线视频| 亚洲免费激情| 国产精品视频专区| 久久夜色精品| 亚洲免费成人av电影| 欧美一区二区日韩| 亚洲激情电影中文字幕| 国产精品扒开腿做爽爽爽软件| 午夜亚洲福利| 欧美国产日韩xxxxx| 欧美激情亚洲激情| 亚洲视频一区二区| 激情久久五月| 欧美日韩91| 久久狠狠婷婷| 夜夜嗨av一区二区三区四季av | 久久亚洲影音av资源网| 亚洲精品日产精品乱码不卡| 国产精品普通话对白| 久久综合国产精品| 中文高清一区| 欧美激情视频一区二区三区免费 | 亚洲欧美另类中文字幕| 欧美国产三级| 久久黄色影院| 亚洲视频一二| 91久久黄色| 国产一区99| 欧美激情一区二区三区成人| 亚洲欧美另类在线| 日韩视频免费| 久久综合九色综合欧美就去吻| 一本一本久久a久久精品综合妖精 一本一本久久a久久精品综合麻豆 | 最新国产の精品合集bt伙计| 久久精品国产99精品国产亚洲性色 | 亚洲一区二区三区四区视频 | 激情五月***国产精品| 国产精品狼人久久影院观看方式| 久久综合中文| 久久综合色婷婷|