青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

posts - 7,  comments - 64,  trackbacks - 0

我現(xiàn)在需要統(tǒng)計一篇文章中的單詞數(shù)量,并排序輸出。
格式

單詞1 500
單詞2 499
單詞3 300
.....
...
..
.

現(xiàn)在的思路是
第一步:先將單詞讀入到map<string,size_t> ssmap;當中;這樣每次掃描到一個新單詞后都可以++ssmap[str];來統(tǒng)計單詞數(shù);
第二步:將map中的內(nèi)容拷貝到vector<pair<string*,size_t> > vec;當中,之后對vec用sort進行排序。(之所以要用string*是因為不希望發(fā)生string的拷貝構造,以免浪費時間)。
第三步:將vec輸出。

試驗了一下上述方法可以正確執(zhí)行。
但我想應該有更快的方法,請各位賜教一下!


呵呵,謝謝大家這么積極。

字符串長度沒有限制,這個從一個分詞程序對文章進行分詞處理以后的結果。單詞可能是“的,了”這種單個字,也可能是“中華人民共和國”這種字符串。還有可能遇到像“\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\...(n個)”這種比較變態(tài)的符號。

posted on 2009-09-03 16:05 HIT@ME 閱讀(2025) 評論(16)  編輯 收藏 引用

FeedBack:
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:20 | foxriver
map查找已經(jīng)足夠快了。你看看是不是單詞多,排序浪費了太多的時間。可以修改成radix sort, 加快速度。不過可能會有點難度,你要把string轉換成int,還用到多重排序。

個人測試大規(guī)模數(shù)據(jù),速度還能接受。貼點逼人的簡陋代碼,僅供參考,核心算法見:http://www.codercorner.com/RadixSortRevisited.htm

class vector_string : public vector<string>
{
public:
vector_string()
{
}
~vector_string()
{
}

public:
void sort(vector<int>* r_offsetset = 0)
{
vector<string> swaplist;
swaplist.resize(_Num);

vector<uint> sorttable1;
vector<uint> sorttable2;
vector<uint> sorttable3;

sorttable1.resize(_Num);
sorttable2.resize(_Num);
sorttable3.resize(_Num);

int i;
for (i=0;i<_Num;i++)
{
const string& str = _First[i];
uint b;
int n;

b = 0;
for (n=0;n<4 && n<str.size();n++)
{
if (n == 0) b |= (str[n] << 24) & 0xff000000;
if (n == 1) b |= (str[n] << 16) & 0x00ff0000;
if (n == 2) b |= (str[n] << 8) & 0x0000ff00;
if (n == 3) b |= (str[n]) & 0x000000ff;
}
sorttable1[i] = b;

b = 0;
for (n=4;n<8 && n<str.size();n++)
{
if (n == 4) b |= (str[n] << 24) & 0xff000000;
if (n == 5) b |= (str[n] << 16) & 0x00ff0000;
if (n == 6) b |= (str[n] << 8) & 0x0000ff00;
if (n == 7) b |= (str[n]) & 0x000000ff;
}
sorttable2[i] = b;

b = 0;
for (n=8;n<12 && n<str.size();n++)
{
if (n == 8) b |= (str[n] << 24) & 0xff000000;
if (n == 9) b |= (str[n] << 16) & 0x00ff0000;
if (n == 10) b |= (str[n] << 8) & 0x0000ff00;
if (n == 11) b |= (str[n]) & 0x000000ff;
}
sorttable3[i] = b;
}

radixsort_t radix;
uint* sorted = radix.Sort((uint*)&sorttable3[0], sorttable3.size(), false).Sort((uint*)&sorttable2[0], sorttable2.size(), false).Sort((uint*)&sorttable1[0], sorttable1.size(), false).GetIndices();

resort(sorted, 0, _Num, swaplist);
if (r_offsetset) r_offsetset->resort(sorted, 0, _Num);

// ------- 2 ------
vector<uint> swaptable;
swaptable.resize(_Num);

for (i=0;i<_Num;i++) swaptable[i] = sorttable1[i];
for (i=0;i<_Num;i++) sorttable1[i] = swaptable[sorted[i]];

for (i=0;i<_Num;i++) swaptable[i] = sorttable2[i];
for (i=0;i<_Num;i++) sorttable2[i] = swaptable[sorted[i]];

for (i=0;i<_Num;i++) swaptable[i] = sorttable3[i];
for (i=0;i<_Num;i++) sorttable3[i] = swaptable[sorted[i]];

// 測試 程序 文字 1
// 測試 程序 文字
// 測試 程序 文比
uint tab1 = 0xFFFFFFFF;
uint tab2 = 0xFFFFFFFF;
uint tab3 = 0xFFFFFFFF;

int samecount = 0;
for (i=0;i<_Num;i++)
{
if (tab1 == sorttable1[i] && tab2 == sorttable2[i] && tab3 == sorttable3[i])
{
samecount++;
continue;
}

if (samecount)
{
int start = i - samecount-1;
int total = samecount + 1;

bool exactsame = true;
for (int n=start+1;n<start+total;n++)
{
if (_First[n-1] != _First[n])
{
exactsame = false;
break;
}
}

if (exactsame == false)
{
quicksort_t::sort((int*)sorted, _First+start, total, _cmp);
resort(sorted, start, total, swaplist);
if (r_offsetset) r_offsetset->resort(sorted, start, total);
}
}

tab1 = sorttable1[i];
tab2 = sorttable2[i];
tab3 = sorttable3[i];
samecount = 0;
}

if (samecount)
{
int start = i - samecount-1;
int total = samecount + 1;

quicksort_t::sort((int*)sorted, _First+start, total, _cmp);
resort(sorted, start, total, swaplist);
if (r_offsetset) r_offsetset->resort(sorted, start, total);
}
}

protected:
void resort(const uint* r_sorted, int r_offset, int r_num, vector<string>& r_swaplist)
{
int i;
for (i=0;i<r_num;i++) r_swaplist[i].swap(_First[r_sorted[i]+r_offset]);
for (i=0;i<r_num;i++) _First[i+r_offset].swap(r_swaplist[i]);
}
};

  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:32 | foxriver
如果你用的是標準的new,stl的string會頻繁調用也耗費不少時間。可以改用id software的那個idHeap,官網(wǎng)quake4 sdk里就有,速度號稱是vc版本的N倍。

當然,前提必須是單線程。  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 16:38 | Vincent
今年的astar就有一道牽扯到這個的題目.
樓主的做法應該就是利用hash表統(tǒng)計吧..
我提出另外一個做法用trie樹..  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:42 | foxriver
樓主應該不是hash表,是rt樹,不過兩者速度也差不多了,沒什么可優(yōu)化的地方。hash只有在數(shù)據(jù)相當大的情況下(>1000萬條),才會有明顯優(yōu)勢。  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 16:46 | Vincent
哦..呵呵..我不太清楚rt樹是什么..
而且樓主說的這個還是太籠統(tǒng)..
比如單詞字符串的長度上限等等.
不同的條件下不同的方法有著不同的效率..

hash的話,就想到一個比較出名的elfhash..  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:46 | foxriver
暈死,打錯字了,是RB-TREE.  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 16:48 | Vincent
紅黑樹啊..
呵呵...個人覺得只要能設計出合理的hash還是hash更快些吧..  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:49 | foxriver
我喜歡用BKDR Hash Function,簡單方便,散布率對本人而言,已經(jīng)相當滿意了。  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 16:51 | Vincent
慚愧啊..事實上我只會寫elfhash...  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 16:53 | foxriver
"個人覺得只要能設計出合理的hash還是hash更快些吧", 嚴重同意!不過對于樓主來說,寫一個hash查找來替換std::map挺費時間的,內(nèi)存管理上弄不好的話,效率和穩(wěn)定性會下降,說不定還沒人家stl的快,所以不是很推薦呢。  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 16:56 | Vincent
^_^stl王道  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 23:00 | wcdj
用Unix or Linux下的使用程序 sort wc 是相當?shù)目?nbsp; 回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)![未登錄]
2009-09-03 23:26 | dskit
map的底層用紅黑樹實現(xiàn),
可以用trie樹,但是有中文,還有其他符號,好像就不好處理了  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-03 23:46 | gbb
這個不是標準的mapreduce樣例么?  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-04 14:30 | 凡客誠品
不錯哦  回復  更多評論
  
# re: 有沒有更快的辦法來統(tǒng)計一篇文章中的詞組數(shù)量并排序輸出(挑戰(zhàn)速度)!
2009-09-06 23:19 | 唐風
std::map
本身不就是排序的嗎?為什么還要倒到vector里排?不解  回復  更多評論
  

只有注冊用戶登錄后才能發(fā)表評論。
網(wǎng)站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


<2009年9月>
303112345
6789101112
13141516171819
20212223242526
27282930123
45678910

常用鏈接

留言簿(5)

隨筆檔案

test

搜索

  •  

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            午夜一级久久| 免费人成精品欧美精品| 精品999网站| 国产乱肥老妇国产一区二| 国产精品国产成人国产三级| 欧美日产在线观看| 国产精品久久久久久久一区探花 | 亚洲一区二区免费在线| 国产精品99久久99久久久二8| 一区二区三区三区在线| 亚洲欧美日韩精品一区二区| 久久国产夜色精品鲁鲁99| 麻豆精品91| 日韩一级在线观看| 欧美一区二区观看视频| 久久综合久久美利坚合众国| 欧美人成在线| 国产一区在线视频| 日韩一二三区视频| 欧美在线91| 亚洲人成网在线播放| 一本在线高清不卡dvd| 欧美专区第一页| 欧美日产一区二区三区在线观看| 国产精品久久久久久影视| 樱桃国产成人精品视频| 亚洲一区欧美| 欧美高清在线观看| 亚洲在线观看视频网站| 欧美成年人在线观看| 国产日韩精品视频一区| 在线午夜精品| 亚洲第一精品夜夜躁人人爽| 亚洲一区二区三| 嫩草伊人久久精品少妇av杨幂| 国产精品激情偷乱一区二区∴| 亚洲第一精品夜夜躁人人躁| 香蕉成人久久| 亚洲精品乱码久久久久久日本蜜臀| 亚洲综合欧美日韩| 欧美精品大片| 国产亚洲福利| 亚洲一区免费观看| 亚洲欧洲另类| 老牛国产精品一区的观看方式| 国产精品v片在线观看不卡| 一区二区在线观看视频在线观看| 亚洲综合三区| 亚洲久久成人| 欧美大尺度在线| 国产乱码精品1区2区3区| 一区二区三区四区五区在线| 亚洲福利av| 久久久青草婷婷精品综合日韩| 国产精品hd| 亚洲一区二区三区777| 亚洲欧洲日夜超级视频| 欧美高清视频在线观看| 亚洲日本免费电影| 欧美激情精品久久久久久免费印度| 欧美一区二粉嫩精品国产一线天| 国产精品专区一| 久久高清国产| 久久成人18免费网站| 国模私拍视频一区| 嫩草国产精品入口| 免费成人激情视频| 亚洲精品一二三| 日韩视频一区二区| 欧美新色视频| 久久激情视频| 久久三级福利| 亚洲精品系列| 亚洲天天影视| 国产一区免费视频| 蜜桃精品久久久久久久免费影院| 久久在精品线影院精品国产| 亚洲国产高潮在线观看| 亚洲精品视频在线| 国产精品日韩一区二区三区| 久久人人爽国产| 欧美高清成人| 性久久久久久久| 久久蜜桃资源一区二区老牛 | 国语自产精品视频在线看8查询8| 老牛国产精品一区的观看方式| 欧美成人官网二区| 午夜精品视频在线观看一区二区| 午夜亚洲伦理| 日韩视频不卡中文| 亚洲欧美日本日韩| 亚洲黄色性网站| 亚洲视频精选在线| 在线视频成人| 亚洲影音先锋| 亚洲精品一级| 香蕉尹人综合在线观看| 亚洲激情在线| 香蕉久久精品日日躁夜夜躁| 亚洲三级电影全部在线观看高清| 亚洲精品国产精品国自产观看| 国产自产精品| 蜜乳av另类精品一区二区| 久久亚洲二区| 香蕉av777xxx色综合一区| 久久婷婷av| 性欧美大战久久久久久久久| 欧美jizzhd精品欧美巨大免费| 亚洲专区一区| 嫩草国产精品入口| 久久久久久久久伊人| 欧美日韩亚洲在线| 欧美高清hd18日本| 国产区在线观看成人精品| 亚洲人成网站777色婷婷| 国产一区二区三区久久精品| 最近中文字幕mv在线一区二区三区四区| 国产精品久久久久久久电影 | 欧美69wwwcom| 久热综合在线亚洲精品| 国产精品一区二区欧美| 日韩一级欧洲| 99在线热播精品免费| 久久综合九色| 免费中文日韩| 一区二区在线观看视频| 亚洲欧美在线一区二区| 亚洲欧美日韩一区二区在线| 欧美精品一区二区三区蜜桃| 欧美福利一区| 亚洲国产精品va在线看黑人| 久久久999精品| 麻豆成人综合网| 亚洲成人在线网站| 蜜臀av国产精品久久久久| 毛片av中文字幕一区二区| 国产综合激情| 久久久久久色| 亚洲电影av在线| 99精品99久久久久久宅男| 欧美福利专区| 中文高清一区| 翔田千里一区二区| 国产视频精品va久久久久久| 午夜日韩激情| 男人插女人欧美| 99re6这里只有精品| 欧美日韩xxxxx| 亚洲视频高清| 久久久一二三| 在线免费观看一区二区三区| 美脚丝袜一区二区三区在线观看 | 性刺激综合网| 国产日韩欧美一二三区| 午夜在线精品| 免播放器亚洲一区| 亚洲理论电影网| 欧美图区在线视频| 欧美大秀在线观看| 亚洲一区二区三区免费在线观看| 欧美精品午夜视频| 一区二区三区四区在线| 久久成人综合视频| 亚洲国产aⅴ天堂久久| 欧美激情亚洲另类| 亚洲欧美电影在线观看| 免费成人毛片| 亚洲免费影院| 亚洲国产成人精品久久| 欧美午夜无遮挡| 久久久人成影片一区二区三区| 亚洲精品系列| 久久久久一区二区三区| 99这里有精品| 在线欧美影院| 国产精品久久999| 蜜桃av综合| 亚洲欧美高清| 91久久久久| 久久亚洲色图| 亚洲欧美在线看| 99国产精品| 原创国产精品91| 国产美女精品视频| 欧美女同在线视频| 久久综合狠狠| 欧美一区二区三区免费视| 亚洲精品乱码久久久久久久久| 欧美在线999| 亚洲一区日韩| 最新日韩在线| 在线观看国产精品淫| 国产老肥熟一区二区三区| 欧美母乳在线| 欧美国产免费| 免费久久99精品国产自| 久久成年人视频| 欧美有码在线观看视频| 亚洲网在线观看| 99热这里只有成人精品国产|