[Collection] Spark partition related things.

Partition:
Understanding:
1. https://www.dezyre.com/article/how-data-partitioning-in-spark-helps-achieve-more-parallelism/297
2. http://dev.sortable.com/spark-repartition/ -- example of partition & repartition to avoid data-imbalance.
3. https://acadgild.com/blog/partitioning-in-spark/ -- real case on existing partitioner & self-created partitioner.

Programming guidence.
Avoid using GroupByKey https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_reducebykey_over_groupbykey.html

Reference 1 says: Applying transformations that return RDDs with specific partitioners. Some operation on RDDs that hold to and propagate a partitioner are-

Join
LeftOuterJoin
RightOuterJoin
groupByKey
reduceByKey
foldByKey
sort
partitionBy
foldByKey

groupByKey is one of them, My understanding is such operations may cause extra shuffle, but repartition also helps relieve data imbalance if well considered, so use head please! :)

posted @ 2017-05-18 14:29 wythern 閱讀(147) | 評論 (0) | 編輯收藏

ubuntu switch window in current workspace.

gsettings set org.gnome.shell.app-switcher current-workspace-only true

[ref]https://unix.stackexchange.com/questions/171964/restrict-alttab-to-the-current-workspace-in-gnome-3

posted @ 2017-04-17 10:21 wythern 閱讀(204) | 評論 (0) | 編輯收藏

Smb 連不上的一個可能

在公司整smb，用windows訪問linux的share，但是配了很久都訪問不了，一個選項一個選項的試，都不行。
偶爾發現一次能進到share folder，但是看起來windows一直在重新load該folder。
沒有什么別的辦法了，查日志:/var/log/samba/log.$ConnectionName.發現某個lib掛了。

[2017/02/22 17:16:29.389531, 0] ../source3/param/loadparm.c:4412(widelinks_warning)
Share 'ubuntu-share' has wide links and unix extensions enabled. These parameters are incompatible. Wide links will be disabled for this share.
[2017/02/22 17:16:29.392626, 0] ../source3/lib/popt_common.c:68(popt_s3_talloc_log_fn)
Bad talloc magic value - unknown value
[2017/02/22 17:16:29.392669, 0] ../source3/lib/util.c:789(smb_panic_s3)
PANIC (pid 9408): Bad talloc magic value - unknown value
[2017/02/22 17:16:29.393497, 0] ../source3/lib/util.c:900(log_stack_trace)
BACKTRACE: 28 stack frames:
   #0 /usr/lib/x86_64-linux-gnu/samba/libsmbregistry.so.0(log_stack_trace+0x1a) [0x7f21ca87514a]
   #1 /usr/lib/x86_64-linux-gnu/samba/libsmbregistry.so.0(smb_panic_s3+0x20) [0x7f21ca875220]
   #2 /usr/lib/x86_64-linux-gnu/libsamba-util.so.0(smb_panic+0x2f) [0x7f21cb5ec8df]
   #3 /usr/lib/x86_64-linux-gnu/libtalloc.so.2(_talloc_free+0x4de) [0x7f21c83742fe]
   #4 /usr/lib/x86_64-linux-gnu/libsamba-util.so.0(+0x1246c) [0x7f21cb5e346c]

看log好像是這個talloc lib和本地的smb lib 不match。
重裝之 sudo apt-get install libtalloc2
搞定！

BTW: 本機的Samba的版本是Samba 4.3.9-Ubuntu。之前的talloc忘記看版本。。。無所謂了。

這里有人遇到一樣的問題:https://answers.launchpad.net/ubuntu/+question/291448

posted @ 2017-02-22 09:46 wythern 閱讀(593) | 評論 (0) | 編輯收藏

【筆記】逆序數的求法

做個筆記！
【參考】http://blog.csdn.net/dlengong/article/details/7594919

3種思路：
1. 冒泡法統計交換次數。 O(N*N)
2. MergeSort同時統計。 O（NlogN）
3. 用binary index tree！。 O(NlogN），其實是基于IndexSort，然后用BinIdxTree求和。
   BIT適用的場景是：
   對于某個序列a0, a1, a2, ..., aN.
   BITsum（0， m) [0 <= m <= N] == sum(a0, a1, ..., am).

和普通的sum不同點在于，當ai發生變化的時候，BIT支持在logN時間內重新算出sum值。
所以這條求逆序的方式就是indexSort找到當前max value對應的idx，然后a(idx) = 1，然后BITsum(0, idx)看看前面有多少1，就是當前value的逆序數K， sum（K）就得到了整個序列的逆序數。

posted @ 2016-02-14 21:27 wythern 閱讀(210) | 評論 (0) | 編輯收藏

[轉]ACM學習大綱

希望自己能堅持學習，加油！

ACM學習大綱（轉）

1 推薦題庫

• http://ace.delos.com/usaco/

美國的OI 題庫，如果是剛入門的新手，可以嘗試先把它刷通，能夠學到幾乎全部的基礎算法極其優化，全部的題解及標程還有題目翻譯可以baidu 一個叫NOCOW 的網站。

• http://livearchive.onlinejudge.org/

上面有全部的賽區真題，絕大部分都可以提交，不適合當題庫刷，不過在這里找題非常方便。

• http://poj.org/

不解釋了，中國最知名的oj，題量非常之大，歷史也很悠久，推薦刷一些代表性的題目。

• http://acm.timus.ru/
Ural 大學的oj，國外oj 中非常好的一個，題目非常鍛煉基本功，管理員會不時添加一些新數據rejudge，推薦找些通過人數適中的題目割一割。

轉自http://www.cnblogs.com/Alandre/p/3383873.html#2954643

• http://acm.sgu.ru/

SGU 大學的oj，題目比較經典（比較老，幾百年不更新了），不是特別推薦。

• http://www.spoj.pl
比較奇葩的一個oj，有一些與眾不同的提交模式，也有很多著名的系列題目，qtree 等，題目質量很好，但問題是國內的題解較少，新手如果只是想去割水題還是不要去了。

• http://acm.hdu.edu.cn
航電大學的oj，亮點是上面獨有的中國多校聯合訓練的題目，而且有一版（貌似是20 開頭的那版）水題大全，新手提高很不錯。

• http://acm.zju.edu.cn

每個月定時有月賽，浙大出題非常靠譜，推薦每個月月賽可以做一做。

• http://acm.hust.edu.cn
華中科技大學的oj，也就是各大oj 著名的virtual judge（三國五虎上將）的始作俑者，亮點就是那個模擬比賽的功能異常好用，平時大家可以自己配題做做模擬比賽。

• http://www.codeforces.com
著名線上比賽網站，幾乎每周都有一場線上比賽，有各國牛人參加，強烈推薦按時參加提高實力（要克服時差問題）。

• http://www.topcoder.com/tc
更著名的一個線上比賽網站，歷史相當悠久，而且有豐富的獎金，強烈推薦去做algorithm 比賽的single round match，非常提高智商。

2 算法總結及推薦題目

2.1 C++ STL

• STL 容器: set, map, vector, priority_queue, queue, stack, deque, bitset
• STL 算法: sort, unique, nth_element, reverse, rotate, next_permution, find, for_each, count, lower_bound,max, swap, random_shuffle

2.2 基本算法

• 枚舉: poj1753, poj2965, zoj1716, zoj3356, ural1010
• 貪心: poj1328, poj2109, poj2586, ural1303, sgu195, sgu171
• 遞歸與分治: ural1181, poj1579, poj1845, poj3714
• 構造: poj3922, poj1092, sgu121
• 模擬: poj3125, poj1068, poj2993, ural1007
• 排序: ural1082, poj2092, poj1694
• KMP 算法: poj2406
• 擴展KMP: poj3376, poj1699
• 二分法: poj1905, poj2002
• 三分法: hdu3400, hdu2298
• 矩陣乘法: zoj2105, zoj3289
• 離散化: ural1019, sgu177
• 快速傅立葉變換: poj2821

• 環狀字符串最小表示: poj1509

2.3 圖論

• 深度優先遍歷: poj2488
• 寬度優先遍歷: poj3620, poj2251
• 最短路: poj1847, poj1062
• 最小生成樹: zoj1914
• 拓撲排序: zoj2193, zoj1060
• 二分圖最大匹配: poj1469
• 二分圖的最大權匹配: ural1076
• 穩定婚配問題: poj3487
• 最大流與最小割: poj1459
• 帶下界的最大流: poj2396
• 最小費用最大流: poj2159
• 差分約束系統: poj1275
• 雙連通分量: zoj2588
• 強連通分量: zoj2470, poj2186
• 割邊及割點: poj3352, poj3177
• 度限制生成樹: poj1638, hdu3070
• K 短路: poj2449, sgu145
• 最近公共祖先: poj1330
• 最優比率生成樹: poj2728
• 次小生成樹: poj1679
• 最小樹形圖: poj3164
• 歐拉回路與路徑: poj1386, poj2337
• 哈密頓回路: sgu122
• 旅行商問題: poj2288
• 極大團搜索: poj2989
• 弦圖的判定與應用: zoj1015

• 任意圖的最大匹配: ural1099

2.4 數據結構

• 棧與隊列: poj2559
• 并查集: poj1611, poj1182
• 哈希表: poj1840, poj1186
• 優先隊列: poj1862, poj3253
• 可合并堆: zoj2334
• 字母樹及AC 自動機: zoj3430, zoj3228
• 線段樹: zoj3317, zoj1610
• 樹狀數組: poj2299, poj2352
• 倍增表(RMQ): poj3368, poj2452
• 平衡二叉樹: poj2892, poj2418, poj3580
• 后綴數組: poj2774, poj3294
• KD 樹: spoj2835, poj2528
• 樹鏈剖分: poj3237, spoj2666, spoj2798
• 樹的分治算法: poj2114, poj1987

• 動態樹: hdu2475, hdu3601, hdu4010

2.5 搜索

• 簡單技巧與剪枝: poj1033, poj3009
• 最優化與可行性剪枝: poj1011, poj1190
• 記憶化搜索: poj1191, poj1088
• 迭代加深: poj2286, poj2032
• A 搜索: hdu2467, poj1077
• Dancing Link: poj3074, hdu4069
• 折半搜索: zoj3631
• 雙向廣搜: poj1198, poj1915

2.6 動態規劃

• 資源分配問題: poj3624, poj2063
• 區間劃分問題: poj3280
• 狀態壓縮問題: poj1185
• 樹形DP: poj1463, poj3345
• 數據結構優化DP: poj2374, poj2355
• 四邊形不等式: poj1160
• 隊列優化: zoj3399
• 插頭表示的狀態壓縮DP: poj1739
• 最小表示法的狀態壓縮DP: spoj2159

• 數位DP: hdu3555, sgu258, sgu390

2.7 數學

• 排列組合: poj1850, poj3252
• Lucas 定理: poj3219
• 素數測試與篩法: poj2191, poj1811
• 大數分解的快速算法: poj1142
• 進位制: poj2798, poj1702
• 同余模運算: poj1006, poj2115
• 容斥原理: poj3904, poj1173
• 置換群與Burnside 引理: poj2888
• 遞推關系與母函數: poj3734
• 高斯消元: poj1681, poj1222
• 概率與統計: poj2151, poj1021
• 擴展歐幾里得算法: poj2891, poj1061
• 中國剩余定理: poj1006, zoj3538
• 離散對數與離散根: sgu261
• 拉格朗日插值: uva4209
• 迭代逼近: poj2868, poj3933
• 莫比烏斯反演: poj2154
• 博弈論與SG 函數: poj2960, poj2311
• 偏序論與格: poj1065, poj3636

2.8 計算幾何

• 點積與叉積: zoj1010
• 線段相交: zoj1648
• 簡單多邊形的面積: poj1654
• 點到線段的最近最遠距離: ural1348
• 凸包: poj1113
• 對鍾點: poj2187
• 圓與點的切線: poj1375
• 圓與直線的交: poj1263
• 圓與圓的交: poj2564
• 圓與多邊形的并與交: poj3675
• 點在多邊形內: poj2398
• 半平面交: poj1474, poj2540
• 最小圓覆蓋: zoj1450, spoj145
• 三維凸包: poj3528
• 三維點與直線的表示: poj3129

• 線性規劃: poj1755

3 推薦書籍

• 《Introduction to Algorithms》
著名的算法大全，囊括全部的基礎算法，其詳盡程度超乎想象，而且都做了不同程度的擴展，若能同時配合做一做上面的習題，受益匪淺。

• 《算法藝術與信息學競賽》
俗稱黑書，lrj 的成名之作，非常開拓視野，推薦閱讀并掌握。另外，lrj 最近出了一本白書，我沒讀過，聽說更加基礎，有興趣的同學可以去讀一讀。

• 《Concrete Mathematics》
計算機學科的必備書籍之一，該書幾乎包括計算機科學用到的全部數學知識，如果感興趣，推薦深入閱讀更專業的書籍（組合數學、初等數論、離散數學、線性代數等等）。

• 《How to solve it》
這一本與上面基本不同，講的是怎樣解題，一本可以幫助你更好地數學建模抽象問題的書籍，不光對競賽，對整個思維方式都有幫助。

• 《Computational Geometry Algorithms and Applications》
相當詳細的一本計算幾何書籍，計算幾何往往是一場比賽中最考研基本功最不需要思維復雜度的題目，練好計算幾何對比賽相當有利。

• 《C++ 程序設計思想與方法》
對C++ 語言特性不熟悉的同學建議看看，很好的一本介紹C++ 語言的書籍，有余力的建議再學個java，寫大模擬題、高精度題都有巨大優勢。

• 全部的NOI 國家集訓隊作業以及論文
在網上全部可以找到，非常好的資料，都是歷年的強手將當時最先進的知識整理所得，也包括不少題庫的題解。

posted @ 2015-04-15 23:26 wythern 閱讀(584) | 評論 (0) | 編輯收藏

ubuntu 14.04 輸入法快捷鍵

ubuntu 14.04 默認的輸入法快捷鍵不在ibus里面修改，而是在keyboard setting里面，如圖：

然后注銷即可。

posted @ 2014-06-23 22:12 wythern 閱讀(2168) | 評論 (0) | 編輯收藏

安裝signed apk時候遇到個問題[install_parse_failed_no_certificates]

APK是Eclipse export signed APK.本機可以正常安裝，copy給別人安裝提示錯誤：[install_parse_failed_no_certificates]。

正規辦法應該是像這個帖子里面提到的：
http://www.vardhan-ds.co.in/2012/05/android-solution-install-parse-failed.html
StackOerflow里面也有不少回答。

后來是看到StackOverflow里面提掉有可能是～/.android/debug.keystore有問題導致，刪除然后ADT會重新生成一個，然后再export出來的APK在別人的機器上就可以正常安裝鳥～

posted @ 2014-04-29 18:24 wythern 閱讀(3022) | 評論 (0) | 編輯收藏