首先祝朋友們中秋節快樂！
因為過去三個月的實習工作很繁忙，這么已經很長時間沒有更新了。這個夏天參加了兩次會議(CVPR和ECCV)，在微軟完成了一個新的project，這些經歷都給了我新的啟發。
不積跬步無以至千里
很多在這個領域做research的朋友抱怨，這個領域在過去相當長的時間沒有“突破性”的進展了。在過去，我也一直抱有這樣的看法。不過，如果比較最近兩年的paper，以及20年前的paper，其實，還是可以看到，在很多具體的方向上，我們都已經取得了長足的進展。很多在當年只是處于雛型階段的算法和模型，經過整個community這么多年的努力，現在的性能已經接近或者到達實用的水平。
雖然，在每年的各大會議中，非常激動人心的paper很少，可是，如果我們把某個方向過去10年的文章串在一起，我們會發現，這個方向的前沿已經推進了不少。這個過程有點類似于進化。在每年發表的成百上千的paper中，真正有價值的貢獻只占很小的比例。但是這小部分的貢獻能經歷時間的考驗，被積淀下來，并且被逐步被廣泛地接受。當這樣的進展積累到一定程度，整個方向就已是今非昔比。
在這個過程中，不同類型的paper其實發揮著不同的作用。舉一個簡單的例子，在很多問題的傳統模型中，因為建模和計算的方便，都喜歡使用L2 norm來測量與觀察數據的匹配程度。而近年來，越來越多的模型開始改用L1 norm來取代L2 norm，并且在性能上獲得很大的提高。這樣的變化起碼經歷了10年時間才逐步受到廣泛的注意。在較為早期的工作里，部分的researcher在實踐中發現似乎用L1 norm性能更好，但是大家并不是一開始就深入了解這背后的原理的。于是，這樣的觀察也許只散見于不同paper的experiment section或者implementation details里面。隨著這種觀察被反復驗證，就會有人進行系統性的實驗比較，使得這些觀察形成更為可靠的結論。另一方面，理論分析也隨之展開，希望能從更深的層次上來剖析其背后的原理，甚至建立嚴格的數學模型——于是一個本來只是實驗中的heuristic的方法終于具有了穩固的理論根基。這些理論將啟發人們提出新的方法和模型。
也許在很多人看來，從L2 norm到L1 norm的變化，只是一字之差，不值一提。但是，這種變化對于全領域的影響非常深遠，不僅僅在很多具體的topic上帶來性能提高，而且引導了學科的發展趨勢——robust fitting, sparse coding / compressed sensing受到熱情關注，和這種變化是密切相關的。
我在和一些同學交流的時候，發現有些人特別熱衷于解決“根本問題”。壯志固然可嘉，但是，我始終認為，根本問題的解決離不開在具體問題上的積累和深刻理解。這種積累，既包括理論的，也包括實驗的。至少，對于像我這樣的普通人，我覺得，獲得這種積累的唯一途徑就是大量的實踐，包括閱讀paper，建立數學模型，推導求解算法，自己親手把程序寫出來，在實際數據中運行并觀察結果。新的idea是思考出來的，但是，這種思考是需要建立在對問題的深刻理解上的。從石頭縫里蹦出有價值的idea的概率，和彩票中獎沒有什么區別。
什么是有價值的？
每個人對于一個工作的價值會有不同的判斷。我在這里只是想說說我個人的看法。Research 和 Engineer 不太一樣的地方在于，后者強調work，而且傾向于使用已經proven的方法；而前者更強調novelty——創新是Research的生命。
一直以來，一些paper有這樣的傾向，為了顯示這個工作的“技術含量”，會在上面列出大段的數學推導，或者復雜的模型圖。很多的推導只是把一些眾所周知的線性代數結論重新推一遍，或者重新推一下kernel trick，又或者optimization里面的primal dual的變換。可是這些東西再多，在有經驗的reviewer看來，只是在做標準作業，對于novelty加分為零。
真正的創新，在于你提出了別人沒有提出過的東西。創新的內涵可以是多方面的：
- 建立了新的數學模型，或者提出了新的解法
- 提出的新的應用
- 提出新的框架，用新的方式來整合原有的方法
- 在比較性實驗中獲得新的觀察
- 統一本來分開的領域，模型，或者方法
創新可以體現在從理論，建模，求解和實驗的各個環節之中。判斷創新與否的關鍵不在于有多高深的數學，不在于使用了多時髦的方法，不在于做一個多熱門的topic，而在于是否make a difference。
另外，我覺得，創新的大小不能絕對而論。有一些在實驗中用于improve performance的小trick，也許能被有理論基礎的researcher開拓成全新的方法論，甚至建立嚴密的數學基礎。很多paper中都埋藏著這樣的金子，等待trained eyes的發掘（可能連paper的作者自己都沒有意識到~~）
Comments (1)
超級喜歡博主的這番話！“我始終認為，根本問題的解決離不開在具體問題上的積累和深刻理解。這種積累，既包括理論的，也包括實驗的。至少，對于像我這樣的普通人，我覺得，獲得這種積累的唯一途徑就是大量的實踐，包括閱讀paper，建立數學模型，推導求解算法，自己親手把程序寫出來，在實際數據中運行并觀察結果。新的idea是思考出來的，但是，這種思考是需要建立在對問題的深刻理解上的。從石頭縫里蹦出有價值的idea的概率，和彩票中獎沒有什么區別。”
我感覺是非常非常不錯的一篇文章！和大家分享一下。。