轉自：http://www.zwqxin.com/archives/shaderglsl/review-normal-map-bump-map.html
Normal Map法線貼圖，想必每個學習計算機圖形學的人都不陌生。今天在這里按我的理解總結一下，作為復習，也作為深入學習吧。——ZwqXin.com
自從看完那本《數學在計算機圖形學上的應用》后，一直想好好地真正實踐一次法線貼圖/凹凸貼圖呢（以前是根據橙書弄了一下罷了）。昨天偶爾看到篇涉及BumpMap的文，正好覺得是個機會，便在網上狂找相關資料——果然，越看越覺得自己還有很多理論的地方需要弄明白呢。
說起Normal Map（法線貼圖），就會想起Bump Map（凹凸貼圖）。Bump Mapping是Blin大師在1978年提出的圖形學算法，目的是以低代價給予計算機幾何體以更豐富的表面信息（高模蓋低模）。30年來，這項技術不斷延展，尤其是計算機圖形學成熟以后，相繼出現了不少算法變體，90年代末的Normal Map解放了必須自行計算紋理像素法線的痛苦，新世紀以來相繼又出現了Parallax Mapping, Relief Mapping等技術。拋開那些無聊的概念區分，它們的本體還是Bump Map，目的也是一致的。
1. 傳統的Bump Map
如果你對純凈的Bump Map有興趣，A Practical and Robust Bump-mapping Technique for Today's GPU應該是值得一看的論文。說Today，其實是GDC 2000的事情了，但對于傳統的Bump Map的理論是很豐富的，我是沒精力看完它啦……
那時候的Bump Map須要我們計算紋理圖上每個像素的法線信息，簡單的還可能做到，對復雜的紋理要搞清面光背光份量簡直要命，于是就用Height Map，在一張高度圖上記錄每個像素對應的紋理位置的高度信息（這個比較容易辦到，NEHE22也是這類）。看上去就是一張地形網格——這樣的話，計算每個像素點的法線就不那么難了。XY方向相鄰像素的高度相減就是兩條正交的切向量，叉乘外加左/右手定則就獲得法線。或者更精確點，用八鄰域弄個邊緣檢測算子（sobel、拉普拉斯之類 ）[圖像處理里的空間域濾波]，或者應用斜坡法([水效果Ⅲ - 抖動波] )來求切線、法線。
2. 制作NormalMap
但是這樣還是挺麻煩的，既然都動用額外的貼圖了，何不把這些與實現無關的預處理——作為結果的法線信息——都放進紋理里呢？這就是Normal Map的思想起源。但是，誰來做這樣的一張法線圖呢？敲定美工了。每個像素的RGB分別存儲該像素對應法線的XYZ分量，只要把法線的分量由（-1，1）映射成（0，255）就可了。觀察一張法線圖，以藍色為主，是因為朝向圖面外的法線（0，0，1）都被編碼成（0，0，127）了（讀入OpenGL后即(0,0,0.5)），而圖上越紅的地方表明法線越向右，越綠的地方表明法線越向上，就可以理解了。總體來說，就是一張紫藍色的圖。怎么做這樣的圖呢？當然最好是有一個工具，輸入原圖和高度圖后執行上述的算法得出新圖了，事實上已經有很多這類工具了（譬如比較著名的photoshop的NV插件Normal Map Filter，甚至不用高度channel也可[效果- -]），以下幾篇文章有詳細介紹，有興趣的可以看一看：
Tutorial On Normal Mapping （PHOTOSHOP [ENGLISH]）
怎樣用PhotoShop創建Bump Map圖像 （PHOTOSHOP [CHINESE]）
Nvidia Normal Map 插件參數之詳解 (PHOTOSHOP [翻譯])
GIMP normalmap plugin (GIMP [ENG]）
關于NormalMap制作的原理，更詳細的可參考此文：Normalmap原理及去除接縫
3. 切線空間(Tangent Space)
其實這個概念前文已經提及了。每個像素根據高度圖生成的三軸坐標系，就是被稱為切線空間坐標系的東西，每個像素人手一個。可見Normal Map里面每個像素的法線就是定義在這個切線空間的。注意，這些法線是屬于像素的，而不是頂點，我們平時用的法線是頂點法線，是定義在模型坐標系的[亂彈OpenGL中的矩陣變換(上)] ，定義于所屬物件的唯一的局部坐標系原點之上。而這些像素法線定義于切線坐標系，其原點就在該像素上，切線副法線在法線的垂直平面上。
（表面依然是平的，但通過攪動法線，使進入我們眼睛的光線強度不一，模擬出凹凸面漫反射的特點。圖from GDNet）
應用這些像素法線的目的無非是計算出該像素的OutPut顏色：col = baseColor * (amb + diffuse) + specular。這些都應該在像素著色器（fragment shader）里進行，因為我們要做的是針對每個像素的處理[Shader快速復習：Per Pixel Lighting(逐像素光照)] 。其中需要用到像素法線的是diffuse和specular（以前是用通過頂點法線線性插值而來的normal），法線分別與光線向量、半向量作點乘得到對應因子。這個因子是個夾角cos而已，所以只要滿足像素法線與兩個向量單位化并在同一坐標系下（而無論是哪個坐標系），夾角就是一定的。這樣看來，兩個選擇：
1. 把像素法線都從各自的切線空間轉到視圖空間來，再點乘；
2.把光線向量、半向量從視圖空間轉到像素各自的切空間來，再點乘。
很多文章一口咬定就是第2種好，原因是第1種要變換N個量；第2種只變換2個量。仔細分析，其實兩種選擇變換的次數是一樣的，都是2*N。說第2種好，是因為：
第1種必須在fragment shader里進行，對象是從Normal Map讀出的像素法線和經過線性插值而來的兩個向量，它們不是同一坐標系的，按描述應該是各像素法線乘以各自一個的變換矩陣，轉到視圖空間來，但確實沒有其他的可提供構筑這個矩陣的信息了，若有可能應該就是另外的varying變量傳入了；
第2種可以選擇在vertex shader里進行，但是能不能就在這里變換到切線空間呢？假設可以，那么得到的針對頂點的數值在光柵化-線性插值后能否滿足呢？
要回答這個問題，還得考慮像素的切線空間和頂點的切線空間之間的關系。是的，頂點法線也可以變換到切線空間，但這有什么用呢？一步一步來吧。先考慮切線空間在OpenGL世界里的次元位置：
(from paulsprojects)
為什么是緊挨模型坐標系呢？其實想想也能理解，在上面談及切線坐標系的時候，并沒有廣闊的“世界”這個概念。只針對每個像素/頂點，無疑是比模型坐標系更狹隘的“世界觀”，所以那個位置是適合的（箭頭方向無所謂，坐標系之間是可以相互轉換的）。其實對于某個具體的物體上的像素/頂點，你可以考慮那是把模型空間的原點平移到該像素/頂點上，各模型坐標系方向軸向量一起經過旋轉，使Z軸與像素/頂點的法線重合，XY軸分別與像素/頂點的切線副法線重合——這只是一個仿射變換而已，如同模型/世界/視圖空間之間的變換一樣。
如果你記得圖形學書上關于世界/視圖空間的變換矩陣的構建的話，就更容易理解這樣的形式了。從切線空間到模型空間的變換矩陣（TBN矩陣MTBN）為：
其中T，B，N是定義在模型空間的該像素/頂點的“切/副法/法向量”。稍微檢驗一下，考慮某個三角面上的某個頂點，其法線充當切線空間的Z軸，在切線空間中表示為（0，0，1），在OpenGL里解釋為一個列向量（0，0，1）T，用上面的矩陣MTBN左乘該向量，得到（Nx，Ny，Nz）T，正是該向量在模型空間的表示。其他兩軸同理。說明該矩陣把切線空間的坐標系統轉換到模型空間了（一切變換都是在變換坐標系[亂彈OpenGL中的矩陣變換(上)] ）。當然這是特例說明，但確實這個矩陣包含仿射矩陣里的旋轉元素了（它只包含旋轉，不設置平移，是因為我們只需要它來變換向量，向量是可以任意平移的，若要弄完整的4X4矩陣，第4列平移列就是該頂點模型坐標）。具體推導也不難，隨便Google一下"tangent space"就出來一堆了，而且都是基本一樣的推導過程，推一個：Tangent Space。
其逆變換（矩陣MTBN-1）就可以把向量從模型空間變換到對應頂點的切線空間了。如果你確保T，B，N兩兩垂直，這個正交矩陣的逆矩陣就是其轉置矩陣，這很理想。但萬一你不確保這點（涉及到具體應用，很多問題的，后面會說），就保證它們大致滿足三叉狀，用所謂的Gram-Schmidt 算法矯正：
T′ = T − (N · T)N
B′ = B − (N · B)N − (T′ · B)T′
反正最后得到的是這樣的形式——用它左乘光源向量和半向量，就得到對應于該頂點切線空間的光源向量和半向量了：
T′x
B′x
NxT′y
B′y
NyT′z
B′z
Nz
為什么是頂點？因為這是你唯一能取得其切線/副法線/法線的東西了。這也是之前說的選擇1不行的原因，在那張Normal Map里面已經沒有任何法線副法線的確實信息了（只知道它們在法線垂直平面上），即使能通過別的方法取得（起碼要增加傳入數據），那要在fragment shader里每像素人手又計算一個矩陣，這就又是一個“計算量”（不是次數）的問題。所以還是用選擇2吧，也就是上面矩陣MTBN-1的討論。
選擇2的第一個問題現在很清楚了：是可以的。只要取得頂點的切線/副法線/法線數據就能建立矩陣并變換光源向量和半向量，但結果是針對頂點的，我們需要的是針對像素的。光柵化線性插值這兩個向量，就是對應像素的值，但這對嗎？直覺上不對，但結果顯示這樣做沒有不妥（或者說不會與真實所須差太多）。一般文章都沒有直接透視這個問題，其實考慮一個矩形平面就露餡了，它四個頂點的TBN一致，變換得的光源向量也該一致，插值后得光源向量也該一致，但NormalMap中的像素有各自不同的切線空間系統，光源向量不該一致的呃（雖則同向光源、不同法線足夠形成凹凸效果）。所以我對選擇2的第二個問題保持疑問，有道深者請為鄙人指點迷津！
反正即使計算兩向量夾角的計算可能會有偏差，也不會太離譜，問題到此結束。至于有的文章提及對diffuse的計算，光源向量插值后不須再歸一化的問題（我嘗試過，整體會變暗一點），就不深入了。注意我們在vertex shader里變換到切線空間的是模型空間下的光源向量和視線向量（半向量是它們的和），而一般這兩個向量定義在視圖空間，所以之前還要做一個視圖空間->模型空間的變換（用ModelView矩陣的逆矩陣）。這是很多文章囫圇掉的一點。但如果你能取得視圖空間下的頂點TBN，也不需。因為切線/副法線/法線若是被變換到視圖空間，則上面的TBN矩陣MTBN就是把東西從該頂點的切線空間變換到視圖空間（道理是一樣的），MTBN-1就能把視圖空間下的這兩個向量變換到該頂點的切線空間（參見下篇的代碼）。
最后的問題：怎么去取得模型空間下的頂點的切線，副法線，法線？連同shader實現代碼一起，我會在下篇談及，請留意了哦。
本文來源于ZwqXin http://www.zwqxin.com/ , 轉載請注明
原文地址：http://www.zwqxin.com/archives/shaderglsl/review-normal-map-bump-map.html