https://blog.csdn.net/u014629875/article/details/51227534
由于項目和畢設的需要，最近在做一些立體視覺的東西，總算是把立體視覺建立起來了，中途查了很多相關資料，這里做一個總結。
1.簡介：
雙目視覺是模擬人類視覺原理，使用計算機被動感知距離的方法。從兩個或者多個點觀察一個物體，獲取在不同視角下的圖像，根據圖像之間像素的匹配關系，通過三角測量原理計算出像素之間的偏移來獲取物體的三維信息。得到了物體的景深信息，就可以計算出物體與相機之間的實際距離，物體3維大小，兩點之間實際距離。
2.建立立體視覺
為了精確地求得某個點在三維空間里的深度信息，我們需要獲得的參數有焦距f、視差d、攝像頭中心距Tx；
為了獲得某個點的X坐標和Y坐標，還需要知道左右像平面的坐標系與立體坐標系中原點的偏移cx和cy。
因此我們需要進行下列三個步驟：相機標定，圖像校正，立體匹配。
相機標定
標定目的：獲取相機的內參（焦距，圖像中心，畸變系數等）和外參（R（旋轉）矩陣T（平移）矩陣）
相機標定需要采集標定數據，通常使用打印棋盤格的紙作為特制的標定參照物，攝像頭獲取該物體的圖像，并由此計算攝像頭的內外參數。
相機標定有兩種方法：
方法一：Bouguet的Matlab標定工具箱（http://www.vision.caltech.edu/bouguetj/calib_doc/）；有比較詳細的介紹和使用方法，用起來還是比較方便的，只不過做完標定要繼續的話要把標定結果存入xml導入OpenCV再進行。
方法二：OpenCV的cvStereoCalibrate；在《學習OpenCV》第11，12章有比較詳細的介紹。12章后有相關程序代碼。
雙目圖像校正
雙目校正是根據攝像頭定標后獲得的單目內參數據（焦距、成像原點、畸變系數）和雙目相對位置關系（旋轉矩陣和平移向量），分別對左右視圖進行消除畸變和行對準，使得左右視圖的成像原點坐標一致、兩攝像頭光軸平行、左右成像平面共面、對極線行對齊。將左右視圖調整成完全平行對準的理想形式（如下圖）。
校正反映到圖像上就是要把消除畸變后的兩幅圖像嚴格地行對應，使得兩幅圖像的對極線恰好在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應點就必然具有相同的行號，只需在該行進行一維搜索即可匹配到對應點。下圖來自于Stefano Mattoccia
“Stereo vision: algorithms and applications”http://vision.deis.unibo.it/~smatt/Seminars/StereoVision.pdf
（這個ppt對立體視覺做了一個很詳盡的講述，讀了可以對立體視覺方面有一個比較好的了解）
我在這部分用的是OpenCV中的cvStereoRectify，得出校準參數之后用cvRemap來校準輸入的左右圖像。這里要提一下cvRemap這個函數src與dst大小格式通道必須一致，所以在使用之前要先對左右圖像做處理。
立體匹配
立體匹配主要是通過找出每對圖像間的對應關系，根據三角測量原理，得到視差圖；在獲得了視差信息后，根據投影模型很容易地可以得到原始圖像的深度信息和三維信息。
立體匹配是建立立體視覺中最重要的一環，立體匹配的效果直接影響得到的三維信息。
由于現在只是使用了OpenCV的BM方法和SGBM方法，并沒有做深入的了解，所以關于這方面后續會再寫篇博客討論一下這方面的問題。
BM方法：
CvStereoBMState *BMState = cvCreateStereoBMState();
assert(BMState != 0);
BMState->preFilterSize=41;
BMState->preFilterCap=31;
BMState->SADWindowSize=41;
BMState->minDisparity=-64;
BMState->numberOfDisparities=128;
BMState->textureThreshold=10;
BMState->uniquenessRatio=10;
1
2
3
4
5
6
7
8
9
10
SGBM方法：
cv::StereoSGBM sgbm;
sgbm.preFilterCap = 63;
int SADWindowSize=11;
int cn = 1;
sgbm.SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 3;
sgbm.P1 = 4*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
sgbm.P2 = 32*cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
sgbm.minDisparity = 0;
sgbm.numberOfDisparities = 32;
sgbm.uniquenessRatio = 10;
sgbm.speckleWindowSize = 100;
sgbm.speckleRange = 32;
sgbm.disp12MaxDiff = 1;
1
2
3
4
5
6
7
8
9
10
11
12
13
立體匹配后得到視差圖后獲取三維信息的方式（世界坐標系是以左相機光心為原點，光軸為Z軸，基線為X軸的右手系）
這里有一點要注意，立體匹配得出的視差結果是以16位符號數的形式的存儲的，出于精度需要，所有的視差在輸出時都擴大了16倍(2^4)，因此，在實際求距離時，cvReprojectTo3D出來的X/W,Y/W,Z/W都要乘以16 (也就是W除以16)，才能得到正確的三維坐標信息。
一個簡單的輸出某個像素點三維信息的例子：
cvReprojectImageTo3D(disp,depth,&_Qtest);//_Qtest是雙目校正得到的Q矩陣
Point p;
p.x = 400;
p.y = 300;
Mat tempDepth = Mat(depth);
cout << "in world coordinate: " << tempDepth.at<Vec3f>(p)*16 << endl;
---------------------
作者：Array03
來源：CSDN
原文：https://blog.csdn.net/u014629875/article/details/51227534
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！