http://www.cnblogs.com/cgwolver/archive/2009/03/26/1257611.html
假定在右手坐標系中的三角形3點坐標為A，B，C，判斷P是否在ABC之內(nèi)
( 主要來自 3D引擎研發(fā)QQ群（38224573 ）的各位朋友的討論 ，我僅僅算做個總結(jié)吧，特別感謝各位朋友的熱情支持。 ）
方法1：三個Perplane的方法
設AB，BC，AC邊上的垂直平面為Perplane[3]，垂直朝向內(nèi)側(cè)的法向為n[3]
1）先根據(jù)任意兩邊叉出法向N
N = AB.CrossProduct(AC);
N.Normalize();
D = A.DotProduct( N );
2）如果P在三角形所在平面之外，可直接判定不在平面之內(nèi)（ 假定方程為 ax+by+cz+d = 0 )
if( P.DotProduct( N ) + D > 0 ) return false;
3）然后法向和各邊叉出垂直平面的法向
n[0] = N.CrossProduct(AB); //朝向內(nèi)側(cè)
n[0].Normalize();
Perplane[0].dist = A.DotProduct(n[0]);
Perplane[0].normal = n[0];
同樣方法求得Perplane[1],Perlane[2];
3）因為三個Perplane都朝向三角形內(nèi)側(cè)，P在三角形內(nèi)的條件是同時在三個Perplane前面；如果給定點P在任意一個垂直平面之后，那么可判定P在三角形外部
for( int i = 0;i<3;j++ )
{
if( P.DotProduct( Perplane[i].normal ) + Perplane[i].dist < 0 )
return false;
}
return true;//如果P沒有在任意一條邊的外面，可判斷定在三角形之內(nèi)，當然包括在邊上的情況
方法2：三個部分面積與總面積相等的方法
S(PAB) + S(PAC) + S( PBC) = S(ABC) 則判定在三角形之內(nèi)
用矢量代數(shù)方法計算三角形的面積為
S = 1/2*|a|*|b|*sin(theta)
= 1/2*|a|*|b|*sqrt(1-cos^2(theta))
= 1/2*|a|*|b|*sqrt(1- (a.DotProduct(b)/(|a|*|b|))^2);
另一種計算面積的方法是 S = 1/2*|a.CrossProduct(b)|
比較一下，發(fā)現(xiàn)后者的精確度和效率都高于前者，因為前者需要開方和求矢量長度，矢量長度相當于一次點乘，三個點乘加一個開方，顯然不如
后者一次叉乘加一次矢量長度（注，一次叉乘計算相當于2次點乘，一次矢量長度計算相當于一次點乘），后者又對又快。
S(ABC) = AB.CrossProduct(AC)；//*0.5;
S(PAB) = PA.CrossProduct(PB)；//*0.5;
S(PBC) = PB.CrossProduct(PC)；//*0.5;
S(PAC) = PC.CrossProduct(PA)；//*0.5;
if( S(PAB) + S(PBC) + S(PAC) == S(ABC) )
return true;
return false;
另一種計算三角形面積的矢量方法是 1/2*a.CrossProdcuct(b) ，CrossProduct = ( y1*z2 - y2*z1 , x1*z2 - x2*z1, x1*y2 - x2*z1 )
可以看到CrossProduct 的計算要比DotProduct多3個乘法計算，效率沒有上面的方法高
方法3：三個向量歸一化后相加為0
這個方法很怪異，發(fā)現(xiàn)自http://flipcode.spaces.live.com/blog/cns!8e578e7901a88369!903.entry 下面的一個回帖
如上圖三角形ABC，P為AB外側(cè)一點，N1，N2，N3 分別為BP，AP，CP的歸一化矢量；NM為N1，N2夾角的角平分線
可以看出角A-P-B是三角形內(nèi)角，必然小于180度，那么角N1-P-N2等于A-P-B；NM是N1-P-N2的角平分線，那么角B-P-N等于角N-P-A，而CPN必然小于其中一個，
即小于180/2 = 90度。結(jié)論是角N1，N2的合矢量方向與N3的夾角為銳角。所以N1，N2，N3的合向量模大于1.
這里注意，N3不一定在N1，N2之間，不能假定N2-P-N3 和N3-P-N1這兩個角一定是銳角
同樣可以推導出如果P在三角形內(nèi)，N1+N2+N3必然小于0；若N1+N2+N3 = 0則P在三角形的邊上。
有沒有更簡單的推導方法？
這個方法看起來很精巧，但是善于優(yōu)化的朋友會立刻發(fā)現(xiàn)，三個矢量歸一化，需要三個開方。迭代式開方太慢了，而快速開方有的時候又不滿足精度要求。
方法4：重心坐標之和為1
{
BaryCenter = ( S(PAB)/S(PABC),S(PBC)/S(PABC),S(PAC)/S(PABC)) // 點P在三角形內(nèi)的重心坐標
if( BaryCenter.x + BaryCenter.y + BaryCenter.z >0.f )
return false
return true;
}
其中S(PAB)，S(ABC)，S(PBC)，S(PBC) 用上述的方法二種提到的計算三角形面積方法計算。
綜合比較
方法1必須求叉乘，雖然可以通過首先排除不在平面內(nèi)的點，但是后面仍要求三個叉乘和3個點乘（當然還可排除法優(yōu)化）
方法2看起來之需要求4個點乘，如果用叉乘方法計算面積，可能會導致效率低下
方法3是看起來是最精巧的方法，但是效率也不能保證...3個開方
方法4和方法2的效率差不多
本文來自CSDN博客，轉(zhuǎn)載請標明出處：http://blog.csdn.net/boyzk2008/archive/2009/08/07/4421106.aspx