當前融合效果的評價問題一直未得到很好的解決，原因是：同一融合算法，對不同類型的圖像，其融合效果不同；同一融合算法，對同一圖像，觀察者感興趣的部分不同，則認為效果不同；不同的應用方面，對圖像各項參數的要求不同，導致選取的評價方法不同。
因而，需要尋找一種比較客觀評價融合圖像效果的方法，使計算機能夠自動選取適合當前圖像的、效果最佳的算法。從而為不同場合下選擇不同較優算法提供依據。
1客觀評價
1.1基于信息量的評價
1.1.1 熵[3]
圖像的熵是衡量圖像信息豐富程度的一個重要指標。如果融合圖像的熵越大，說明融合圖像的信息量增加。
1.1.2交叉熵
交叉熵直接反映了兩幅圖像對應像素的差異，是對兩幅圖像所含信息的相對衡量。
1.1.3相關熵（互信息）
相關熵（互信息）是信息論中的一個重要基本概念，它可作為兩個變量之間相關性的量度，或一個變量包含另一個變量的信息量的量度，因此，融合圖像與原始圖像的相關熵（互信息）越大越好。
1.1.4偏差熵
偏差熵反映了兩幅圖像像素偏差的程度，同時也反映了兩幅圖像信息量的偏差度，分別有：單一偏差熵、總體平方平均偏差熵、總體算術平均偏差熵、總體幾何平均偏差熵、總體調和平均偏差熵。
1.1.5聯合熵
聯合熵也是信息論中的一個重要基本概念，它可作為三幅圖像之間相關性的量度，同時也反映了三幅圖像之間的聯合信息，因此，融合圖像與原始圖像的聯合熵越大越好。
1.2基于統計特性的評價
1.2.1均值
1.2.2標準差
標準差反映了灰度相對于灰度均值的離散情況，標準差越大，則灰度級分布越分散，有標準差、對數標準差。
1.2.3偏差度
偏差度用來反映融合圖像與原始圖像在光譜信息上的匹配程度，如果偏差指數較小，則說明融合后的圖像R在提高空間分辨率的同時，較好地保留了F的光譜信息，有：絕對偏差度、相對偏差度。
1.2.4均方差
1.2.5平均等效視數
平均等效視數[8]可以用來衡量噪聲的抑制效果、邊緣的清晰度和圖像的保持性。
1.2.6 協方差
1.3基于信噪比的評價
圖像融合后去噪效果的評價原則為：（1）信息量是否提高；（2）噪聲是否得到抑制；（3）均勻區域噪聲的抑制是否得到加強；（4）邊緣信息是否得到保留；（5）圖像均值是否提高。因此可以從下面幾個方面評價。
1.3.1信噪比
1.3.2峰值信噪比
1.4基于梯度值的評價
1.4.1清晰度（平均梯度）
清晰度[11]反映圖像質量的改進，同時還反映出圖像中微小細節反差和紋理變換特征。
1.4.2 空間頻率
空間頻率反映了一幅圖像空間域的總體活躍程度。
1.7基于小波能量的評價[14~15]
對圖像進行小波分解后，對小波系數處理，然后重構得到融合圖像，這種方法融合圖像的效果評價可以采用小波系數平均能量的辦法。
2 評價指標的選取
評價指標的選取一般根據融合的目的選取，圖像融合的目的主要有以下幾個方面。
2.1 去噪
一般而言，從傳感器得到的圖像都是有噪圖像，而后續的圖像處理一般要求噪聲在一定范圍內，因此，可以采用融合的方法來降低噪聲，提高信噪比。對于這種方法一般采用基于信噪比的評價。
2.2 提高分辨率
提高分辨率也是圖像融合的一個重要目的，有時從衛星得到的紅外圖像的分辨率不高，這就要求用其它傳感器得到圖像（如光學圖像，合成孔徑圖像）與紅外圖像進行融合來提高分辨率。對于這種方法的融合效果評價可采用基于統計特性及光譜信息的評價方法。
2.3 提高信息量
在傳輸圖像，圖像特征提取等方面需要提高信圖像的信息量。圖像融合是提高信息量的一個重要手段。對于融合圖像的信息量是否提高，我們可采用基于信息量的評價方法。
2.4 提高清晰度
在圖像處理中，往往需要在保持原有信息不丟失的情況下，提高圖像的質量、增強圖像的細節信息和紋理特征、保持邊緣細節及能量，這對于一般的圖像增強很難辦到，因此需要采用圖像融合的辦法，這時，對融合效果的評價可采用基于梯度的方法及模糊積分的辦法和小波能量的評價方法.
2.5特殊要求
在有些方面融合的目的既不是提高信息量，也不是提高分辨率和降低噪聲。這就需要根據特殊的要求來加以衡量。
2.6定性描述
定性描述就是主觀評價法，也就是目測法。這種方法主觀性比較強，但對一些明顯的圖像信息進行評價直觀、快捷、方便；對一些暫無較好客觀評價指標的現象可以進行定性的說明。其主要用于判斷融合圖像是否配準，如果配準不好，那么圖像就會出現重影，反過來通過圖像融合也可以檢查配準精度；判斷色彩是否一致；判斷融合圖像整體亮度、色彩反差是否合適，是否有蒙霧或馬賽克現象；判斷融合圖像的清晰度是否降低，圖像邊緣是否清楚；判斷融合圖像紋理及色彩信息是否豐富，光譜與空間信息是否丟失等。