圖像處理裝置、攝像裝置及圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置、攝像裝置及圖像處理方法。所述圖像處理裝置(204)包括：非必要成分確定器(204a)，其基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息；縮小處理器(204b)，其對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理；放大處理器(204c)，其對所述非必要成分信息進(jìn)行放大處理；以及非必要成分削減器(204d)，其基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。
【專利說明】
圖像處理裝置、攝像裝置及圖像處理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種用于提高拍攝圖像的質(zhì)量的圖像處理方法。
【背景技術(shù)】
[0002]在通過諸如照相機(jī)等的攝像裝置進(jìn)行攝像時，入射于光學(xué)系統(tǒng)的部分光可以被透鏡的表面和保持透鏡的部件反射，并且作為非必要光到達(dá)成像面。該非必要光在拍攝圖像中，表現(xiàn)為諸如重影及光斑等的非必要成分。當(dāng)在遠(yuǎn)攝透鏡中使用衍射光學(xué)元件來校正縱向(軸向)色像差和倍率色像差時，來自用于攝像的視角之外的高強(qiáng)度物體(例如，太陽)的光可能入射在衍射光學(xué)元件上，從而在整個圖像之上生成作為非必要成分的非必要光。之前，已知通過使用數(shù)字圖像處理來去除非必要成分的方法。
[0003]日本特開2008-54206號公報公開了如下的方法，即基于表示對焦圖像與散焦圖像之間的差分的差分圖像，來檢測重影，所述對焦圖像是當(dāng)光學(xué)系統(tǒng)在被攝體上對焦時的圖像，所述散焦圖像是當(dāng)攝像光學(xué)系統(tǒng)離焦時的圖像。然而，在日本特開2008-54206號公報中公開的方法需要多次進(jìn)行圖像拍攝，因此不適合于運(yùn)動被攝體的靜止圖像拍攝和運(yùn)動圖像拍攝。
[0004]日本特開2011-205531號公報公開了如下的方法，即基于通過單鏡頭立體攝像而拍攝的多個視差圖像的比較，來檢測重影。在日本特開2011-205531號公報中公開的方法通過單次攝像獲得多個視差圖像，該方法適用于運(yùn)動被攝體的靜止圖像拍攝和運(yùn)動圖像拍攝。
[0005]然而，在日本特開2011-205531號公報中公開的方法通過計(jì)算主圖像與副圖像之間的差分，來檢測重影。然而，如果簡單地針對所有像素獲得差分，則計(jì)算處理負(fù)荷大，因此，難以實(shí)時進(jìn)行處理。此外，在僅進(jìn)行差分計(jì)算的處理中，噪聲增大，因此，難以維持高的圖像質(zhì)量。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供能夠有效地確定包含在拍攝圖像中的非必要成分而不進(jìn)行多次攝像以減輕處理負(fù)荷并維持高的圖像質(zhì)量的圖像處理裝置、攝像裝置及圖像處理方法。
[0007]本發(fā)明的一個方面提供一種圖像處理裝置，該圖像處理裝置包括:非必要成分確定器，其被構(gòu)造為基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息;縮小處理器，其被構(gòu)造為對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理;放大處理器，其被構(gòu)造為對所述非必要成分信息進(jìn)行放大處理；以及非必要成分削減器，其被構(gòu)造為基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。
[0008]本發(fā)明的另一方面提供一種攝像裝置，該攝像裝置包括:攝像設(shè)備，其被構(gòu)造為對經(jīng)由光學(xué)系統(tǒng)而形成的光學(xué)像進(jìn)行光電轉(zhuǎn)換，以輸出多個視差圖像;非必要成分確定器，其被構(gòu)造為基于與所述多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息；縮小處理器，其被構(gòu)造為對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理;放大處理器，其被構(gòu)造為對所述非必要成分信息進(jìn)行放大處理；以及非必要成分削減器，其被構(gòu)造為基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。
[0009]本發(fā)明的另一方面提供一種圖像處理方法，該圖像處理方法包括以下步驟:基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息;對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理;對所述非必要成分信息進(jìn)行放大處理；以及基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。
[0010]通過以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的其他特征及方面將變得清
/H- ο
【附圖說明】
[0011]圖1A及圖1B是例示第一實(shí)施例中的圖像處理方法的過程的圖。
[0012]圖2A及圖2B是通過第一實(shí)施例中的圖像處理方法而獲得的示例性的輸出圖像。
[0013]圖3是在第一及第二實(shí)施例中的各個中的攝像系統(tǒng)中的、攝像元件的光接收部與光學(xué)系統(tǒng)的光瞳的關(guān)系圖。
[0014]圖4是第一及第二實(shí)施例中的各個中的攝像系統(tǒng)的示意圖。
[0015]圖5是第一實(shí)施例中的攝像裝置的框圖。
[0016]圖6A及圖6B是第一實(shí)施例中的光學(xué)系統(tǒng)的結(jié)構(gòu)圖和在光學(xué)系統(tǒng)中出現(xiàn)的非必要光的說明圖。
[0017]圖7是穿過第一實(shí)施例中的光學(xué)系統(tǒng)的孔徑光闌的非必要光的說明圖。
[0018]圖8A至圖8H是當(dāng)不進(jìn)行縮小處理時的噪聲量的說明圖。
[0019]圖9是例示第一實(shí)施例中的圖像處理方法的流程圖。
[0020]圖10是例示第一實(shí)施例中的圖像處理方法的流程圖。
[0021]圖11是例示第一實(shí)施例中的圖像處理方法的流程圖。
[0022]圖12是第二實(shí)施例中的攝像裝置的框圖。
[0023]圖13是例示第二實(shí)施例中的圖像處理方法的流程圖。
[0024]圖14是例示第二實(shí)施例中的圖像處理方法的流程圖。
[0025]圖15是例示第二實(shí)施例中的圖像處理方法的流程圖。
[0026]圖16是例示第三及第四實(shí)施例中的各個中的攝像元件的圖。
[0027]圖17是在第三及第四實(shí)施例中的各個中的攝像系統(tǒng)中的、攝像元件的光接收部與光學(xué)系統(tǒng)的光瞳的關(guān)系圖。
[0028]圖18是第三實(shí)施例中的攝像系統(tǒng)的示意圖。
[0029]圖19是穿過第三實(shí)施例中的光學(xué)系統(tǒng)的孔徑光闌的非必要光的說明圖。
[0030]圖20是例示第三實(shí)施例中的圖像處理方法的過程的圖。
[0031]圖21是例示第三實(shí)施例中的圖像處理方法的流程圖。
[0032]圖22是例示第四實(shí)施例中的圖像處理方法的過程的圖。
[0033]圖23是例示第四實(shí)施例中的圖像處理方法的流程圖。
[0034]圖24是例示第五實(shí)施例中的攝像系統(tǒng)的圖。
[0035]圖25是例示第五實(shí)施例中的攝像系統(tǒng)的圖。
[0036]圖26是例示第五實(shí)施例中的攝像系統(tǒng)的圖。
[0037]圖27是例示傳統(tǒng)的攝像元件的圖。
[0038]圖28A及圖28B是例示通過圖24中的攝像系統(tǒng)而獲得的圖像的圖。
[0039 ]圖29是例示通過圖25及圖26中的各個中的攝像系統(tǒng)而獲得的圖像的圖。
[0040]圖30是例示第五實(shí)施例中的攝像裝置的示例的圖。
[0041]圖31是例示第五實(shí)施例中的攝像裝置的示例的圖。
[0042]圖32A及圖32B是例示第六實(shí)施例中的選擇非必要成分削減處理區(qū)域的示例的圖。
【具體實(shí)施方式】
[0043]下面，將參照附圖來描述本發(fā)明的示例性實(shí)施例。
[0044]在各實(shí)施例中，能夠生成多個視差圖像的攝像裝置包括攝像系統(tǒng)，所述攝像系統(tǒng)將穿過光學(xué)系統(tǒng)(攝像光學(xué)系統(tǒng))的光瞳的彼此不同的區(qū)域的多個光束，引導(dǎo)至攝像元件的彼此不同的光接收部(像素)，以進(jìn)行光電轉(zhuǎn)換。
[0045][第一實(shí)施例]
[0046]首先，將描述本發(fā)明的第一實(shí)施例。圖3例示了本實(shí)施例中的攝像系統(tǒng)中的攝像元件的光接收部與光學(xué)系統(tǒng)的光瞳之間的關(guān)系。在圖3中，符號ML表示微透鏡，并且符號CF表不濾色器(color filter)。符號EXP表不光學(xué)系統(tǒng)的出射光瞳(光瞳)，并且符號Pl及P2表不出射光瞳EXP的區(qū)域。符號Gl及G2表示像素(光接收部)，并且一個像素Gl和一個像素G2配對(像素Gl和G2被布置為共用單個微透鏡ML)。攝像元件包括多對像素Gl和G2(像素對)的陣列。配對的像素Gl和G2經(jīng)由共用的(即為各像素對配設(shè)的)微透鏡ML，與出射光瞳EXP具有共軛關(guān)系。在各實(shí)施例中，在攝像元件中陣列的像素Gl及G2又分別稱為像素組Gl及G2。
[0047]圖4是本實(shí)施例中的攝像系統(tǒng)的示意圖，所述攝像系統(tǒng)被假定為具有如下的結(jié)構(gòu)，即替代圖3中所示的微透鏡ML，在出射光瞳EXP的位置上配設(shè)薄透鏡。像素Gl接收穿過出射光瞳EXP的區(qū)域Pl的光束。像素G2接收穿過出射光瞳EXP的區(qū)域P2的光束。符號OSP表示進(jìn)行圖像拍攝(攝像)的物點(diǎn)。物點(diǎn)OSP上不一定必須存在物體。穿過物點(diǎn)OSP的光束依據(jù)光束穿過的光瞳(出射光瞳EXP)中的位置(在本實(shí)施例中，是區(qū)域Pl或區(qū)域P2)，而入射于像素Gl和像素G2中的一者。光束穿過光瞳的彼此不同的區(qū)域的行進(jìn)，對應(yīng)于入射光以自身的角度(視差)從物點(diǎn)OSP的分離。換言之，對于與像素Gl及G2相對應(yīng)的各微透鏡ML，生成基于來自像素Gl的輸出信號的圖像和基于來自像素G2的輸出信號的圖像，作為彼此具有視差的多個(在該示例中，是一對)視差圖像。在下文中，由彼此不同的光接收部(像素)對穿過光瞳的彼此不同的區(qū)域的光束的接收可以被稱為光瞳分割。
[0048]當(dāng)由于例如圖3及圖4中所示的出射光瞳EXP的位置偏移，共軛關(guān)系未被完全保持時，或者當(dāng)區(qū)域P1、P2部分地彼此交疊時，在本實(shí)施例中，仍將獲得的多個圖像視為視差圖像。構(gòu)成圖像的最小元素被稱為像素(像素信號)，該像素區(qū)別于攝像元件上的像素，并且各像素表示與自身的數(shù)值相對應(yīng)的光強(qiáng)度及顏色。各像素的值被稱為像素值。根據(jù)像素值的容量或性質(zhì)，將圖像分類為彩色圖像、灰度圖像、二值圖像等。
[0049]接下來，將參照圖5，描述執(zhí)行本實(shí)施例中的圖像處理方法的攝像裝置。圖5是例示本實(shí)施例中的攝像裝置200的結(jié)構(gòu)的框圖。光學(xué)系統(tǒng)201(攝像光學(xué)系統(tǒng))包括孔徑光闌201a及聚焦透鏡201b，并且使來自被攝體(未例示)的光在攝像元件202上成像(會聚)。攝像元件202(攝像設(shè)備)包括諸如CCD傳感器及CMOS傳感器等的光電轉(zhuǎn)換元件，并且如參照圖3及圖4所描述的，通過與各區(qū)域相對應(yīng)的像素(光接收部)，來接收穿過光瞳的彼此不同的區(qū)域的光束(進(jìn)行光瞳分割)。以這種方式，攝像元件202對經(jīng)由光學(xué)系統(tǒng)201形成的被攝體像(光學(xué)像)進(jìn)行光電轉(zhuǎn)換，并輸出圖像信號(模擬電信號)作為多個視差圖像。A/D轉(zhuǎn)換器203將從攝像元件202輸出的模擬電信號，轉(zhuǎn)換為數(shù)字信號，然后將這些數(shù)字信號輸出到圖像處理器204。
[0050]圖像處理器204對數(shù)字信號進(jìn)行典型的圖像處理，并且還進(jìn)行非必要光(非必要成分)的確定處理，以及用來削減或去除非必要光的校正處理。在本實(shí)施例中，圖像處理器204對應(yīng)于并入攝像裝置200中的圖像處理裝置。圖像處理器204包括非必要成分檢測器204a(非必要成分確定器)、縮小處理器204b、放大處理器204c，以及非必要成分削減器204d。
[0051]非必要成分檢測器204a生成(獲取)視差圖像，并基于這些視差圖像來檢測(確定)非必要成分?？s小處理器204b對圖像進(jìn)行縮小處理。放大處理器204c放大由縮小處理器204b縮小的圖像，以將縮小的圖像的尺寸恢復(fù)到原始尺寸。非必要成分削減器204d從各視差圖像中削減非必要成分。在本實(shí)施例中，視差圖像可以以被預(yù)先分離為兩個圖像的形式，被輸出和生成為“僅由像素組Gl形成的圖像”和“僅由像素組G2形成的圖像”。作為另一選擇，可以首先輸出“僅由像素組Gl形成的圖像”和“像素組Gl及G2的合成圖像”，然后，可以從合成圖像中減去僅由像素組Gl形成的圖像，以計(jì)算和獲得與僅由像素組G2形成的圖像相對應(yīng)的圖像。
[0052]在諸如半導(dǎo)體存儲器和光盤等的圖像記錄介質(zhì)209中，存儲由圖像處理器204處理的輸出圖像(圖像數(shù)據(jù))?？梢栽陲@示單元205上顯示來自圖像處理器204的輸出圖像。在存儲單元208(存儲器)中，存儲圖像處理器204的圖像處理所需的圖像處理程序和各種信息。
[0053]系統(tǒng)控制器210(控制器、處理器或CPU)控制攝像元件202的操作、圖像處理單元204的處理，以及光學(xué)系統(tǒng)201(孔徑光闌201a及聚焦透鏡201b)。光學(xué)系統(tǒng)控制器206響應(yīng)于來自系統(tǒng)控制器210的控制指令，來進(jìn)行光學(xué)系統(tǒng)201的孔徑光闌201a及聚焦透鏡201b的機(jī)械驅(qū)動?？讖焦怅@201a的開口直徑被依照設(shè)定的光圈值(F數(shù))來控制。聚焦透鏡201b的位置由自動聚焦(AF)系統(tǒng)和手動聚焦機(jī)構(gòu)(未例示)來控制，由此，聚焦透鏡201b依照被攝體距離來進(jìn)行聚焦(聚焦控制)。狀態(tài)檢測器207響應(yīng)于來自系統(tǒng)控制器210的控制指令，來獲取當(dāng)前的攝像條件信息。在本實(shí)施例中，光學(xué)系統(tǒng)201被包括作為包括攝像元件202的攝像裝置200的一部分(與攝像裝置200—體化)，但是并不限定于此。像單鏡頭反光照相機(jī)一樣，攝像系統(tǒng)可以包括可拆卸地附裝至攝像裝置主體的可更換光學(xué)系統(tǒng)(可更換鏡頭)。
[0054]圖6A及圖6B分別是光學(xué)系統(tǒng)201的結(jié)構(gòu)圖和在光學(xué)系統(tǒng)201中出現(xiàn)的非必要光的說明圖。圖6A具體地例不了光學(xué)系統(tǒng)201的不例性結(jié)構(gòu)。在圖6A中，符號STP表不孔徑光闌(對應(yīng)于孔徑光闌201a)，并且符號MG表示攝像面。在攝像面MG的位置，布置了圖5中所示的攝像元件202。圖6B例示了如下的情況，即在光學(xué)系統(tǒng)201上入射有來自作為示例性高亮度(luminance)物體的用“太陽”(SUN)表示的太陽的強(qiáng)光，并且在包括在光學(xué)系統(tǒng)201中的透鏡的表面處反射的光作為非必要光(重影或光斑)，到達(dá)攝像面MG。
[0055]圖7例示了孔徑光闌STP的、入射于圖4中所示的像素Gl及G2的光束穿過的區(qū)域Pl及P2(光瞳區(qū)域或光瞳分割區(qū)域)?？讖焦怅@STP可以被假定為對應(yīng)于光學(xué)系統(tǒng)201的出射光瞳EXP(即，當(dāng)從光學(xué)系統(tǒng)201的攝像面位置觀察時的虛像)，但是在實(shí)際中，經(jīng)常是孔徑光闌STP和出射光瞳EXP彼此不同。雖然來自高亮度物體(太陽)的光束穿過孔徑光闌STP的幾乎整個區(qū)域，但是將要入射于像素Gl及G2的光束穿過的區(qū)域被分割為區(qū)域Pl及P2(光瞳區(qū)域)。在圖6B中所示的示例中，來自高亮度物體的光束穿過孔徑光闌STP的約上半部分的區(qū)域，并且是如下的情形，即光束穿過參照圖4的區(qū)域Pl(光瞳區(qū)域)。該光束穿過區(qū)域Pl，然后，該光束進(jìn)入像素Gl。
[0056]接下來，將參照圖1A及圖1B以及圖2A及圖2B，來描述如下的方法，即在由攝像裝置200生成的拍攝圖像中，確定作為通過非必要光的光電轉(zhuǎn)換而顯現(xiàn)的圖像成分的非必要成分。圖1A及圖1B是例示本實(shí)施例中的圖像處理方法的過程的圖。圖2A及圖2B是通過本實(shí)施例中的圖像處理方法而獲得的輸出圖像的示例。
[0057]圖2A例示了在無光瞳分割的情況下通過攝像(成像或圖像拍攝)而生成的拍攝圖像。該拍攝圖像包括作為建筑物和存在于建筑物的周邊的樹木的被攝體。符號GST在圖2A中的拍攝圖像中被表示為黑色方塊形狀，并且是作為與非必要光(重影)相對應(yīng)的圖像成分的非必要成分(重影成分)。在圖2A中，非必要成分GST是用黑色例示的，但是實(shí)際上，非必要成分GST具有一定的透明度，足以看到被攝體。非必要成分對應(yīng)于拍攝的被攝體上的非必要光，因此具有比拍攝的被攝體更高的亮度。在后述的其他實(shí)施例中也是如此。
[0058]圖1A(A-1)和圖1A(B-1)例示了一對視差圖像，這是由像素組Gl及G2對穿過區(qū)域Pl及P2(光瞳區(qū)域)的光束進(jìn)行光電轉(zhuǎn)換而獲得的。為了便于理解，分別將從像素組Gl獲得的視差圖像和從像素組G2獲得的視差圖像，例示為圖1A(A-1)和圖1A(B-1)。然而，在實(shí)際的處理中，可以在圖像被分離之后進(jìn)行處理，或者可以在圖像未被分離為各視差圖像的同時，使用在能夠在系統(tǒng)上確定像素組Gl及G2的狀態(tài)下的圖像信息。
[0059]當(dāng)被攝體位于近距離處時，在一對視差圖像的圖像成分中，存在與視差相對應(yīng)的差(被攝體的視差成分)。然而，當(dāng)如圖1A所示通過拍攝風(fēng)景而獲得的被攝體位于遠(yuǎn)距離時，被攝體的視差成分的量是微小的量。一對視差圖像包含被示意性地例示為黑色方塊的非必要成分GST，但是非必要成分GST的位置在視差圖像之間彼此不同。在本實(shí)施例中，描述了如下的示例，即非必要成分GST被分離而不彼此交疊，但是，非必要成分GST也可以彼此交疊，從而具有亮度差。換言之，被表示為黑色方塊的非必要成分GST的位置或亮度僅需要彼此不同。
[0060]圖1A(A-1-1)和圖1A(B-1-1)分別是對圖1A(A-1)和圖1A(B-1)中所示的一對視差圖像的縮小處理的結(jié)果?？s小處理是例如像素間的抽取(decimating)處理、多個周邊像素的像素值的平均化，或者通過使用一定的權(quán)重將多個像素的像素值組合為一個像素值的處理(所謂的像素相加處理)，但是并不限定于此?？梢砸罁?jù)視差圖像的原始尺寸，來適當(dāng)?shù)卦O(shè)置縮小率。在這種情況下，要削減的非必要成分僅需要在縮小處理之后保留，因此，當(dāng)非必要成分的面積足夠大時，可以將視差圖像的尺寸縮小到原始圖像尺寸的大約1/10。如果通過已知方法而識別出非必要成分的尺寸(面積)，則可以根據(jù)非必要成分的尺寸來確定縮小率，使得非必要成分不因縮小處理而消失，由此確定縮小處理。
[0061]在本實(shí)施例中，可以在進(jìn)行縮小處理之前進(jìn)行平滑化處理。這是因?yàn)椋貏e是當(dāng)通過使用像素間的抽取處理來進(jìn)行縮小處理時，如果存在在空間頻率中具有高頻成分的被攝體，則在縮小處理之后可能出現(xiàn)莫爾條紋。為了避免這種情況，優(yōu)選對縮小處理之前的圖像信息，進(jìn)行依據(jù)縮小率的低通濾波處理。具體而言，例如，優(yōu)選將基于縮小后的圖像的尺寸而獲得的奈奎斯特(Nyquist)頻率，設(shè)置為截止頻率，并且應(yīng)用低通濾波器，來截除高于或等于奈奎斯特頻率的高頻成分。已公開了如下的各種縮小處理，這些縮小處理是在通過其他已知處理來減少莫爾條紋的出現(xiàn)的狀態(tài)下進(jìn)行的。本實(shí)施例僅需要在本實(shí)施例的處理流程期間的縮小處理時，來減少莫爾條紋的出現(xiàn)，因此，本實(shí)施例并不限定于簡單的低通濾波器，并且可以在縮小處理之前，進(jìn)行考慮減少在縮小時的莫爾條紋的出現(xiàn)的處理，或者，可以進(jìn)行考慮減少在縮小時的莫爾條紋的出現(xiàn)的縮小處理。
[0062]圖1Α(Α-2)例示了通過如下方式獲得的圖像(差分信息的圖像)，即針對一對縮小后的視差圖像，從作為基準(zhǔn)圖像的圖1A(A-1-1)的圖像中減去圖1A(B-1-1)的圖像。該圖像(差分圖像或差分信息)包含被攝體的視差成分和上述的非必要成分，作為一對視差圖像的差分。然而，當(dāng)如圖1A所示通過拍攝風(fēng)景而獲得的被攝體位于遠(yuǎn)距離時，被攝體的視差成分的量是微小的量，因此，影響基本上能夠被忽略。同樣，圖1Α(Β-2)是通過如下方式獲得的圖像，即針對一對視差圖像，從作為基準(zhǔn)圖像的圖1A(B-1-1)的圖像中減去圖1A(A-1-1)的圖像。雖然通過上述的差分計(jì)算，包含在圖1A(A-1-1)的圖像中的非必要成分被計(jì)算為負(fù)值，但是為了簡化在后面的階段的非必要成分削減處理，在圖1Α(Β-2)的圖像中截?cái)?truncate) 了負(fù)值。因此，圖1Α(Β-2)的差分圖像僅表示包含在圖1A(B-1-1)的圖像中的非必要成分(在該示例中，由于圖1A(B-1)的圖像本來不包含非必要成分，因此，從圖1Α(Β-2)的圖像中未提取出任何非必要成分)。如上所述，通過進(jìn)行保留(即，分離或提取)差分圖像中的非必要成分的處理，能夠確定非必要成分。在本實(shí)施例中，為了便于說明，而描述了“截?cái)嘭?fù)值”，并且作為另一選擇，可以在圖像中的值低于通過基礎(chǔ)噪聲的降低處理或輝度(brightness)的偏移處理而提供的某一閾值的情況下，進(jìn)行截?cái)嗵幚怼＜词巩?dāng)值為負(fù)時，也能夠在計(jì)算處理中繼續(xù)進(jìn)行計(jì)算，因此，負(fù)值可以作為值被保留，而無需被截?cái)?。在隨后的步驟，僅需要識別由于差分的應(yīng)用而產(chǎn)生的該像素值的負(fù)值(或者小于或等于某一閾值的值)。在以下的實(shí)施例中也是如此。
[0063]然后，對要輸出的圖像，進(jìn)行去除或削減如上所述確定的非必要成分的校正處理。具體而言，進(jìn)行如下的處理，即從圖1A(A-1)和圖1A(B-1)的視差圖像中的各個中，減去非必要成分。然而，由于圖1Α(Α-2)和圖1Α(Β-2)的圖像中的各個的尺寸被減小，因此，有必要將尺寸恢復(fù)到未進(jìn)行縮小處理的圖像的尺寸(即，與圖1A(A-1)和圖1A(B-1)的圖像中的各個相同的原始圖像尺寸)。圖1Α(Α-3)及圖1Α(Β-3)的圖像例示了將縮小的尺寸恢復(fù)到原始圖像尺寸的放大處理的結(jié)果?？梢院唵蔚赝ㄟ^按比例放大來進(jìn)行放大處理，并且優(yōu)選進(jìn)行諸如雙線性方法及雙三次方法等的插值處理。結(jié)果，能夠避免出現(xiàn)劇烈的階躍邊緣(edgestep)，并且即使在非必要成分削減處理之后，也能夠維持高的質(zhì)量。
[0064]圖1Α(Α-4)是從圖1A(A-1)的圖像中減去圖1Α(Α-3)的圖像的結(jié)果。圖1Α(Β-4)是從圖1A(B-1)的圖像中減去圖1Α(Β-3)的圖像的結(jié)果。以這種方式，能夠獲得非必要成分大致消失(基本上被去除)的各視差圖像。通過合成(組合)非必要成分已被削減的各視差圖像(圖1Α(Α-4)的圖像和圖1Α(Β-4)的圖像)，能夠生成如下的拍攝圖像，該拍攝圖像是如圖2B所示通過無光瞳分割的攝像而生成的，并且等同于具有削減的非必要成分的圖像。
[0065]在本實(shí)施例中，針對差分信息，參照一個視差圖像來計(jì)算各視差圖像之間的差分圖像(負(fù)值被表示為零的差分圖像)，但是本實(shí)施例并不限定于此。當(dāng)如在本實(shí)施例中所述視差的數(shù)量是兩個時，可以將如下的絕對值存儲為差分信息(也考慮負(fù)值的絕對差分信息)，這些絕對值是通過從作為基準(zhǔn)圖像的圖1A(A-1-1)的圖像中減去圖1A(B-1-1)的圖像而獲得的。然后，從通過將圖1A(B-1-1)的圖像加上圖1A(A-1-1)的圖像而獲得的圖像中，減去絕對差分信息，由此獲得與上述等價的結(jié)果。
[0066]具體而言，將視差圖像A及B簡單地表示為A及B，則滿足下式(I)。
[0067](Α-Β)ο+(Β-Α)ο=|Α-Β|...(1)
[0068]在式(I)中，符號Oo是指針對括號內(nèi)的算式的計(jì)算的結(jié)果，如果有負(fù)值，則將這些負(fù)值截?cái)酁榱?。如上所述，能夠?qū)⒉罘中畔⒋鎯榻^對差分信息，并且例如可以使用能夠以更高的速度進(jìn)行處理的方法。
[0069]隨后，將參照圖1Β，來描述如下的方法，即通過使用上述的絕對差分信息，并進(jìn)一步去除或削減非必要成分，來確定非必要成分。
[0070]圖1B(C-1)和圖1B(D-1)分別例示了與上述的圖1A(A-1)及圖1A(B-1)相同的圖像。圖1B(C-1)和圖1B(D-1)例示了一對視差圖像，這是由像素組Gl及G2分別對穿過區(qū)域Pl及Ρ2(光瞳區(qū)域)的光束進(jìn)行光電轉(zhuǎn)換而獲得的。在本實(shí)施例中，為了便于理解，分別將從像素組Gl獲得的視差圖像和從像素組G2獲得的視差圖像，例不為圖1B(C_1)和圖1B(D_1)。圖1B(E_1)是通過對圖1B(C-1)及圖1B(D-1)的平均化處理而獲得的圖像。平均化處理是通過如下方式進(jìn)行的，即將圖1B(C-1)和圖1B(D-1)的圖像在各相應(yīng)坐標(biāo)的像素值相加，然后將相加的像素值除以2，從而將獲得的值作為圖1B(E-1)的圖像在各相應(yīng)坐標(biāo)的像素值。圖1B(E-1)也是與圖2A的圖像等價的圖像。
[0071]圖1B(C-1-1)和圖1B(D-1-1)分別是對圖1B(C-1)和圖1B(D-1)中所示的一對視差圖像進(jìn)行的縮小處理的結(jié)果。圖1B(C_2)是對一對縮小的視差圖像即圖1B(C-1-1)和圖1B(D-1-1)的圖像進(jìn)行的、如式(I)的右側(cè)所示的絕對差分處理的結(jié)果。該圖像(差分信息或絕對差分信息)包含被攝體的視差成分和上述的非必要成分，作為一對視差圖像的差分。然而，當(dāng)如圖1B所示通過拍攝風(fēng)景而獲得的被攝體位于遠(yuǎn)距離時，被攝體的視差成分的量是微小的量，因此，影響基本上能夠被忽略。
[0072]圖1B(C_3)例示了將圖像的尺寸恢復(fù)到原始尺寸而進(jìn)行的放大處理的結(jié)果。圖1B(C-4)是從圖1B(E-1)的圖像中減去圖1B(C_3)的圖像的結(jié)果。因此，即使當(dāng)使用絕對差分信息時，也能夠獲得非必要成分大致消失(被去除)的各視差圖像。在后述的第二實(shí)施例中也是如此。
[0073]如上所述，有必要在這些處理步驟中進(jìn)行圖像之間的差分計(jì)算，并且如果包括非必要成分削減處理，則還有必要多次進(jìn)行差分計(jì)算。在這種情況下，依據(jù)多個圖像的數(shù)據(jù)量，作為臨時存儲差分結(jié)果的緩沖器，需要大的存儲器容量，并且處理負(fù)荷增大。然而，通過進(jìn)行上述的縮小處理，能夠使差分計(jì)算區(qū)域變窄，并且還能夠減輕處理負(fù)荷。由于在一定程度上而言，在本實(shí)施例中作為目標(biāo)的非必要成分的面積是大的，因此，即使對在長邊方向上具有超過2000像素的原始圖像尺寸的高清晰圖像，以強(qiáng)的縮小率1/10進(jìn)行縮小處理，也能夠維持效果。因此，通過進(jìn)行縮小處理，期望大幅地減輕處理負(fù)荷。
[0074]此外，通過進(jìn)行縮小處理，能夠?qū)崿F(xiàn)降噪效果。如果不進(jìn)行本實(shí)施例中的縮小放大處理，則與包含在原始視差圖像中的噪聲相比，通過對非必要成分進(jìn)行削減處理，可能使噪聲增大。這是因?yàn)?，在獲得的視差圖像之間，噪聲量及噪聲圖案是不同的。下面，將參照圖8A至圖8H，來簡要描述噪聲增大的現(xiàn)象。圖8A至圖8H是當(dāng)不進(jìn)行縮小處理時的噪聲量的說明圖。
[0075]圖8A及圖SB是例示提取的部分(10X10像素)具有與通過拍攝灰色的均勻被攝體而獲得的視差圖像相同坐標(biāo)的圖。實(shí)際上，雖然存在3個RGB信道，但是為了便于描述，僅通過示例而例示了 G的像素值。攝像系統(tǒng)具有如圖4所示的形式，并且攝像系統(tǒng)能夠?qū)⒁斎胂袼谿l及G2中的光一分為二來獲得兩個視差圖像，而如果使用不進(jìn)行光瞳分割的攝像系統(tǒng)，則光要被收集到一個像素中。如果需要獲得等同于通過有光瞳分割的攝像而生成的拍攝圖像的圖像，則可以將通過像素GI及G2而獲得的像素值彼此相加。
[0076]例如，在圖8A至圖8H中，圖8A例示了通過像素Gl而獲得的像素值，并且圖8B例示了通過像素G2而獲得的像素值。由于拍攝在對焦面上存在的具有均勻亮度的平面被攝體，因此，視差成分能夠被忽略。在圖8A及圖SB中的各個中，盡管拍攝具有均勻亮度的被攝體，但由于在攝像元件中出現(xiàn)的噪聲的影響，像素值具有一定比率的變化。在這種情況下，圖8A中的1X 10像素的范圍內(nèi)的像素值的平均值是62.6，并且，表示變化程度的標(biāo)準(zhǔn)偏差是2.98。圖SB中的1X 10像素的范圍內(nèi)的像素值的平均值是62.6，并且表示變化程度的標(biāo)準(zhǔn)偏差是2.17。該示例是用于描述噪聲的行為的簡單模型，因此，未敘述任何要削減的非必要成分(重影成分)。
[0077]圖8C是例示通過將圖8A和圖8B中的相同坐標(biāo)處的數(shù)值相加而獲得的值的圖，并且圖SC對應(yīng)于上述“通過無光瞳分割的攝像而生成的拍攝圖像”。在這種情況下，像素值的平均值是125.1，并且標(biāo)準(zhǔn)偏差是3.91。圖8D及圖SE例示了進(jìn)行上述“非必要成分的確定處理”的結(jié)果。具體而言，圖8D是在相同坐標(biāo)處從圖8A的值中減去圖8B的值的結(jié)果，并且圖8E是在相同坐標(biāo)處從圖SB的值中減去圖8A的值的結(jié)果。對于在差分計(jì)算期間數(shù)值為負(fù)的坐標(biāo)，該坐標(biāo)處的數(shù)值被替換為零。
[0078]圖8F及圖SG例示了進(jìn)行上述“非必要成分的削減處理”的結(jié)果。具體而言，圖8F是從原始視差圖像(圖8A)中減去非必要成分圖像(圖8D)的結(jié)果，并且圖SG是從原始視差圖像(圖8B)中減去非必要成分圖像(圖8E)的結(jié)果。圖8H是將圖8F及圖8G中的相同坐標(biāo)處的數(shù)值相加的結(jié)果。圖8H是最終的“通過削減非必要成分而獲得的圖像”。如上所述，由于在差分的應(yīng)用的最初處理中(圖8D及圖SE)，負(fù)值被截?cái)喽惶鎿Q為零，因此，通過進(jìn)行非必要成分的削減處理而獲得的圖像(圖8F及圖SG)，必定比原始的視差圖像暗。對于噪聲成分，盡管在一些像素處，噪聲成分削減，但存在通過非必要成分的削減處理而增大了噪聲成分的大量像素，因此，總體而言，圖8H中的標(biāo)準(zhǔn)偏差比圖8C中的大。已有相應(yīng)的解決方案，能夠使得與“通過無光瞳分割的攝像而生成的拍攝圖像”相比，減小“通過非必要成分的削減處理而獲得的圖像”中的標(biāo)準(zhǔn)偏差的值。然而，隨著圖像的尺寸增大，全面地降低“通過無光瞳分割的攝像而生成的拍攝圖像”中的噪聲的可能性極低。由于通過如上所述的差分計(jì)算，來創(chuàng)建“通過進(jìn)行非必要成分的削減處理而獲得的圖像”，因此，與“通過無光瞳分割的攝像而生成的拍攝圖像”相比，噪聲的振幅的最大值與最小值之差增大的可能性極高，因此，噪聲看起來增大。
[0079]由于上面的原因，與“通過無光瞳分割的攝像而生成的拍攝圖像”相比，在“通過進(jìn)行非必要成分的削減處理而獲得的圖像”中，噪聲量增大，因此，圖像質(zhì)量可能劣化。
[0080]接下來，將參照圖9，來描述本實(shí)施例中的圖像處理方法(非必要成分的確定處理和非必要成分的削減處理)。圖9是例示圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處理器204，根據(jù)作為計(jì)算機(jī)程序的圖像處理程序來執(zhí)行圖9中的各步驟。
[0081 ]首先，在步驟Sll中，系統(tǒng)控制器210控制由光學(xué)系統(tǒng)201及攝像元件202構(gòu)成的攝像設(shè)備，以對被攝體進(jìn)行攝影(拍攝)。圖像處理器204獲取拍攝圖像作為輸入圖像。
[0082]隨后，在步驟S12中，圖像處理器204通過使用從攝像元件202(像素組Gl及G2)輸出的、并且通過A/D轉(zhuǎn)換器203的A/D轉(zhuǎn)換而獲得的數(shù)字信號，來生成一對視差圖像。在本實(shí)施例中，圖像處理器204可以進(jìn)行典型的顯影處理和各種圖像校正處理，來生成視差圖像。此夕卜，在步驟S12中，視差圖像可以被生成為分開的圖像，如“僅通過像素組Gl而獲得的圖像”和“僅通過像素組G2而獲得的圖像”，或者作為另一選擇，可以獲得像素組Gl和G2被混合的一個圖像。僅需要識別像素組和相應(yīng)的視差圖像。
[0083]隨后，在步驟S13中，圖像處理器204(縮小處理器204b)對在步驟S12中生成的視差圖像，進(jìn)行縮小處理。根據(jù)視差圖像的原始尺寸，來適當(dāng)?shù)卦O(shè)置縮小處理的縮小率。在這種情況下，要削減的非必要成分僅需要在縮小處理之后保留，因此，如果非必要成分的面積足夠大，則可以將視差圖像的尺寸縮小到原始尺寸的大約1/10。另外，在這種情況下，可以縮小被生成為分開的圖像的視差圖像，或者作為另一選擇，可以縮小各視差被混合的一個圖像。通過縮小圖像，除了處理負(fù)荷減輕之外，因?yàn)槿缟纤鲈肼暠黄交慕翟胄Ч€能夠提高最終要輸出的非必要成分削減圖像的質(zhì)量。可以在縮小處理器204b中配設(shè)平滑器(未例示)，以根據(jù)縮小率來進(jìn)行低通濾波處理，從而在步驟S12與S13之間，防止在縮小處理期間莫爾條紋出現(xiàn)。
[0084]隨后，在步驟S14中，圖像處理器204(非必要成分檢測器204a)獲得一對視差圖像的差分信息。換言之，圖像處理器204生成通過使用圖1A(A-1-1)的圖像作為基準(zhǔn)圖像而獲得的差分圖像(圖1Α(Α-2))，以及通過使用圖1A(B-1-1)的圖像作為基準(zhǔn)圖像而獲得的差分圖像(圖1Α(Β-2))。當(dāng)?shù)竭_(dá)攝像面的非必要光穿過光學(xué)系統(tǒng)中彼此不同的光瞳區(qū)域時，如圖1A(A-1)及圖1A(B-1)所示，對于各視差圖像，無論非必要成分是否出現(xiàn)，非必要成分的出現(xiàn)位置都是不同的。因此，在簡單的差分圖像中，非必要成分的差分值表示正值或負(fù)值。例如，在本實(shí)施例中，當(dāng)從圖1A(A-1-1)的圖像中減去圖1A(B-1-1)的圖像以生成差分圖像(圖1A(A-2))時，包含在圖1A(A-1-1)的圖像中的非必要成分表示正值，而另一方面，包含在圖1A(B-1-1)的圖像中的非必要成分表示負(fù)值。
[0085]在本實(shí)施例中，為了簡化下面描述的非必要成分削減處理，進(jìn)行將所述負(fù)值截?cái)酁榱愕奶幚?。因此，在圖1Α(Α-2)中，僅包含在圖1A(A-1-1)的圖像中的非必要成分被檢測為正值。通過對圖1Α(Β-2)的差分圖像進(jìn)行類似的處理，在圖1Α(Β-2)中，僅包含在圖
1)中的非必要成分被檢測為正值。當(dāng)針對包括近距離被攝體的圖像獲得差分信息時，可以進(jìn)行對準(zhǔn)一對視差圖像的位置的處理，以去除被攝體視差成分?？梢栽谑挂暡顖D像中的一者的位置、相對于視差圖像中的另一者的位置偏移的狀態(tài)下，確定視差圖像之間的相關(guān)性被最大化的偏移位置，由此進(jìn)行對準(zhǔn)。作為另一選擇，可以確定視差圖像之間的差分的平方和被最小化的偏移位置，由此進(jìn)行對準(zhǔn)?？梢允褂靡暡顖D像中的對焦區(qū)域，來確定用于對準(zhǔn)的偏移位置?？梢灶A(yù)先在各視差圖像中進(jìn)行邊緣檢測，以利用包含檢測出的邊緣的圖像，來確定用于對準(zhǔn)的偏移位置。根據(jù)該方法，在對焦區(qū)域中檢測具有高對比度的邊緣，而另一方面，諸如背景等的離焦區(qū)域具有低對比度，并且不容易被檢測為邊緣，因此，必然著重于對焦區(qū)域來確定偏移位置。通過使用絕對差分信息作為差分信息，獲得等價的結(jié)果。
[0086]隨后，在步驟S15中，圖像處理器204(非必要成分檢測器204a)將在步驟S14中獲得的差分圖像中保留的成分，確定為非必要成分(非必要成分信息)。
[0087]隨后，在步驟S16中，圖像處理器(放大處理器204c)進(jìn)行放大處理，以將圖像尺寸恢復(fù)到原始的圖像尺寸。在放大處理期間，可以簡單地通過按比例放大來進(jìn)行放大，并且優(yōu)選進(jìn)行諸如雙線性方法及雙三次方法等的插值處理。結(jié)果，能夠避免出現(xiàn)劇烈的階躍邊緣，并且即使當(dāng)在后面的步驟削減非必要成分時，也能夠維持高質(zhì)量，因此這是優(yōu)選的。放大處理的結(jié)果對應(yīng)于圖1Α(Α-3)及圖1Α(Β-3)的圖像。
[0088]隨后，在步驟S17中，圖像處理器204(非必要成分削減器204d)進(jìn)行校正處理，即從要輸出的圖像中削減(或去除)非必要成分。在本實(shí)施例中，作為要輸出的圖像，生成通過將圖1A(A_4)和圖1A(B_4)中所不的像素Gl和G2視為一個像素而獲得的各視差圖像。在這種情況下，通過在步驟S14中將負(fù)值截?cái)酁榱?，僅包含在各視差圖像中的非必要成分被檢測為正值。因此，通過簡單地從各視差圖像中減去差分圖像，能夠去除非必要成分。在本實(shí)施例中，這對應(yīng)于從圖1A(A-1)的視差圖像中減去圖1A(A_3)的視差圖像，以及從圖1A(B-1)的視差圖像中減去圖1Α(Β-3)的視差圖像。
[0089]最后，在步驟S18中，圖像處理器204生成輸出圖像。然后，系統(tǒng)控制器210將如圖1A(A-4)及圖1Α(Β-4)所示已去除(削減)非必要成分的輸出圖像，存儲在圖像記錄介質(zhì)209中，或者顯示在顯示單元205上。也可以通過合成非必要成分(重影成分)已被去除的各視差圖像，來輸出如下的圖像，該圖像等同于在圖2B中例示的、并且具有削減的非必要成分的拍攝圖像，該拍攝圖像是通過無光瞳分割的攝影(攝像)而生成的。
[0090]在本實(shí)施例中，作為進(jìn)行縮小處理的順序的變形例，如圖10所示，可以在生成差分信息之后進(jìn)行縮小處理。圖10是例示作為本實(shí)施例的變形例的圖像處理方法的流程圖。與圖9的流程圖不同，在圖10的流程圖中，在生成差分信息(步驟S14)之后進(jìn)行縮小處理(步驟S13)。在這種情況下，能夠減輕在確定非必要成分時的計(jì)算處理負(fù)荷，并且能夠削減通過縮小處理而出現(xiàn)的細(xì)噪聲成分。
[0091 ]作為進(jìn)一步的變形例，如圖11所示，可以在確定非必要成分之后進(jìn)行縮小處理。圖11是例示作為本實(shí)施例進(jìn)一步的變形例的圖像處理方法的流程圖。與圖9的流程圖不同，在圖11的流程圖中，在確定非必要成分(步驟S15)之后進(jìn)行縮小處理(步驟S13)。在這種情況下，緊接在縮小處理之后進(jìn)行放大處理，因此，不期望實(shí)現(xiàn)減輕計(jì)算處理負(fù)荷的效果，但是，能夠削減通過縮小處理而出現(xiàn)的細(xì)噪聲成分。
[0092]根據(jù)本實(shí)施例，當(dāng)由基于通過多次圖像拍攝(S卩，攝像)而獲得的多個視差圖像的差分信息來確定由非必要光(重影)形成的非必要成分時，能夠減小圖像處理中的計(jì)算負(fù)荷量。此外，即使當(dāng)確定的非必要成分被削減或去除時，也能夠維持高的圖像質(zhì)量。
[0093][第二實(shí)施例]
[0094]接下來，將參照圖12，來描述本發(fā)明的第二實(shí)施例中的攝像裝置。圖12是能夠執(zhí)行本實(shí)施例中的圖像處理方法的攝像裝置200a的框圖。攝像裝置200a與參照圖5描述的第一實(shí)施例的攝像裝置200的不同在于，本實(shí)施例的圖像處理器204包括用來降低圖像的噪聲的降噪器204e。其他結(jié)構(gòu)與第一實(shí)施例中的攝像裝置200相同，因此，將省略相應(yīng)的描述。
[0095]接下來，將參照圖13來描述本實(shí)施例中的圖像處理方法。圖13是例示本實(shí)施例中的圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處理器204，根據(jù)作為計(jì)算機(jī)程序的圖像處理程序來執(zhí)行圖13中的各步驟。與參照圖9描述的第一實(shí)施例的圖像處理方法不同，在本實(shí)施例的圖像處理方法中，增加了進(jìn)行平滑化處理的步驟(步驟S21)。其他處理與第一實(shí)施例相同，因此，將省略相應(yīng)的描述。
[0096]在圖13中，步驟Sll至S15與圖9中的步驟Sll至S15相同。隨后，在步驟S21中，圖像處理器204(降噪器204e)進(jìn)行平滑化處理，以降低在步驟S15中獲得的非必要成分的噪聲。作為平滑化處理的方法，可以使用已知的方法，并且優(yōu)選使用諸如雙邊濾波器等用來保持邊緣部分的平滑濾波器。這是因?yàn)?，?dāng)通過使用諸如高斯(Gaussian)濾波器等提供均勻模糊的濾波器在后面的階段進(jìn)行削減非必要成分的差分處理時，在邊緣部分可能發(fā)生諸如黑電平下降(black level depress1n)等的負(fù)面影響。通過如本實(shí)施例中所述在進(jìn)行縮小處理之后進(jìn)行平滑化處理，能夠降低無法通過縮小處理來充分降低的相對較大的塊噪聲等。在圖13中，隨后的步驟S16至S18與圖9中的步驟S16至S18相同。
[0097]在本實(shí)施例中，作為進(jìn)行平滑化處理的順序的變形例，如圖14所示，可以在生成差分信息之后進(jìn)行縮小處理。圖14是例示作為本實(shí)施例的變形例的圖像處理方法的流程圖。與圖13的流程圖不同，在圖14的流程圖中，在生成差分信息(步驟S14)之后進(jìn)行平滑化處理(步驟S21)。在這種情況下，需要進(jìn)行平滑化處理的圖像的數(shù)量增大，但是能夠與圖13中的流程圖的情況類似地獲得噪聲降低的效果。
[0098]作為進(jìn)一步的變形例，如圖15所示，可以在生成差分信息之前進(jìn)行平滑化處理。圖15是例示作為本實(shí)施例進(jìn)一步的變形例的圖像處理方法的流程圖。與圖13的流程圖不同，在圖15的流程圖中，在生成差分信息(步驟S14)之前進(jìn)行平滑化處理(步驟S21)。此外，在這種情況下，能夠與圖13中的流程圖的情況類似地獲得噪聲降低的效果。
[0099]根據(jù)本實(shí)施例，當(dāng)由基于通過多次圖像拍攝而獲得的多個視差圖像的差分信息來確定由非必要光(重影)形成的非必要成分時，能夠減小圖像處理中的計(jì)算負(fù)荷量。此外，通過進(jìn)一步應(yīng)用平滑化處理，即使當(dāng)確定的非必要成分被削減或去除時，也能夠維持高的圖像質(zhì)量。
[0100][第三實(shí)施例]
[0101]接下來，將描述本發(fā)明的第三實(shí)施例(多個光瞳分割)。
[0102]圖17是例示攝像系統(tǒng)中的攝像元件的光接收部與光學(xué)系統(tǒng)的光瞳之間的關(guān)系的圖。在圖17中，符號ML表不微透鏡，并且符號CF表不濾色器。符號EXP表不光學(xué)系統(tǒng)的出射光瞳。符號G1、G2、G3及G4表示光接收部(像素G1、G2、G3及G4)，并且一個像素G1、一個像素G2、一個像素G3及一個像素G4構(gòu)成組(像素Gl、G2、G3及G4被布置為共用單個微透鏡ML)。攝像元件包括多個由像素G1、G2、G3及G4構(gòu)成的組(像素組)的陣列。像素G3和G4分別在兩個維度上被布置在像素Gl和G2的紙面里側(cè)(未例示)。像素G1、G2、G3及G4構(gòu)成的組經(jīng)由共用的(S卩，為各像素組配設(shè)的)微透鏡ML，而與出射光瞳EXP具有共軛關(guān)系。在攝像元件中陣列的像素Gl和G2分別被稱為像素組Gl和G2(對于像素G3和G4中的各個也是如此)。圖16是當(dāng)從出射光瞳EXP側(cè)觀察時的微透鏡ML的圖。
[0103]圖18是本實(shí)施例中的攝像系統(tǒng)的示意圖，并且例示了進(jìn)行攝像的物點(diǎn)0SP、出射光瞳EXP及攝像元件的成像關(guān)系。像素Gl接收穿過出射光瞳EXP的區(qū)域Pl的光束。像素G2接收穿過出射光瞳EXP的區(qū)域P2的光束。區(qū)域P3和P4分別在兩個維度上被布置在區(qū)域Pl和P2的紙面里側(cè)(未例示)。物點(diǎn)OSP上不一定必須存在物體，并且穿過物點(diǎn)OSP的光束依據(jù)該光束穿過的光瞳(出射光瞳EXP)中的區(qū)域(位置)，而入射于像素G1、像素G2、像素G3及像素4中的一者。光束穿過光瞳的彼此不同的區(qū)域的行進(jìn)，對應(yīng)于入射光以自身的角度(視差)從物點(diǎn)OSP的分離。換言之，對于與像素G1、G2、G3及G4相對應(yīng)的各微透鏡ML，通過使用來自像素G1、G2、G3及G4的輸出信號而生成4個圖像，這4個圖像是彼此具有視差的多個視差圖像。圖19是當(dāng)從微透鏡ML側(cè)觀察時的出射光瞳EXP的圖。在圖17及圖18中，當(dāng)由于例如出射光瞳EXP的位置偏移使得上述的共軛關(guān)系未被完全保持時，或者當(dāng)區(qū)域Pl和P2(或者區(qū)域P3和P4)部分地彼此交疊時，獲得的多個圖像仍被視為視差圖像。本實(shí)施例中的能夠執(zhí)行圖像處理方法的攝像裝置的基本結(jié)構(gòu)，與參照圖12描述的第二實(shí)施例的攝像裝置200a相同，并且本實(shí)施例中的光學(xué)系統(tǒng)與參照圖6A及圖6B描述的光學(xué)系統(tǒng)201相同，因此，將省略相應(yīng)的描述。
[0104]接下來，將參照圖20，來描述如下的方法，即在由攝像裝置200a生成的拍攝圖像中，確定作為通過非必要光的光電轉(zhuǎn)換而顯現(xiàn)的圖像成分的非必要成分。圖20是例示本實(shí)施例中的圖像處理方法的過程的圖。在本實(shí)施例中，通過無光瞳分割的攝像而生成的拍攝圖像與圖2相同。
[0105]圖20(A-1)、圖 20(B-1)、圖 20(C-1)及圖 20(D-1)例示了作為像素組 G1、G2、G3 及 G4的光電轉(zhuǎn)換的結(jié)果而獲得的一組視差圖像，在所述像素組G1、G2、G3及G4中，分別接收到穿過光瞳區(qū)域P1、P2、P3及P4的光束。該組視差圖像包含被示意性地例示為黑色方塊的非必要成分GST，并且圖20(A-1)和圖20(B-1)中的非必要成分GST的一部分(在左上部)的位置在同一位置交疊。另一方面，在圖20(A-1)與圖20(C-1)之間，非必要成分的全部位置均彼此不同。在圖20(D-1)中，未出現(xiàn)任何非必要成分。
[0106]圖20(A-1-1)、圖20(B-1-1)、圖20(C-1-1)及圖20(D-1-1)是對各個視差圖像進(jìn)行的縮小處理的結(jié)果。在進(jìn)行縮小處理之前，如在第一實(shí)施例和第二實(shí)施例中的各個中描述的，可以進(jìn)行諸如低通濾波處理等的平滑化處理，以防止出現(xiàn)莫爾條紋。
[0107]圖20(A-2)是通過如下方式獲得的差分信息的圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(A-1-1)的圖像中減去圖20(B-1-1)的圖像。與第一實(shí)施例類似，該圖像包含被攝體的視差成分和上述的非必要成分，作為差分信息。如上所述，在圖20(A-1)與圖20(B-1)的圖像之間，非必要成分的一部分在同一位置彼此交疊。因此，在差分圖像中未顯現(xiàn)在同一位置出現(xiàn)的非必要成分。換言之，存在如下的非必要成分，僅通過兩個圖像之間的差分信息無法檢測出該非必要成分。然而，如在本實(shí)施例中所述，通過獲取視差圖像的多個差分信息，如果在例如圖20(C-1)所示的至少一個視差圖像中的、與基準(zhǔn)圖像中的位置不同的位置，出現(xiàn)非必要成分，則能夠有效地檢測出該非必要成分。
[0108]圖20(A-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(A-1-1)的圖像中減去圖20(C-1-1)的圖像。與第一實(shí)施例類似，該圖像包含被攝體的視差成分和上述的非必要成分，作為差分信息。與第一實(shí)施例類似，雖然通過差分計(jì)算，在圖20(C-1-1)的圖像中包含的非必要成分被計(jì)算為負(fù)值，但是為了簡化在后面的階段的非必要成分削減處理，在圖20(A-3)的圖像中截?cái)嗔素?fù)值。對于所有其他的差分圖像均是如此。因此，圖20(A-3)的差分圖像僅表示包含在圖20(A-1-1)的圖像中的非必要成分。
[0109]圖20(A-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(A-1-1)的圖像中減去圖20(D-1-1)的圖像。由于圖20(A-1-1)和圖20(D-1-1)的圖像在非必要成分的有無上是不同的，因此，與圖20(A-3)的圖像類似，圖20(A-4)的圖像僅表示包含在圖20(A-1-1)的圖像中的非必要成分。
[0110]圖20(A-5)是通過如下方式獲得的信息(最大差分信息或最大差分圖像)，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖20(A-2)、圖20(A-3)及圖20(A-4)的差分圖像中，提取各像素位置處的差分信息之間的最大值。在本實(shí)施例中，該圖像信息具有與圖20(A-3)及圖20(A-4)的圖像中的各個相等的值，并且該圖像信息對應(yīng)于包含在圖20(A-1-1)的圖像中的非必要成分的位置和量。
[0111]同樣，圖20(B-2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(B-1-1)的圖像中減去圖20(A-1-1)的圖像。圖20(B-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(B-1-1)的圖像中減去圖20(C-1-1)的圖像。圖20(B-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(B-1-1)的圖像中減去圖20(D-1-1)的圖像。圖20(B-5)是通過如下方式獲得的最大差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖20(B-2)、圖20(B-3)及圖20(B-4)的差分圖像中，提取各像素位置處的差分信息的最大值。在本實(shí)施例中，該圖像信息具有與圖20(B-3)及圖20(B-4)的圖像中的各個中的值相等的值，并且該圖像信息包括包含在圖20(B-1-1)的圖像中的非必要成分的位置和量。
[0112]同樣，圖20(C-2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(C-1-1)的圖像中減去圖20(A-1-1)的圖像。圖20(C-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(C-1-1)的圖像中減去圖20(B-1-1)的圖像。圖20(C-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(C-1-1)的圖像中減去圖20(D-1-1)的圖像。圖20(C-5)是通過如下方式獲得的最大差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖20(C-2)、圖20(C-3)及圖20(C-4)的差分圖像中，提取各像素位置處的差分信息的最大值。在本實(shí)施例中，該圖像信息具有與圖20(C-2)、圖20(C-3)及圖20(C-4)的圖像中的各個中的值相等的值，并且該圖像信息包括包含在圖20 (C-1 -1)的圖像中的非必要成分的位置和量。
[0113]同樣，圖20(D-2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(D-1-1)的圖像中減去圖20(A-1-1)的圖像。圖20(D-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖20(D-1-1)的圖像中減去圖20(B-1-1)的圖像。圖20(D-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像圖20(D-1-1)的圖像中減去圖20(C-1-1)的圖像。圖20(D-5)是通過如下方式獲得的最大差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖20(D-2)、圖20(D-3)及圖20(D-4)的差分圖像中，提取各像素位置處的差分信息的最大值。在本實(shí)施例中，該圖像信息具有與圖20(D-2)、圖20(D-3)及圖20(D-4)的圖像中的各個中的值相等的值，并且由于在圖20(D-1-1)的圖像中未檢測出任何非必要成分，所以檢測結(jié)果為無。
[0114]接下來，合成(組合)圖20(A-5)、圖20(B-5)、圖20(C-5)及圖20(D-5)的各圖像。圖20(F-1)是對合成圖像進(jìn)行的平滑化處理的結(jié)果。圖20(F-2)是進(jìn)一步進(jìn)行將圖像尺寸恢復(fù)到原始圖像尺寸的放大處理的結(jié)果，所述原始圖像尺寸對應(yīng)于在進(jìn)行縮小處理之前獲取到的圖像的尺寸。然后，對要輸出的圖像，進(jìn)行去除或削減如上所述確定的非必要成分(或者通過合成各個視差圖像的非必要成分而獲得的合成的非必要成分)的校正處理。因此，如圖20(G-1)所示，能夠獲得非必要成分已大致消失(被去除)的各視差圖像。具體而言，準(zhǔn)備通過合成圖20(A-1)、圖20(B-1)、圖20(C-1)及圖20(D-1)的各視差圖像而獲得的合成圖像(圖20(E-1))，然后，從圖20(E-1)的合成圖像中減去圖20(F-2)的圖像(合成的非必要成分)。結(jié)果，能夠生成如下的圖像，該圖像等同于在圖2B中例示的、并且具有削減的非必要成分的拍攝圖像，該拍攝圖像是通過無光瞳分割的攝像而生成的。
[0115]接下來，將參照圖21，來描述本實(shí)施例中的圖像處理方法。圖21是例示本實(shí)施例中的圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處理器204，根據(jù)作為計(jì)算機(jī)程序的圖像處理程序來執(zhí)行圖21中的各步驟。本實(shí)施例的圖像處理方法與參照圖13描述的第二實(shí)施例的圖像處理方法的不同之處在于，增加了提取各視差圖像的差分信息的最大值的步驟(步驟S31)。其他處理與第二實(shí)施例相同，因此，將省略相應(yīng)的描述。
[0116]在圖21中，步驟Sll至S13與圖13中的步驟Sll至S13相同。隨后，在步驟S14中，圖像處理器204(非必要成分檢測器204a)獲得通過針對一組視差圖像使用各視差圖像作為基準(zhǔn)圖像而獲得的差分信息。換言之，通過使用圖20(A-1-1)的圖像作為基準(zhǔn)圖像，而生成圖20(A-2)、圖20(A-3)及圖20(A-4)的差分圖像。同樣，圖像處理器204通過使用圖20(B-H)的圖像作為基準(zhǔn)圖像，生成圖(B-2)、圖20(B-3)及圖20(B-4)的差分圖像。圖像處理器204還通過使用圖20(C-1-1)的圖像作為基準(zhǔn)圖像，生成圖20(C-2)、圖20(C-3)及圖20(C-4)的差分圖像。此外，圖像處理器204通過使用圖20(D-1-1)的圖像作為基準(zhǔn)圖像，生成圖20(D-2)、圖20(D-3)及圖20(D-4)的差分圖像。
[0117]當(dāng)?shù)竭_(dá)攝像面的非必要光穿過光學(xué)系統(tǒng)中的彼此不同的光瞳區(qū)域時，如圖20(A-1)及圖20(C-1)所示，對于各視差圖像，非必要成分的出現(xiàn)位置是不同的。因此，在簡單的視差圖像中，非必要成分的差分值表示正的和負(fù)的值。例如，在本實(shí)施例中，當(dāng)從用于生成圖20(C-2)的差分圖像的圖20(C-1-1)的圖像中減去圖20(A-1-1)的圖像時，包含在圖20(A-1-
1)的圖像中的非必要成分表示負(fù)值。在本實(shí)施例中，為了簡化下面描述的非必要成分削減處理，進(jìn)行將所述負(fù)值截?cái)酁榱愕奶幚怼Ｒ虼?，僅包含在圖20(C-1-1)的圖像中的非必要成分被檢測為正值。通過對各差分圖像進(jìn)行類似的處理，僅包含在各基準(zhǔn)圖像中的非必要成分被檢測為正值。另一方面，如果如圖20(D-1-1)所示未生成非必要成分，則在差分信息中無法檢測到非必要成分。
[0118]隨后，在步驟S31中，在通過使用在步驟S14中獲得的各視差圖像作為基準(zhǔn)圖像而獲得的差分圖像中，圖像處理器204(非必要成分檢測器204a)提取各像素位置處的差分信息的最大值。在下文中，將描述提取多個差分信息間的最大值的效果。如在本實(shí)施例中所述，對于圖20(A-1)和圖20(B-1)的圖像，非必要成分的一部分在同一位置彼此交疊。因此，存在如下的可能性，即依據(jù)光學(xué)系統(tǒng)或者高亮度光源的位置，可能在視差圖像中的同一位置出現(xiàn)非必要成分。在這種情況下，當(dāng)計(jì)算這兩個圖像之間的差分時，非必要成分表示零值。換言之，存在僅通過兩個圖像之間的差分信息無法檢測到的非必要成分。在本實(shí)施例中，通過獲取視差圖像的多個差分信息，如果在例如圖20(C-1)所示的至少一個視差圖像中的、與基準(zhǔn)圖像中的位置不同的位置，出現(xiàn)非必要成分，則如圖20(B-3)所示，能夠有效地檢測到該非必要成分。因此，通過獲取多個差分信息以提取所述多個差分信息間的最大差分信息，如果存在非必要成分的位置在視差圖像之間不同的至少一個圖像，則能夠明確地檢測到非必要成分的位置和量。
[0119]隨后，在步驟S32中，圖像處理器204(非必要成分檢測器204a)將在步驟S31中獲得的最大差分圖像中保留的成分，確定為非必要成分(合成的非必要成分)。通過將圖像合成為如圖20(F-1)所示的一個圖像(對應(yīng)于非必要成分(合成的非必要成分))的插入步驟，能夠?qū)σ粋€合成圖像進(jìn)行后面的階段的處理。因此，能夠進(jìn)一步減輕處理負(fù)荷，因此，這是更佳的優(yōu)選方案。
[0120]隨后，在步驟S21中，圖像處理器204(降噪器204e)對在步驟S31中獲得的最大差分圖像或者合成圖像(對應(yīng)于圖20(F-1)的圖像)，進(jìn)行平滑化處理。平滑化處理與第二實(shí)施例相同，因此，將省略相應(yīng)的描述。
[0121]隨后，在步驟S16中，圖像處理器204(放大處理器204c)進(jìn)行將縮小的圖像尺寸恢復(fù)到原始圖像尺寸的放大處理，所述原始圖像尺寸對應(yīng)于在進(jìn)行縮小處理之前獲得的尺寸。在放大處理期間，可以簡單地通過按比例放大來進(jìn)行放大，并且優(yōu)選進(jìn)行諸如雙線性方法及雙三次方法等的插值處理。結(jié)果，能夠避免出現(xiàn)劇烈的階躍邊緣，并且即使當(dāng)在后面的步驟削減非必要成分時，也能夠維持高質(zhì)量，因此這是優(yōu)選的。
[0122]隨后，在步驟S33中，圖像處理器204(非必要成分削減器204d)進(jìn)行從要輸出的圖像中削減(或去除)非必要成分(通過合成多個視差圖像而獲得的合成的非必要成分)的校正處理。然后，如圖20(A-5)、圖20(B-5)、圖20(C-5)及圖20(D-5)所示，生成通過將像素G1、G2、G3及G4中的各個視為一個像素而獲得的各視差圖像，作為要輸出的圖像。在這種情況下，通過在步驟S14將負(fù)值截?cái)酁榱?，僅包含在各視差圖像中的非必要成分被檢測為正值。因此，通過簡單地從各視差圖像中減去各差分圖像，能夠去除非必要成分。在本實(shí)施例中，例如，這對應(yīng)于從圖20(A-1)的視差圖像中減去圖20(A-5)的最大差分圖像。然而，在這種情況下，有必要通過從圖20(B-1)的視差圖像等中減去圖20(B-5)的最大差分圖像，來進(jìn)行4次差分計(jì)算。因此，優(yōu)選地，首先準(zhǔn)備通過合成圖20(A-1)、圖20(B-1)、圖20(C-1)及圖20(D-1)的圖像而獲得的圖20(E-1)的合成圖像，然后，從如上所述的圖20(E-1)的合成圖像中，減去通過合成圖20(A-5)、圖20(B-5)、圖20(C-5)及圖20(D-5)的圖像而獲得的圖20(F-1)的圖像(合成的非必要成分)。通過準(zhǔn)備圖20(F-1)的圖像，能夠僅對圖20(F-1)的一個圖像進(jìn)行平滑化處理及放大處理，因此，能夠減輕處理負(fù)荷。
[0123]最后，在步驟S18中，圖像處理器204生成輸出圖像。然后，系統(tǒng)控制器210將如圖20(G-1)所示已去除(削減)非必要成分的輸出圖像，存儲在圖像記錄介質(zhì)209中，或者顯示在顯示單元205上。也可以通過合成非必要成分已被去除的各視差圖像，來輸出等同于在圖2B中所示的拍攝圖像的圖像，該拍攝圖像包含削減的非必要成分，并且是通過無光瞳分割的攝像而生成的。作為本實(shí)施例的變形例，也可以應(yīng)用在第一及第二實(shí)施例中的各個中描述的變形例。
[0124]根據(jù)本實(shí)施例，當(dāng)由基于通過多次攝像而獲得的多個視差圖像的差分信息、來確定由非必要光(重影)形成的非必要成分時，能夠減小圖像處理中的計(jì)算負(fù)荷量。此外，通過在縮小處理之外又應(yīng)用平滑化處理，即使當(dāng)確定的非必要成分被削減或去除時，也能夠維持高的圖像質(zhì)量。[第四實(shí)施例]
[0125]接下來，將描述本發(fā)明的第四實(shí)施例。在本實(shí)施例中，攝像裝置的基本結(jié)構(gòu)與參照圖12描述的第二實(shí)施例的攝像裝置200a相同，因此，將省略相應(yīng)的描述。攝像系統(tǒng)中的攝像元件的光接收部與第三實(shí)施例中相同，因此，將省略相應(yīng)的描述。光學(xué)系統(tǒng)的具體結(jié)構(gòu)與參照圖6A及圖6B描述的第一實(shí)施例中的光學(xué)系統(tǒng)201相同，因此，將省略相應(yīng)的描述。入射于孔徑光闌STP和像素Gl、G2、G3及G4的光束穿過區(qū)域Pl、P2、P3及P4(光瞳區(qū)域)，所述區(qū)域Pl、P2、P3及P4之間的關(guān)系與第三實(shí)施例相同，因此，將省略相應(yīng)的描述。
[0126]接下來，參照圖22，來描述如下的方法，即在通過使用攝像裝置200a進(jìn)行攝像而生成的拍攝圖像中，確定作為通過非必要光的光電轉(zhuǎn)換而顯現(xiàn)的圖像成分的非必要成分。圖22是例示本實(shí)施例中的圖像處理方法的過程的圖。
[0127]圖22(A-1)、圖22(B-1)、圖22(C-1)及圖22(D-1)例示了作為像素組 G1、G2、G3 及 G4的光電轉(zhuǎn)換的結(jié)果而獲得的一組視差圖像，在所述像素組G1、G2、G3及G4中，分別接收到穿過光瞳區(qū)域P1、P2、P3及P4的光束。該組視差圖像包含被示意性地例示為黑色方塊的非必要成分GST，并且圖22(B-1)和圖22(C-1)的非必要成分GST的一部分(在左上部)在同一位置交疊。此外，圖22(A-1)和圖22(D-1)中的非必要成分GST的一部分(在左上部)在同一位置交疊。另一方面，在圖22(A-1)與圖22(B-1)之間，非必要成分的全部位置均彼此不同。圖22(A-1-1)、圖22(B-1-1)、圖22(C-1-1)及圖22(D-1-1)是對各個視差圖像進(jìn)行的縮小處理的結(jié)果O
[0128]圖22(A-2)是通過如下方式獲得的差分信息的圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(A-1-1)的圖像中減去圖22(B-1-1)的圖像。該圖像包含被攝體的視差成分和上述的非必要成分，作為差分信息。雖然通過差分計(jì)算，在圖22(B-1-1)的圖像中包含的非必要成分被計(jì)算為負(fù)值，但是為了簡化在后面的階段的非必要成分削減處理，在圖22(A-
2)的圖像中截?cái)嗔素?fù)值。對于所有其他的差分圖像均是如此。因此，圖22(A-2)的差分圖像僅表示包含在圖22(A-1-1)的圖像中的非必要成分。
[0129]圖22(A-3)是如下的差分圖像，該差分圖像是通過如下方式獲得的，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(A-1-1)的圖像中減去圖22(C-1-1)的圖像。圖22(A-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(A-1-1)的圖像中減去圖22(D-1-1)的圖像。該圖像包含被攝體的視差成分和上述的非必要成分，作為差分信息。如上所述，在圖22(A-1-1)與圖22(D-1-1)的圖像之間，非必要成分的一部分(在左上部)在同一位置彼此交疊，因此，在差分信息中，未檢測到左上部的非必要成分。因此，在差分圖像中未顯現(xiàn)在同一位置生成的非必要成分。
[0130]圖22(A-5)是通過如下方式獲得的信息(最小差分信息或最小差分圖像)，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖22(A-2)、圖22(A-3)及圖22(A-4)的差分圖像中，提取各像素位置處的差分信息之間的最小值。在本實(shí)施例中，該圖像信息具有與圖22(A-4)的圖像相等的值，并且該圖像信息對應(yīng)于包含在圖22(A-1-1)的圖像中的非必要成分的一部分的位置和量。
[0131]同樣，圖22(B-2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(B-1-1)的圖像中減去圖22(A-1-1)的圖像。圖22(B-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(B-1-1)的圖像中減去圖22(C-1-1)的圖像。圖22(B-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(B-1-1)的圖像中減去圖22(D-1-1)的圖像。圖22(B-5)是通過如下方式獲得的最小差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖22(B-2)、圖22(B-3)及圖22(B-4)的差分圖像中，提取各像素位置處的差分信息的最小值。在本實(shí)施例中，該圖像信息具有與圖22(B-3)的圖像中相等的值，并且該圖像信息包括在圖22(B-1-1)的圖像中包含的非必要成分的一部分的位置和量。
[0132]同樣，圖22(C-2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(C-1-1)的圖像中減去圖22(A-1-1)的圖像。圖22(C-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(C-1-1)的圖像中減去圖22(B-1-1)的圖像。圖22(C-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(C-1-1)的圖像中減去圖22(D-1-1)的圖像。圖22(C-5)是通過如下方式獲得的最小差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖22(C-2)、圖22(C-3)及圖22(C-4)的差分圖像中，提取各像素位置處的差分信息的最小值。在本實(shí)施例中，該圖像信息具有與圖22(C-3)的圖像中的值相等的值，并且未檢測到包含在圖22(C-1-1)的圖像中的非必要成分的位置和量。
[0133]同樣，圖22(D_2)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(D-1-1)的圖像中減去圖22(A-1-1)的圖像。圖22(D-3)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(D-1-1)的圖像中減去圖22(B-1-1)的圖像。圖22(D-4)是通過如下方式獲得的差分圖像，即針對一組視差圖像，從作為基準(zhǔn)圖像的圖22(D-1-1)的圖像中減去圖22(C-1-1)的圖像。圖22(D-5)是通過如下方式獲得的最小差分信息，即在作為被獲取為二維數(shù)據(jù)的差分信息的圖22(D-2)、圖22(D-3)及圖22(D-4)的差分圖像中，提取各像素位置處的差分信息的最小值。在本實(shí)施例中，該圖像信息具有與圖22(D-2)的圖像中的值相等的值，并且未檢測到包含在圖22(D-1-1)的圖像中的非必要成分的位置和量。
[0134]接下來，合成圖22(A-5)、圖22(B-5)、圖22(C-5)及圖22(D-5)的各圖像。圖22(F-1)是對合成圖像進(jìn)行的平滑化處理的結(jié)果。圖22(F-2)是將圖像尺寸恢復(fù)到原始圖像尺寸的放大處理的結(jié)果，所述原始圖像尺寸對應(yīng)于在進(jìn)行縮小處理之前獲取到的圖像的尺寸。然后，對要輸出的圖像，進(jìn)行去除或削減如上所述確定的非必要成分的校正處理。因此，如圖22(G-1)所示，能夠獲得非必要成分大致消失(被去除)的各視差圖像。具體而言，準(zhǔn)備通過合成圖22(A-1)、圖22(B-1)、圖22(C-1)及圖22(D-1)的各視差圖像而獲得的圖像(圖22(E-1))，然后，從圖22(E-1)的圖像中減去圖22(F-2)的圖像。結(jié)果，能夠獲得除交疊區(qū)域中以外的非必要成分已被肖Ij減的圖像。
[0135]接下來，將參照圖23，來描述本實(shí)施例中的圖像處理方法。圖23是例示本實(shí)施例中的圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處理器204，根據(jù)作為計(jì)算機(jī)程序的圖像處理程序來執(zhí)行圖23中的各步驟。與參照圖21描述的第三實(shí)施例的圖像處理方法不同，在本實(shí)施例的圖像處理方法中，以提取各視差圖像的差分信息的最小值的步驟(步驟S41)，來替代提取各視差圖像的差分信息的最大值的步驟(步驟S31)。其他處理與第三實(shí)施例相同，因此，將省略相應(yīng)的描述。
[0136]在步驟S41中，在通過使用在步驟S14中獲得的各視差圖像作為基準(zhǔn)圖像而獲得的差分圖像中，圖像處理器204(非必要成分檢測器204a)提取各像素位置處的差分信息的最小值。在下文中，將描述提取多個差分信息間的最小值的效果。如在本實(shí)施例中所述，對于圖22(B-1)和圖22(C-1)的圖像，或者圖22(A-1)和圖22(D-1)的圖像，非必要成分的一部分在同一位置彼此交疊。因此，依據(jù)光學(xué)系統(tǒng)或者高亮度光源的位置，可能在視差圖像中的同一位置出現(xiàn)非必要成分。在這種情況下，當(dāng)計(jì)算這兩個圖像之間的差分時，非必要成分表示零值。
[0137]當(dāng)以與第三實(shí)施例不同的方式來獲取差分信息的最小值時，雖然如圖22所示在全部視差圖像之間非必要成分位于不同位置，但是無法檢測到交疊的非必要成分。然而，這對應(yīng)于僅檢測在多個視差圖像中的一個中出現(xiàn)的成分，而且這對應(yīng)于針對在拍攝近距離被攝體時出現(xiàn)的被攝體的視差成分，使針對3個視差圖像的被攝體的視差成分與非必要成分分離。換言之，當(dāng)對拍攝了近距離被攝體的圖像進(jìn)行非必要成分削減處理時，能夠大大降低被攝體的視差圖像的影響。因此，通過獲取多個差分信息以提取所述多個差分信息中的最小差分信息，能夠檢測除交疊的非必要成分以外的非必要成分，而且能夠同時分離針對3個視差圖像的被攝體的視差成分。作為本實(shí)施例的變形例，也可以應(yīng)用在第一及第二實(shí)施例中的各個中描述的變形例。
[0138]根據(jù)本實(shí)施例，當(dāng)由基于通過多次攝像而獲得的多個視差圖像的差分信息、來確定由非必要光(重影)形成的非必要成分時，能夠減小圖像處理中的計(jì)算負(fù)荷量。此外，通過在縮小處理之外又應(yīng)用平滑化處理，即使當(dāng)確定的非必要成分被削減或去除時，也能夠維持高的圖像質(zhì)量。
[0139][第五實(shí)施例]
[OMO] 接下來，將描述本發(fā)明的第五實(shí)施例。Ren.Ng e t al.，〃Light FieldPhotography with a Hand-held Plenoptic Camera^(Stanford Tech Report CTSR2005-2)(Ren.Ng等，“利用手持式全光照相機(jī)的光場攝影”(斯坦福技術(shù)報告CTSR 2005-2))公開了一種“全光照相機(jī)” (plenoptic camera)?！叭庹障鄼C(jī)”能夠通過使用稱為“光場攝影”的技術(shù)，獲取來自物體的光束的位置及角度的信息。
[0141 ]圖24例示了本實(shí)施例中的攝像裝置的攝像系統(tǒng)，并且例示了 “全光照相機(jī)”的攝像系統(tǒng)的結(jié)構(gòu)。光學(xué)系統(tǒng)301 (攝像光學(xué)系統(tǒng))包括主透鏡301b(攝像透鏡)和孔徑光闌301a。在光學(xué)系統(tǒng)301的成像位置，布置了微透鏡陣列301c，并且在微透鏡301c的后方(更靠近圖像)，布置了攝像元件302。微透鏡陣列301c具有作為分離器(分離構(gòu)件)的功能，所述分離器防止如下的兩個光束在攝像元件302上混合，其中一個光束穿過例如被攝體空間中的點(diǎn)A，另一光束穿過點(diǎn)A附近的點(diǎn)。圖24例示了來自點(diǎn)A的頂束、主光束及底束被彼此不同的像素接收。因此，穿過點(diǎn)A的光束能夠依據(jù)自身的角度而被分別獲取。
[0142]Todor Georgive et al.，〃Full Resolut1n Light Field Rendering^(AdobeTechnical Report January 2008) (Todor Georgive等，“全分辨率光場清染”(Adobe技術(shù)報告2008年I月))公開了圖25及圖26中所示的攝像系統(tǒng)的結(jié)構(gòu)，所述結(jié)構(gòu)獲取光束的位置及角度的信息(光場)。
[0143]利用圖25中所示的攝像系統(tǒng)的結(jié)構(gòu)，微透鏡陣列301c被布置在主透鏡301b的成像位置的后方(更靠近圖像)，以使穿過點(diǎn)A的光束在攝像元件302上重新成像，從而依據(jù)光束的角度來分別獲取光束。利用圖26中所示的攝像系統(tǒng)的結(jié)構(gòu)，微透鏡陣列301c被布置在主透鏡301b的成像位置的前方(更靠近物體)，以使穿過點(diǎn)A的光束在攝像元件302上成像，從而依據(jù)光束的角度來分別獲取光束。在兩個結(jié)構(gòu)中，穿過光學(xué)系統(tǒng)301的光瞳的光束均依據(jù)在光瞳中穿過的區(qū)域(穿過的位置)而被分離。在這些結(jié)構(gòu)中，攝像元件302可以采用包括經(jīng)由濾色器CF而配對的一個微透鏡ML和一個光接收部Gl的傳統(tǒng)攝像元件，如圖27所示。
[0144]圖24中所示的光學(xué)系統(tǒng)301產(chǎn)生如圖28A所示的圖像。圖28B是圖28A中陣列的圓圈中的一個的放大圖。一個圓圈表示孔徑光闌STP，并且該圓圈的內(nèi)部被多個像素Pj (j = I，2，3，...)分割。該結(jié)構(gòu)使得能夠獲取一個圓圈內(nèi)的光瞳的強(qiáng)度分布。使用圖25及圖26中所示的光學(xué)系統(tǒng)301獲得圖29中所示的視差圖像。通過在圖28A中所示的圖像中重新排列并重新構(gòu)造各圓圈(孔徑光闌STP)中的像素Pj，可以獲得如圖29所示的視差圖像。
[0145]如在第一至第四實(shí)施例中所描述的，諸如重影等的非必要光以跨越光瞳的偏倚分布，而穿過光瞳。因此，在本實(shí)施例中的、通過光瞳的分割的區(qū)域來進(jìn)行攝像的攝像裝置中，可以采用第一至第四實(shí)施例中描述的圖像處理方法，來確定非必要成分，并進(jìn)一步削減這些非必要成分。
[0146]在另一示例中，如圖30所示，通過多個照相機(jī)拍攝同一被攝體的圖像來獲得視差圖像。因此，這些照相機(jī)可以采用第一至第四實(shí)施例中描述的圖像處理方法。C1、C2及03表示分開的攝像裝置，但是Cl、C2及C3也可以被視為單個攝像裝置，該單個攝像裝置通過大光瞳的3個分割的區(qū)域來進(jìn)行攝像。作為另一選擇，如圖31所示，可以通過為一個攝像裝置配設(shè)多個光學(xué)系統(tǒng)OS j (j = I，2，3，...)，來實(shí)現(xiàn)光瞳分割。
[0147][第六實(shí)施例]
[0148]接下來，將描述本發(fā)明的第六實(shí)施例。上述的各實(shí)施例描述了如下的情況，即在圖像的整個區(qū)域上確定和去除非必要成分，但在許多情況下，非必要成分出現(xiàn)在圖像的一部分中，如圖2A及圖2B所示。由于對用戶而言，易于確定圖像中的非必要成分區(qū)域，因此，可以由用戶指定要進(jìn)行削減處理的區(qū)域，由此進(jìn)一步減輕各實(shí)施例中的處理負(fù)荷。通過限定區(qū)域，還能夠減少在上述的近距離被攝體的攝影中生成的被攝體視差成分的影響。
[0149]圖32A及圖32B是例示選擇非必要成分削減處理區(qū)域的示例的圖。圖32A例示了當(dāng)用戶在圖像中選擇要去除非必要成分的區(qū)域時的概念圖。圖32B例示了已對由實(shí)線表示的選定區(qū)域中的非必要成分進(jìn)行了削減處理的輸出圖像。即使當(dāng)區(qū)域的范圍被限定時，也可以通過使用與第一至第四實(shí)施例中的各個類似的圖像處理方法，基于視差圖像來確定非必要成分，此外，能夠削減非必要成分。
[0150]當(dāng)用戶指定如在本實(shí)施例中所述的區(qū)域時，或者當(dāng)通過已知的方法獲知非必要成分的區(qū)域時，可以如上所述由縮小處理器204b依據(jù)非必要成分的區(qū)域的尺寸來確定縮小率，以進(jìn)行縮小處理。換言之，當(dāng)非必要成分的尺寸大時，減小縮小率。另一方面，當(dāng)非必要成分的區(qū)域小時，優(yōu)選調(diào)整縮小率，以避免由于縮小處理而導(dǎo)致小于或等于一個像素的區(qū)域消失。通過在能夠保持非必要成分削減的效果的范圍內(nèi)，將縮小率設(shè)置為增大，能夠進(jìn)一步減輕處理負(fù)荷。
[0151]各實(shí)施例描述了去除或削減非必要成分的情況，但是也可以通過使用與確定的非必要成分相關(guān)的信息(非必要成分信息)，來進(jìn)行用于附加其他非必要成分的校正處理。例如，對于圖29中所示的多個視差圖像中的各個，存在包含重影(非必要成分)的圖像和不包含重影的圖像。如果在重構(gòu)的圖像中要使重影保留，則可以將確定的重影附加至各視差圖像。也可以向重構(gòu)的圖像附加重影。
[0152]各實(shí)施例描述了執(zhí)行各實(shí)施例的圖像處理方法的(配設(shè)有圖像處理裝置的)攝像裝置，但是也可以由安裝在個人計(jì)算機(jī)中的圖像處理程序來執(zhí)行各實(shí)施例中的圖像處理方法。在這種情況下，個人計(jì)算機(jī)對應(yīng)于各實(shí)施例的圖像處理裝置。個人計(jì)算機(jī)接受(獲取)由攝像裝置生成的、并且要經(jīng)歷圖像處理的圖像(輸入圖像)，并且輸出通過由圖像處理程序進(jìn)行圖像處理而獲得的圖像。
[0153]如上所述，圖像處理裝置(圖像處理器204)包括非必要成分確定器(非必要成分檢測器204a)、縮小處理器204b、放大處理器204c、以及非必要成分削減器204d。非必要成分確定器基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息(即，與非必要成分相關(guān)的信息)。縮小處理器對視差圖像、差分信息和非必要成分信息中的至少一者，進(jìn)行縮小處理(即，減少信息量)。放大處理器對非必要成分信息進(jìn)行放大處理(即，增加信息量)。非必要成分削減器基于非必要成分信息，從視差圖像或者通過合成多個視差圖像而獲得的合成圖像中削減非必要成分(或者通過合成各個視差圖像的非必要成分而獲得的合成的非必要成分)。
[0154]優(yōu)選地，縮小處理器對多個視差圖像中的各個進(jìn)行縮小處理。非必要成分確定器基于與縮小后的多個視差圖像相關(guān)的差分信息，來確定非必要成分信息。然后，放大處理器進(jìn)行放大處理，以將非必要成分信息的尺寸，恢復(fù)到在進(jìn)行縮小處理之前獲取到的尺寸(即，原始尺寸)。優(yōu)選地，縮小處理器對差分信息進(jìn)行縮小處理。非必要成分確定器基于縮小后的差分信息，來確定非必要成分信息。然后，放大處理器進(jìn)行放大處理，以將非必要成分信息的尺寸恢復(fù)到在進(jìn)行縮小處理之前獲取到的尺寸(即，原始尺寸)。優(yōu)選地，縮小處理器對基于多個視差圖像而確定的非必要成分信息，進(jìn)行縮小處理。然后，放大處理器進(jìn)行放大處理，以將縮小后的非必要成分信息的尺寸，恢復(fù)到在進(jìn)行縮小處理之前獲取到的尺寸(即，原始尺寸)。
[0155]優(yōu)選地，圖像處理裝置包括降噪器204e，該降噪器204e進(jìn)行降低噪聲的平滑化處理。更優(yōu)選地，降噪器在縮小處理器進(jìn)行縮小處理之后，進(jìn)行平滑化處理。更優(yōu)選地，降噪器對視差圖像、差分信息和非必要成分信息中的至少一者，進(jìn)行平滑化處理。優(yōu)選地，降噪器在縮小處理器進(jìn)行縮小處理之前，依據(jù)縮小處理的縮小率來進(jìn)行平滑化處理。
[0156]優(yōu)選地，縮小處理器通過使用基于非必要成分信息(例如，非必要成分的尺寸)而確定的縮小率，來進(jìn)行縮小處理。優(yōu)選地，非必要成分削減器進(jìn)行多個視差圖像的對準(zhǔn)。優(yōu)選地，縮小處理器通過像素的抽取處理(在像素間進(jìn)行的抽取處理)、像素值的平均化處理(多個周邊像素的像素值的平均化)和像素相加處理(通過使用一定的權(quán)重將多個像素的像素值組合為一個像素值的處理)中的至少一者，來進(jìn)行縮小處理。優(yōu)選地，非必要成分確定器基于各位置處的差分信息的最大值或最小值，來確定非必要成分信息。
[0157]優(yōu)選地，通過將多個視差圖像中的各個設(shè)置為基準(zhǔn)圖像，并通過計(jì)算基準(zhǔn)圖像與除基準(zhǔn)圖像之外的視差圖像之間的差分，來獲得差分信息。優(yōu)選地，通過計(jì)算兩個視差圖像之間的差分的絕對值，來獲得差分信息。更優(yōu)選地，非必要成分確定器獲取多個差分信息作為截?cái)嗔瞬淮笥陬A(yù)定閾值的值的二維數(shù)據(jù)，并提取二維數(shù)據(jù)的各位置處的多個差分信息的最大值或最小值。由此，非必要成分確定器確定基準(zhǔn)圖像中的非必要成分的位置和量。優(yōu)選地，非必要成分確定器設(shè)置要確定非必要成分信息的區(qū)域，并在該區(qū)域的范圍內(nèi)確定非必要成分信息。優(yōu)選地，多個視差圖像是基于穿過光學(xué)系統(tǒng)的光瞳中的彼此不同的區(qū)域的光束而生成的圖像。
[0158][其他實(shí)施例]
[0159]另外，可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(也可更完整地稱為“非臨時性計(jì)算機(jī)可讀存儲介質(zhì)”)上的計(jì)算機(jī)可執(zhí)行指令(例如，一個或更多程序)以執(zhí)行上述實(shí)施例中的一個或更多的功能、并且/或者包括用于執(zhí)行上述實(shí)施例中的一個或更多的功能的一個或更多電路(例如，專用集成電路(ASIC))的系統(tǒng)或裝置的計(jì)算機(jī)，來實(shí)現(xiàn)本發(fā)明的實(shí)施例，并且可以利用通過由所述系統(tǒng)或裝置的所述計(jì)算機(jī)例如讀出并執(zhí)行來自所述存儲介質(zhì)的所述計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述實(shí)施例中的一個或更多的功能、并且/或者控制所述一個或更多電路執(zhí)行上述實(shí)施例中的一個或更多的功能的方法，來實(shí)現(xiàn)本發(fā)明的實(shí)施例。所述計(jì)算機(jī)可以包括一個或更多處理器(例如，中央處理單元(CPU)，微處理單元(MPU))，并且可以包括分開的計(jì)算機(jī)或分開的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令。所述計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲介質(zhì)被提供給計(jì)算機(jī)。所述存儲介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(R0M)、分布式計(jì)算系統(tǒng)的存儲器、光盤(諸如壓縮光盤(CD)、數(shù)字通用光盤(DVD)或藍(lán)光光盤(BD)?)、閃存設(shè)備以及存儲卡等中的一者或更多。
[0160]根據(jù)各實(shí)施例，能夠提供能夠有效地確定包含在拍攝圖像中的非必要成分而無需進(jìn)行多次攝像以減輕處理負(fù)荷并維持高的圖像質(zhì)量的圖像處理裝置、攝像裝置及圖像處理方法。
[0161]雖然參照示例性實(shí)施例對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限定于所公開的示例性實(shí)施例。所附權(quán)利要求的范圍應(yīng)當(dāng)被賦予最寬的解釋，以便涵蓋所有這類修改以及等同的結(jié)構(gòu)和功能。
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，該圖像處理裝置包括: 非必要成分確定器，其被構(gòu)造為基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息； 縮小處理器，其被構(gòu)造為對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理； 放大處理器，其被構(gòu)造為對所述非必要成分信息進(jìn)行放大處理；以及非必要成分削減器，其被構(gòu)造為基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于: 所述縮小處理器被構(gòu)造為對所述多個視差圖像中的各個進(jìn)行所述縮小處理， 所述非必要成分確定器被構(gòu)造為基于與縮小后的所述多個視差圖像相關(guān)的差分信息，來確定所述非必要成分信息，并且 所述放大處理器被構(gòu)造為進(jìn)行所述放大處理，以將所述非必要成分信息的尺寸恢復(fù)到在進(jìn)行所述縮小處理之前獲取到的尺寸。3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于: 所述縮小處理器被構(gòu)造為對所述差分信息進(jìn)行所述縮小處理， 所述非必要成分確定器被構(gòu)造為基于所縮小后的差分信息，來確定所述非必要成分信息，并且 所述放大處理器被構(gòu)造為進(jìn)行所述放大處理，以將所述非必要成分信息的尺寸恢復(fù)到在進(jìn)行所述縮小處理之前獲取到的尺寸。4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于: 所述縮小處理器被構(gòu)造為對基于所述多個視差圖像而確定的所述非必要成分信息，進(jìn)行所述縮小處理，并且 所述放大處理器被構(gòu)造為進(jìn)行所述放大處理，以將所縮小后的非必要成分信息的尺寸恢復(fù)到在進(jìn)行所述縮小處理之前獲取到的尺寸。5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理裝置還包括被構(gòu)造為進(jìn)行降低噪聲的平滑化處理的降噪器。6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述降噪器被構(gòu)造為在所述縮小處理器進(jìn)行所述縮小處理之后，進(jìn)行所述平滑化處理。7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述降噪器被構(gòu)造為對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行所述平滑化處理。8.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述降噪器被構(gòu)造為在所述縮小處理器進(jìn)行所述縮小處理之前，依據(jù)所述縮小處理的縮小率進(jìn)行所述平滑化處理。9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述縮小處理器被構(gòu)造為通過使用基于所述非必要成分信息而確定的縮小率，來進(jìn)行所述縮小處理。10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述非必要成分削減器被構(gòu)造為進(jìn)行所述多個視差圖像的對準(zhǔn)。11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述縮小處理器被構(gòu)造為通過像素的抽取處理、像素值的平均化處理和像素相加處理中的至少一者，來進(jìn)行所述縮小處理。12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述非必要成分確定器被構(gòu)造為基于在各位置處的所述差分信息的最大值或最小值，來確定所述非必要成分信息。13.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，通過將所述多個視差圖像中的各個設(shè)置為基準(zhǔn)圖像，并通過計(jì)算該基準(zhǔn)圖像與除該基準(zhǔn)圖像之外的視差圖像之間的差分，來獲得所述差分信息。14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，通過計(jì)算兩個視差圖像之間的差分的絕對值，來獲得所述差分信息。15.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述非必要成分確定器被構(gòu)造為獲取所述多個差分信息作為截?cái)嗔瞬淮笥陬A(yù)定閾值的值的二維數(shù)據(jù)，并提取在該二維數(shù)據(jù)的各位置處的所述多個差分信息的最大值或最小值，以確定所述基準(zhǔn)圖像中的非必要成分的位置和量。16.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述非必要成分確定器被構(gòu)造為設(shè)置要確定所述非必要成分信息的區(qū)域，并在該區(qū)域的范圍內(nèi)確定所述非必要成分信息。17.根據(jù)權(quán)利要求1至16中任一項(xiàng)所述的圖像處理裝置，其特征在于，所述多個視差圖像是基于穿過光學(xué)系統(tǒng)的光瞳中彼此不同的區(qū)域的光束而生成的圖像。18.一種攝像裝置，該攝像裝置包括:攝像設(shè)備，其被構(gòu)造為對經(jīng)由光學(xué)系統(tǒng)而形成的光學(xué)像進(jìn)行光電轉(zhuǎn)換，以輸出多個視差圖像； 非必要成分確定器，其被構(gòu)造為基于與所述多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息； 縮小處理器，其被構(gòu)造為對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理； 放大處理器，其被構(gòu)造為對所述非必要成分信息進(jìn)行放大處理；以及非必要成分削減器，其被構(gòu)造為基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。19.根據(jù)權(quán)利要求18所述的攝像裝置，其特征在于: 所述多個視差圖像是基于穿過所述光學(xué)系統(tǒng)的光瞳中彼此不同的區(qū)域的光束而生成的圖像， 所述攝像設(shè)備包括共用單個微透鏡的多個像素，并且 所述多個像素被構(gòu)造為接收穿過所述光學(xué)系統(tǒng)的光瞳中彼此不同的區(qū)域的光束。20.根據(jù)權(quán)利要求18所述的攝像裝置，其特征在于，通過將穿過所述光學(xué)系統(tǒng)的光瞳中彼此不同的區(qū)域的光束，引導(dǎo)至所述攝像設(shè)備的彼此不同的像素，來生成所述多個視差圖像。21.—種圖像處理方法，該圖像處理方法包括以下步驟: 基于與多個視差圖像相關(guān)的差分信息，來確定視差圖像的非必要成分信息； 對所述視差圖像、所述差分信息和所述非必要成分信息中的至少一者，進(jìn)行縮小處理； 對所述非必要成分信息進(jìn)行放大處理；以及 基于所述非必要成分信息，從所述視差圖像或者通過合成所述多個視差圖像而獲得的合成圖像中削減非必要成分。
【文檔編號】H04N5/217GK105939439SQ201610112225
【公開日】2016年9月14日
【申請日】2016年2月29日
【發(fā)明人】江口薰, 井上智曉
【申請人】佳能株式會社