本申請要求于2014年7月3日提交的日本優(yōu)先權專利申請JP 2014-137930的權益，通過引用將其全部內容并入本文。

技術領域

本公開內容涉及信息處理設備、信息處理方法以及程序。

背景技術：

開發(fā)了一種根據(jù)由多個成像裝置捕獲的捕獲圖像生成移動圖像的技術?；诓东@圖像被捕獲的時間生成移動圖像的技術的示例包括在下面的PTL1中描述的技術。

引用列表

專利文獻

PTL1：JP 2012-4379A

技術實現(xiàn)要素：

技術問題

例如，在棒球場、體育場和音樂會會場中，可以設置多個成像裝置以同時通過多個成像裝置執(zhí)行成像。在如上所述同時通過多個成像裝置執(zhí)行成像的情況中，用戶可以期望顯示在顯示屏幕上的捕獲圖像的切換。

本公開內容建議一種新型的改良信息處理設備、信息處理方法以及程序，其可以根據(jù)捕獲圖像的切換實現(xiàn)用戶便利性的提高。

問題解決方案

一種信息處理設備，其具有電路，該電路響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點將參照圖像和目標圖像與多個補充圖像中的至少一個連接。多個補充圖像中的每個對應于參照視點和目標視點之間的被攝體的補充視點。在一個實施例中，多個補充圖像中的至少一個是捕獲圖像。

一種操作信息處理設備的方法，包括響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點連接參照圖像與目標圖像之間的多個補充圖像中的至少一個。多個補充圖像中的每個對應于參照視點與目標視點之間的被攝體的補充視點。此外，連接補充圖像包括組合多個補充圖像。

一種存儲用于控制包括電路的信息處理設備的程序的非暫時性計算機可讀介質，可執(zhí)行以執(zhí)行操作的該程序包括響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點連接參照圖像和目標圖像之間的多個補充圖像中的至少一個。多個補充圖像中的每個與參照視點和目標視點之間的被攝體的補充視點對應。

本發(fā)明的有益效果

根據(jù)本公開內容的一個或多個實施例，能夠根據(jù)捕獲圖像的切換實現(xiàn)用戶便利性的提高。

注意的是，上述效果不一定是限制的，并且連同該效果一起或代替該效果，可以顯示期望引入本說明書的任何益處或可以從本說明書預期的其它益處。

附圖說明

[圖1]圖1是描述根據(jù)本實施例的信息處理方法的解釋圖。

[圖2]圖2是例示根據(jù)本實施例的成像裝置的硬件配置的一個示例的解釋圖。

[圖3]圖3是描述根據(jù)本實施例的信息處理方法的解釋圖。

[圖4]圖4是描述根據(jù)本實施例的信息處理方法的解釋圖。

[圖5A]圖5A是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖5B]圖5B是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖5C]圖5C是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖6]圖6是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖7]圖7是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖8A]圖8A是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖8B]圖8B是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖9]圖9是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖10]圖10是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖11A]圖11A是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖11B]圖11B是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖12]圖12是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的解釋圖。

[圖13]圖13是例示與根據(jù)本實施例的信息處理方法相關的處理的一個示例的流程圖。

[圖14]圖14是例示與根據(jù)本實施例的信息處理方法相關的處理的一個示例的流程圖。

[圖15]圖15是描述與根據(jù)本實施例的信息處理方法相關的處理的解釋圖。

[圖16]圖16是例示根據(jù)本實施例的信息處理設備的配置的一個示例的框圖。

[圖17]圖17是例示根據(jù)本實施例的信息處理設備的硬件配置的一個示例的解釋圖。

具體實施方式

在下文中，將參考附圖詳細描述本公開內容的優(yōu)選實施例。注意的是，在本說明書和附圖中，用相同的附圖標記表示具有基本相同功能和結構的結構元件，并且省略對這些結構元件的重復解釋。

此外，以下面的次序給出解釋。

1.根據(jù)本實施例的信息處理方法

2.根據(jù)本實施例的信息處理設備

3.根據(jù)本實施例的程序

(根據(jù)本實施例的信息處理方法)

在描述根據(jù)本實施例的信息處理設備的配置之前，首先描述根據(jù)本實施例的信息處理方法。在下文中，使用其中根據(jù)本實施例的信息處理設備執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理的示例情況描述根據(jù)本實施例的信息處理方法。

<1>根據(jù)本實施例的信息處理方法的概述

圖1是描述根據(jù)本實施例的信息處理方法的解釋圖。圖1中的A概念地例示了通過安裝在棒球場中的多個成像裝置進行的成像(位于預定區(qū)域中的多個成像裝置的一個示例)。此外，圖1中的B1至B6例示了分別由圖1中的A中例示的多個成像裝置捕獲的捕獲圖像的一個示例。

根據(jù)本實施例的每個成像裝置通過成像生成圖像(移動圖像或靜態(tài)圖像)。多個成像裝置的部分或全部可以包括在根據(jù)本實施例的信息處理設備中或者可以是可以通過有線或無線執(zhí)行與根據(jù)本實施例的信息處理設備的通信的外部裝置(根據(jù)本實施例的信息處理設備外部的成像設備)。例如，在其中多個成像裝置的部分或全部是在根據(jù)本實施例的信息處理設備外部的成像設備的情況中，根據(jù)本實施例的信息處理設備和成像設備形成系統(tǒng)(信息處理系統(tǒng))。

根據(jù)本實施例的成像裝置的示例包括數(shù)字靜態(tài)相機和數(shù)字攝像機等。

圖2是例示根據(jù)本實施例的成像裝置的硬件配置的一個示例的解釋圖。例如，根據(jù)本實施例的成像裝置包括透鏡10、成像元件12和信號處理電路14。

此外，例如，根據(jù)本實施例的成像裝置還可以包括控制整個成像裝置的處理器、通過無線或有線執(zhí)行與外部設備的通信的通信裝置、將圖像(諸如捕獲圖像)顯示在顯示屏幕上的顯示裝置、以及可以由用戶操作的操作裝置等。

透鏡10包括光學系統(tǒng)的透鏡，并且例如，成像元件12包括使用多個成像元件(諸如互補金屬氧化物半導體(CMOS))的圖像傳感器。例如，信號處理電路14包括自動增益控制(AGC)電路和模數(shù)轉換器(ADC)，并且將由成像元件12生成的模擬信號轉換成數(shù)字信號(圖像數(shù)據(jù))。此外，例如，信號處理電路14執(zhí)行與原始研發(fā)相關的各種處理。此外，例如，信號處理電路14可以執(zhí)行各種信號處理，諸如白平衡校正處理、色調校正處理、伽馬校正處理、YCbCr轉換處理以及邊緣增強處理。

在下文中，作為示例，使用如圖1中例示的安裝在棒球場中的多個成像裝置捕獲的多個捕獲圖像描述與根據(jù)本實施例的信息處理方法相關的處理。這里，對經(jīng)過與根據(jù)本實施例的信息處理方法相關的處理的多個捕獲圖像進行成像的多個成像裝置不限于安裝在棒球場中的成像裝置。根據(jù)本實施例的成像裝置的示例包括位于預定區(qū)域(諸如體育場和音樂會會場)的成像裝置。此外，多個成像裝置中的每個可以位于其中能夠對相同被攝體進行成像的場所中。也就是說，多個成像裝置的示例包括定位在預定區(qū)域中或其中能夠對相同被攝體進行成像的場所中的成像裝置。此外，不必說，經(jīng)過與根據(jù)本實施例的信息處理方法相關的處理的多個捕獲圖像不限于圖1中例示的示例。

例如，如圖1的A中所示，當通過位于預定區(qū)域中的多個成像裝置同時執(zhí)行成像時，在通過成像獲取的捕獲圖像被如圖1的B1至B6中所示地隨機布置的情況下，觀看顯示在屏幕上的捕獲圖像的用戶難以理解捕獲圖像之間的關系。這里，理解捕獲圖像之間的關系的示例包括理解對每個捕獲圖像進行成像的成像裝置位于哪個位置。

此外，在如上所述多個捕獲圖像被隨機布置的情況下，用戶難以直觀地執(zhí)行從多個捕獲圖像中的一個捕獲圖像到另一個捕獲圖像的顯示切換。

因此，根據(jù)本實施例的信息處理設備以與多個成像裝置之間的位置關系相對應的模式顯示通過由多個成像裝置同時執(zhí)行成像而生成的多個捕獲圖像。此外，根據(jù)本實施例的信息處理設備將圖像從多個顯示的捕獲圖像中的一個捕獲圖像切換到多個捕獲圖像中的另一個圖像，并顯示它(顯示控制處理)。這里，根據(jù)本實施例的多個捕獲圖像的切換對應于視點切換。在下文中，將待切換和顯示的多個捕獲圖像中的切換源的捕獲圖像稱為“參照圖像”，并且將多個捕獲圖像中的顯示切換目的地的圖像稱為“切換目的地圖像”。

例如，通過根據(jù)基于由多個成像裝置在進行成像時的位置關系布置的多個捕獲圖像的布置順序來顯示多個捕獲圖像，根據(jù)本實施例的信息處理設備以與所述多個成像裝置之間的位置關系相對應的模式顯示所述多個捕獲圖像。稍后描述根據(jù)本實施例的“以與多個成像裝置之間的位置關系相對應的模式顯示多個捕獲圖像”的具體示例。

這里，基于多個成像裝置之間的位置關系布置多個捕獲圖像的處理(以下稱為“重新布置處理”)可以通過根據(jù)本實施例的信息處理設備執(zhí)行，作為與根據(jù)本實施例的信息處理方法相關的處理，或者可以在根據(jù)本實施例的信息處理設備的外部設備中執(zhí)行。在根據(jù)本實施例的信息處理設備執(zhí)行重新布置處理的情況下，根據(jù)本實施例的信息處理設備根據(jù)在重新布置處理中布置的多個捕獲圖像的布置順序來顯示多個捕獲圖像。此外，在外部設備中執(zhí)行重新布置處理的情況下，根據(jù)本實施例的信息處理設備根據(jù)布置在外部設備中的多個捕獲圖像的布置順序顯示多個捕獲圖像。在下文中，描述了根據(jù)本實施例的信息處理設備執(zhí)行重新布置處理的示例情況。

在根據(jù)本實施例的信息處理設備執(zhí)行重新布置處理的情況下，根據(jù)本實施例的信息處理設備基于由多個成像裝置在進行成像時的位置關系布置通過由多個成像裝置同時執(zhí)行成像而生成的多個捕獲圖像。例如，根據(jù)本實施例的信息處理設備基于多個成像裝置之間的位置關系，根據(jù)空間規(guī)則性將多個捕獲圖像布置在一維軸上，使得多個捕獲圖像的切換成為可能。這里，根據(jù)本實施例的重新布置處理的示例包括：重新布置未布置的多個捕獲圖像，并重新布置根據(jù)一些規(guī)則布置的多個捕獲圖像。

圖3是描述根據(jù)本實施例的信息處理方法的說明圖，并且例示了與根據(jù)本實施例的信息處理方法相關的重新布置處理的一個示例。圖3的A例示了多個捕獲圖像的一個示例。圖3的C例示了基于圖3的B中所示的多個成像裝置之間的位置關系，根據(jù)空間規(guī)則性將圖3的A中所示的多個捕獲圖像布置在一維軸上的示例情況。

根據(jù)本實施例的信息處理設備通過執(zhí)行重新布置處理來布置多個捕獲圖像，使得例如多個成像裝置被如圖3的B所示地在空間上布置。

此外，例如，在重新布置處理中布置多個捕獲圖像的情況下，通過執(zhí)行顯示控制處理，根據(jù)本實施例的信息處理設備根據(jù)如圖3的C所示布置的多個捕獲圖像的布置順序來顯示多個捕獲圖像。此外，根據(jù)本實施例的信息處理設備將圖像從多個顯示的捕獲圖像中的一個捕獲圖像切換到多個捕獲圖像中的另一個圖像，并顯示它。

這里，例如，根據(jù)本實施例的信息處理設備在包括在根據(jù)本實施例的信息處理設備中的顯示單元(稍后描述)的顯示屏幕上或在通過無線或有線與根據(jù)本實施例的信息處理設備連接的外部顯示設備的顯示屏幕上顯示圖像。根據(jù)本實施例的信息處理設備通過將示出要顯示的圖像和圖像的顯示順序的圖像數(shù)據(jù)發(fā)送到例如顯示單元(稍后描述)等而在顯示屏幕上顯示圖像。

此外，根據(jù)本實施例的信息處理設備在顯示控制處理中，基于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的位置關系，通過一個或兩個或更多個補充圖像選擇性地執(zhí)行增補。此外，在增補補充圖像的情況下，根據(jù)本實施例的信息處理設備在顯示切換目的地圖像之前顯示補充圖像。稍后描述根據(jù)本實施例的選擇性地增補補充圖像的處理。

根據(jù)本實施例的補充圖像的示例包括“由與對應于參照圖像的成像裝置和對應于切換目的地圖像的成像裝置不同的成像裝置捕獲的捕獲圖像”和“以便與由位于虛擬路徑上的虛擬成像裝置捕獲的捕獲圖像相對應而生成的圖像”中的一個或兩個。在下文中，將“以便與由位于虛擬路徑上的虛擬成像裝置捕獲的捕獲圖像相對應而生成的圖像”稱為“插值圖像”，其可以是“生成圖像”或者“生成圖像”和“捕獲圖像”的組合。

例如，根據(jù)本實施例的生成圖像是通過諸如基于圖像渲染(IBR)、基于模型渲染(MBR)和糾正的技術生成的。這里，在使用IBR的情況下，例如，基于多個捕獲圖像來生成生成圖像。此外，在使用MBR的情況下，例如，基于多個捕獲圖像和關于圖像的三維信息(例示深度的數(shù)據(jù))來生成生成圖像。此外，在使用糾正的情況下，基于例如示出成像裝置的姿態(tài)的數(shù)據(jù)(例如，關于諸如加速度傳感器和陀螺儀傳感器的傳感器的信息)來生成生成圖像。此外，根據(jù)本實施例的生成圖像可以是通過進一步調整通過上述技術生成的圖像的色調而獲取的圖像。

這里，根據(jù)本實施例的生成圖像的生成方法不限于上述方法。例如，根據(jù)本實施例的生成圖像可以是通過對多個捕獲圖像中的一個捕獲圖像執(zhí)行圖像處理而獲取的圖像。根據(jù)本實施例的圖像處理的示例包括圖像的擴大或縮小、圖像的旋轉、圖像的裁剪以及組合這些中的兩個或更多個的處理等。

根據(jù)本實施例的生成圖像可以由根據(jù)本實施例的信息處理設備中包括的一個或多個處理器或各種處理電路生成，或者可以由可以通過無線或有線執(zhí)行與根據(jù)本實施例的信息處理設備的通信的外部設備生成。

圖4是描述根據(jù)本實施例的信息處理方法的說明圖，并且例示了與根據(jù)本實施例的信息處理方法相關的顯示控制處理的一個示例。

圖4的A例示了其中用戶可以執(zhí)行與多個顯示的捕獲圖像中的圖像切換相關的操作的操作屏幕的一個示例(圖4的A所示的G)。圖4的A的V表示其上顯示圖像的主圖像顯示區(qū)域，圖4的A的G是用戶可以執(zhí)行選擇捕獲圖像的操作的選擇區(qū)域。

例如，通過執(zhí)行顯示控制處理，根據(jù)本實施例的信息處理設備根據(jù)在如圖4的A的G所示的重新布置處理中布置的多個捕獲圖像的布置順序顯示多個捕獲圖像。也就是說，在圖4的A的G中所示的選擇區(qū)域中顯示的多個捕獲圖像對應于在與通過根據(jù)本實施例的信息處理設備的顯示控制處理中顯示的多個成像裝置之間的位置關系相對應的模式下的多個捕獲圖像的顯示的一個示例。

這里，在與根據(jù)本實施例的多個成像裝置之間的位置關系相對應的模式下的多個捕獲圖像的顯示的示例不限于圖4的A的G所示的示例。例如，根據(jù)本實施例的信息處理設備還可以根據(jù)在如圖3的C所示的重新布置處理中布置的多個捕獲圖像的布置順序，在多個階段顯示多個捕獲圖像。

例如，根據(jù)本實施例的信息處理設備將圖像從參照圖像切換到切換目的地圖像，并且基于關于如圖4的A所示的操作屏幕的用戶操作來顯示圖像。例如，在如圖4的A的V所示的操作屏幕的主圖像顯示區(qū)域中顯示諸如參照圖像、切換目的地圖像和補充圖像的圖像。

這里，根據(jù)本實施例的用戶操作(諸如關于操作屏幕的用戶操作)的示例包括使用諸如鼠標、鍵盤和遙控器的操作裝置的操作，以及關于其中顯示操作屏幕的觸摸面板的操作，等等。

例如，根據(jù)本實施例的圖像的顯示的示例包括在以下(i)至(iii)中所示的示例。這里，不用說，根據(jù)本實施例的圖像的顯示的示例不限于以下(i)至(iii)所示的示例。

(i)當圖像是靜態(tài)圖像時

每個靜態(tài)圖像簡單地顯示在如圖4的A的V所示的操作屏幕的主圖像顯示區(qū)域中，以及如圖4的A的G所示的操作屏幕的選擇區(qū)域中。在圖像的切換時，通過切換在主圖像顯示區(qū)域中顯示的圖像的角度改變。

(ii)當圖像是移動圖像時的第一示例

在如圖4的A的V所示的操作屏幕的主圖像顯示區(qū)域中，以及如圖4的A的G所示的操作屏幕的選擇區(qū)域中再現(xiàn)移動圖像。在圖像的切換時，在通過切換在主圖像顯示區(qū)域中顯示的移動圖像被連續(xù)地再現(xiàn)的同時，圖像角度改變。

(iii)當圖像是移動圖像時的第二示例

在如圖4的A的V所示的操作屏幕的主圖像顯示區(qū)域中，以及如圖4的A的G所示的操作屏幕的選擇區(qū)域中再現(xiàn)移動圖像。在圖像的切換時，暫停在主圖像顯示區(qū)域和選擇區(qū)域中顯示的每個移動圖像的再現(xiàn)，并且圖像角度改變。此外，在圖像角度的改變完成之后，恢復在主圖像顯示區(qū)域和選擇區(qū)域中顯示的每個移動圖像的再現(xiàn)。

圖4的B例示了在顯示控制處理中實現(xiàn)的圖像的切換的一個示例。圖4的B例示了在從參照圖像(圖4的B所示的起始圖像)切換到切換目的地圖像(圖4的B所示的目標圖像)時增補和顯示五個補充圖像(圖4所示的捕獲圖像和生成圖像)的示例。

這里，圖4的B所示的五個補充圖像的捕獲圖像是由與對應于參照圖像的成像裝置和對應于切換目的圖像的成像裝置不同的其它成像裝置捕獲的圖像。將由上述其它成像裝置捕獲的捕獲圖像用作補充圖像的情況對應于使用來自位于預定區(qū)域中的成像裝置的視點的情況。

此外，例如，圖4的B所示的五個補充圖像的生成圖像是由諸如IBR、MBR和糾正的技術生成的圖像。將生成圖像用作補充圖像的情況對應于虛擬成像裝置虛擬地布置在預定區(qū)域中并且生成來自虛擬成像裝置的視點的情況。

圖4的C概念性地例示了與圖4的B所示的圖像的切換相對應的成像裝置之間的位置關系。圖4的C所示的RD例示了位于預定區(qū)域中的成像裝置，并且圖4的C所示的VD例示了虛擬地位于預定區(qū)域中的虛擬成像裝置。

例如，如圖4的B所示，通過連接在參照圖像和目的圖像之間的補充圖像，實現(xiàn)了更平滑的圖像切換。

這里，在根據(jù)本實施例的顯示控制處理中實現(xiàn)的圖像切換不限于圖4的B所示的示例。

例如，在從圖像(例如，參照圖像、切換目的地圖像和補充圖像等)中檢測待由用戶注意的預定被攝體并切換圖像的情況下，根據(jù)本實施例的信息處理設備還可以對圖像執(zhí)行圖像處理，使得檢測到的預定被攝體的顯示位置平滑地改變，并且顯示經(jīng)過圖像處理的圖像。此外，例如，在圖像切換的情況下，根據(jù)本實施例的信息處理設備可以對圖像執(zhí)行圖像處理，使得檢測到的預定被攝體的顯示位置和大小不改變，并且可以顯示經(jīng)過圖像處理的圖像。

圖5A至5C是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖。

例如，當用戶針對所有捕獲圖像執(zhí)行選擇被攝體的操作時，設置預定被攝體，如圖5所示(預定被攝體的手動設置)。此外，例如，當用戶針對多個捕獲圖像中的一個捕獲圖像執(zhí)行選擇被攝體的操作時，可以設置預定被攝體，如圖5所示(預定被攝體的半自動設置)。

此外，例如，也可以通過基于多個成像裝置所指向的方向來估計預定被攝體所在的位置來設置預定被攝體，如圖5C所示(預定被攝體的自動設置)。在自動設置預定被攝體的情況下，例如，包括在圖像中的感興趣區(qū)域(諸如圖像的中心附近的區(qū)域等)中的被攝體被設置為預定被攝體。

此外，在設置預定被攝體的情況下，根據(jù)本實施例的信息處理設備學習預定被攝體的特征，并將示出預定被攝體的特征的數(shù)據(jù)存儲在諸如存儲單元(稍后描述)的記錄介質中和所連接的外部記錄介質中。此外，根據(jù)本實施例的信息處理設備通過使用示出預定被攝體的特征的數(shù)據(jù)，從圖像(例如，參照圖像、切換目的地圖像和補充圖像等)中檢測被攝體。

例如，通過如上所述設置預定被攝體，根據(jù)本實施例的信息處理設備可以從與在不同時間的成像相對應的圖像(諸如其它幀圖像)跟蹤預定被攝體(在時間方向上自動地檢測被攝體)(這是在捕獲圖像是移動圖像的情況下的示例)。

例如，根據(jù)本實施例的信息處理設備執(zhí)行上述顯示控制處理作為與根據(jù)本實施例的信息處理方法相關的處理。此外，例如，根據(jù)本實施例的信息處理設備還可以執(zhí)行重新布置處理和顯示控制處理，作為與根據(jù)本實施例的信息處理方法相關的處理。

這里，在使用根據(jù)本實施例的信息處理方法的情況下，在與多個成像裝置之間的位置關系相對應的模式下顯示多個捕獲圖像，像在根據(jù)基于由多個成像裝置成像時的位置關系布置的多個捕獲圖像的布置順序的上述顯示控制處理中顯示多個捕獲圖像的示例。此外，例如，通過上述重新布置處理實現(xiàn)多個捕獲圖像的重新布置。因此，例如，由于捕獲圖像的布置對應于在其上多個捕獲圖像如圖4的A所示顯示的操作屏幕中的成像裝置的空間設置，用戶可以更直觀地執(zhí)行與關于操作屏幕的圖像切換相關的操作。

此外，在使用根據(jù)本實施例的信息處理方法的情況下，在從參照圖像到切換目的地圖像的圖像切換時，在上述顯示控制處理中實現(xiàn)更平滑的圖像切換。此外，當實現(xiàn)更平滑的圖像切換時，例如，看到顯示圖像的用戶可以集中注意在待注意的被攝體上。

因此，通過執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理，能夠實現(xiàn)與切換捕獲圖像相關的用戶便利性的提高。

此外，由于對由多個成像裝置捕獲的捕獲圖像執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理，因此其可以作為成像的后處理來執(zhí)行。因此，即使設置在預定區(qū)域中的多個成像裝置被設置在與理想視點位置分離的位置處，也可以在與根據(jù)本實施例的信息處理方法相關的處理中實現(xiàn)更平滑的圖像切換。因此，由于在使用根據(jù)本實施例的信息處理方法的情況下可以更加粗略地將成像裝置設置在預定區(qū)域中，因此例如能夠實現(xiàn)減少設置成像裝置的努力和縮短設置成像裝置所需的時間。

這里，為了方便起見，“上述顯示控制處理”和“上述重新布置處理和上述顯示控制處理”是與根據(jù)本實施例的信息處理方法相關的處理的劃分。因此，在與根據(jù)本實施例的信息處理方法相關的處理中，例如，“上述重新布置處理和上述顯示控制處理”可以被解釋為一個處理。此外，在與根據(jù)本實施例的信息處理方法相關的處理中，例如，“上述顯示控制處理”和“上述重新布置處理和上述顯示控制處理”中的每個可以被解釋為兩個或更多個處理(通過任意劃分方法)。在下文中，給出了將與根據(jù)本實施例的信息處理方法相關的處理劃分為上述重新布置處理和上述顯示控制處理的示例情況。這里，如上所述，可以在根據(jù)本實施例的信息處理設備的外部設備中執(zhí)行上述重新布置處理。

<2>與根據(jù)本實施例的信息處理方法相關的處理

接下來，更具體地描述與根據(jù)本實施例的信息處理方法相關的處理。

(1)重新布置處理

根據(jù)本實施例的信息處理設備基于多個成像裝置之間的位置關系來布置通過由位于預定區(qū)域中的多個成像裝置同時執(zhí)行的成像而生成的多個捕獲圖像。

例如，根據(jù)本實施例的信息處理設備通過使用從諸如全球定位系統(tǒng)(GPS)裝置的傳感器和加速度傳感器獲取的傳感器信息(數(shù)據(jù))和捕獲圖像中的一個或兩者來估計成像裝置的位置和姿態(tài)。

這里，例如，在通過使用捕獲圖像來估計成像裝置的位置和姿態(tài)的情況下，根據(jù)本實施例的信息處理設備通過使用可以從包括在圖像中的被攝體的關系估計成像裝置的位置和姿態(tài)的運動恢復結構(SfM)技術來根據(jù)捕獲圖像估計成像裝置的位置和姿態(tài)。

此外，例如，在使用SfM技術的情況下，根據(jù)本實施例的信息處理設備可以從捕獲圖像獲取成像裝置的成像參數(shù)(例如，示出焦距或失真的參數(shù))。因此，例如，在如上所述通過使用捕獲圖像來估計成像裝置的位置和姿態(tài)的情況下，即使當捕獲圖像是由在變焦狀態(tài)下執(zhí)行成像的成像裝置捕獲的捕獲圖像時或者捕獲圖像是由在廣角狀態(tài)下執(zhí)行成像的成像裝置捕獲的捕獲圖像時，也能夠根據(jù)捕獲圖像估計執(zhí)行成像的成像裝置的位置和姿態(tài)。

此外，上述傳感器的示例包括成像裝置中包括的傳感器、與成像裝置連接的外部傳感器和通過密封件附接到成像裝置的外部傳感器等。

此外，根據(jù)本實施例的信息處理設備基于成像裝置的空間位置關系來布置多個捕獲圖像，成像裝置的空間位置關系基于估計的成像裝置的位置和姿態(tài)。

如上所述，通過使用捕獲圖像和傳感器信息中的一個或兩者來估計成像裝置的位置和姿態(tài)。也就是說，根據(jù)本實施例的成像裝置的空間位置關系的示例可以包括基于從GPS裝置等獲取的位置數(shù)據(jù)(傳感器信息的一個示例)的成像裝置的物理位置關系(成像裝置的成像位置的物理位置關系)，以及基于從捕獲圖像估計的信息的成像裝置的位置關系。

這里，基于從捕獲圖像估計的信息的成像裝置的位置關系不限于上述示例。例如，根據(jù)本實施例的信息處理設備還可以通過包括在捕獲圖像中的預定被攝體的大小來估計距被攝體的距離，并且通過使用所估計的距離來決定成像裝置的位置關系。例如，在如上所述通過包括在捕獲圖像中的預定被攝體的大小來估計距被攝體的距離的情況下，當包括在由在變焦狀態(tài)下執(zhí)行成像的一個成像裝置捕獲的捕獲圖像中的預定被攝體的尺寸，和包括在由在廣角狀態(tài)下執(zhí)行成像的不同成像裝置捕獲的捕獲圖像中的預定被攝體的尺寸基本相同時，作為與被攝體的距離關系的位置關系在一個成像裝置中和不同的成像裝置中基本相同。

例如，根據(jù)本實施例的信息處理設備基于作為源的捕獲圖像和布置捕獲圖像的方向來布置多個捕獲圖像。作為源的捕獲圖像的示例包括顯示在操作屏幕(例如，圖4的A所示的V)的主圖像顯示區(qū)域上的捕獲圖像。此外，可以通過用戶操作指定成為源的捕獲圖像和布置方向，或者可以基于諸如隨機的預定規(guī)則由根據(jù)本實施例的信息處理設備來決定。

此外，例如，在諸如在操作屏幕的主圖像顯示區(qū)域(例如，圖4的A所示的V)上顯示的圖像的當前顯示的圖像改變的情況下，根據(jù)本實施例的信息處理設備重新布置以當前顯示的圖像為中心的多個捕獲圖像，并且自適應地改變多個捕獲圖像的布置。

圖6是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了重新布置處理的一個示例。

圖6的A概念性地例示了通過成像裝置的位置關系來在兩個成像裝置位于預定區(qū)域中的情況下布置捕獲圖像的方式。圖6的B概念性地例示了通過成像裝置的位置關系來在三個成像裝置位于預定區(qū)域中的情況下布置捕獲圖像的方式。圖6的C概念性地例示了通過成像裝置的位置關系來在四個成像裝置位于預定區(qū)域中的情況下布置捕獲圖像的方式。圖6的D概念性地例示了通過成像裝置的位置關系來在八個成像裝置位于預定區(qū)域中的情況下布置捕獲圖像的方式。

如上所述，例如，通過估計成像裝置的位置和姿態(tài)，能夠理解成像裝置的空間位置關系。因此，例如，當如上所述確定成為源的捕獲圖像和布置捕獲圖像的方向時，根據(jù)本實施例的信息處理設備可以根據(jù)如圖6所示的成像裝置的位置關系的空間規(guī)則性來布置多個捕獲圖像。這里，成像裝置的位置關系的空間規(guī)則性可以是例如與由多個成像裝置捕獲的相同被攝體對應的規(guī)律性。

這里，根據(jù)本實施例的信息處理設備還可以基于成為源的捕獲圖像和捕獲圖像布置的方向來給多個捕獲圖像設置優(yōu)先級(根據(jù)成像裝置的位置關系的空間規(guī)則性的優(yōu)先級)，并且根據(jù)設置的優(yōu)先級布置多個捕獲圖像。

例如，當引用特定示例時，根據(jù)本實施例的信息處理設備給成為源的捕獲圖像設置最高優(yōu)先級。此外，根據(jù)本實施例的信息處理設備按照從由與成為源的捕獲圖像相對應的成像裝置的距離更接近的成像裝置捕獲的捕獲圖像起的順序設置更高的優(yōu)先級，例如沿著如圖6的A至D所示的布置方向，即，設置優(yōu)先級的方向。例如，如圖6的D所示，在設置優(yōu)先級的方向是沿著到達與最終成為源的捕獲圖像相對應的成像裝置的位置的軌跡的方向的情況下，根據(jù)本實施例的信息處理設備當?shù)竭_與成為源的捕獲圖像相對應的成像裝置的位置時，完成關于捕獲圖像的優(yōu)先級的設置。此外，例如，如圖6的A至C的右圖所示，在設置優(yōu)先級的方向是沿著未到達與最終成為源的捕獲圖像相對應的成像裝置的位置的軌跡的方向的情況下，根據(jù)本實施例的信息處理設備在設置了優(yōu)先級的捕獲圖像變?yōu)樵O置的預定數(shù)量的情況下或者在從優(yōu)先級的設置開始已經(jīng)過預定時間的情況下，完成關于捕獲圖像的優(yōu)先級的設置。

在如上所述根據(jù)設置的優(yōu)先級布置多個捕獲圖像的情況下，假設根據(jù)與所設置的優(yōu)先級相對應的順序，在根據(jù)本實施例的顯示控制處理中顯示多個捕獲圖像。

例如，根據(jù)本實施例的信息處理設備關于從位于預定區(qū)域中的所有成像裝置獲取的捕獲圖像執(zhí)行重新布置處理。

這里，根據(jù)本實施例的重新布置處理不限于上述。例如，根據(jù)本實施例的信息處理設備還可以布置多個捕獲圖像，同時在從位于預定區(qū)域中的多個成像裝置獲取的捕獲圖像中排除預定捕獲圖像，如下面的(a)至(f)所示。

(a)根據(jù)捕獲圖像的排除的重新布置處理的第一示例

根據(jù)本實施例的信息處理設備布置多個捕獲圖像，同時排除多個捕獲圖像中由用戶指定的捕獲圖像。

例如，在其中用戶可以選擇要排除的捕獲圖像的任意屏幕(諸如圖4的A所示的操作屏幕，以及其中列出并顯示多個捕獲圖像并且可以選擇要排除的捕獲圖像的屏幕)上執(zhí)行與排除捕獲圖像相關的用戶操作。此外，例如，與排除捕獲圖像相關的用戶操作可以是選擇不使用捕獲圖像的成像裝置的操作。

(b)與排除捕獲圖像相關的重新布置處理的第二示例

根據(jù)本實施例的信息處理設備布置多個捕獲圖像，同時在多個捕獲圖像中排除其中不包括預定對象的捕獲圖像。

這里，根據(jù)本實施例的預定對象的示例包括由用戶從捕獲圖像檢測到的對象，從多個捕獲圖像檢測到的對象以及設置對象。

例如，當用戶執(zhí)行如圖5A和圖5B所示的操作時，從捕獲圖像中選擇被攝體。此外，從多個捕獲圖像檢測到的對象的示例包括在諸如數(shù)量等于或大于設定閾值的捕獲圖像(或者數(shù)量大于閾值的捕獲圖像)中的中心附近的設定區(qū)域中包括的被攝體。此外，根據(jù)本實施例的設置對象可以是預先設置的對象，并且可以是作為學習通過用戶操作從捕獲圖像指定的對象的特征的結果而設置的被攝體。

例如，在具有與示出預定對象的特征的數(shù)據(jù)相對應的特征的被攝體不包括在捕獲圖像中的情況下，根據(jù)本實施例的信息處理設備假設它是不包括預定對象的捕獲圖像，并且排除該捕獲圖像。

(c)根據(jù)捕獲圖像的排除的重新布置處理的第三示例

根據(jù)本實施例的信息處理設備布置多個捕獲圖像，同時基于包括在捕獲圖像中的顏色排除捕獲圖像。例如，根據(jù)本實施例的信息處理設備確定具有與其它捕獲圖像極大不同顏色的捕獲圖像。此外，排除被確定為具有極大不同顏色的捕獲圖像。

這里，例如，根據(jù)本實施例的信息處理設備計算每個捕獲圖像的顏色直方圖，并且基于計算的顏色直方圖來確定與其它捕獲圖像具有極大不同顏色的捕獲圖像。這里，根據(jù)本實施例的確定與其它捕獲圖像具有極大不同顏色的捕獲圖像的方法不限于上述方法，并且根據(jù)本實施例的信息處理設備可以使用可以確定與其它圖像具有極大不同顏色的圖像的任意方法。

(d)根據(jù)捕獲圖像的排除的重新布置處理的第四示例

根據(jù)本實施例的信息處理設備布置多個捕獲圖像，同時基于捕獲圖像的分辨率排除捕獲圖像。

例如，根據(jù)本實施例的信息處理設備確定與其它捕獲圖像具有極大不同分辨率的捕獲圖像。此外，排除被確定為具有極大不同分辨率的捕獲圖像。

這里，例如，根據(jù)本實施例的信息處理設備確定其“捕獲圖像的分辨率與多個捕獲圖像的平均分辨率之間的差的絕對值”等于或大于設定閾值的捕獲圖像(或其絕對值大于閾值的捕獲圖像)作為與其它捕獲圖像具有極大不同分辨率的捕獲圖像。這里，根據(jù)本實施例的確定與其它捕獲圖像具有極大不同分辨率的捕獲圖像的方法不限于上述方法，并且根據(jù)本實施例的信息處理設備可以使用可以確定與其它圖像具有極大不同分辨率的圖像的任意方法。

這里，根據(jù)捕獲圖像的排除的重新布置處理的第四示例不限于上述。

例如，根據(jù)本實施例的信息處理設備可以排除具有等于或小于與分辨率下限對應的第一分辨率的分辨率的捕獲圖像(或具有比第一分辨率低的分辨率的捕獲圖像)。此外，例如，根據(jù)本實施例的信息處理設備可以排除具有等于或大于與分辨率的上限對應的第二分辨率的分辨率的捕獲圖像(或具有大于第二分辨率的分辨率的捕獲圖像)。

(e)根據(jù)捕獲圖像的排除的重新布置處理的第五示例

通過進行組合上述(a)所示的第一示例至上述(d)所示的第四示例的處理中的兩個或更多個的處理，根據(jù)本實施例的信息處理設備可以在排除捕獲圖像之后布置多個捕獲圖像。

(f)根據(jù)捕獲圖像的排除的重新布置處理的第六示例

在通過用戶操作再次添加甚至在根據(jù)上述(a)所示的第一示例至上述(e)所示的第五示例的處理中排除的圖像的情況下，根據(jù)本實施例的信息處理設備可以布置多個捕獲圖像而不排除所添加的圖像。

(2)顯示控制處理

根據(jù)本實施例的信息處理設備在從上述(1)的處理(重新布置處理)中布置的多個捕獲圖像中從參照圖像向切換目的地圖像切換并顯示圖像。

此外，在圖像切換時，根據(jù)本實施例的信息處理設備基于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的位置關系，選擇性地增補一個或兩個或更多個補充圖像。此外，在增補補充圖像的情況下，根據(jù)本實施例的信息處理設備在顯示切換目的地圖像之前顯示補充圖像，如圖4的B所示。

這里，例如，根據(jù)本實施例的信息處理設備基于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的距離來選擇性地增補補充圖像。

根據(jù)本實施例的“一個成像裝置和另一個成像裝置之間的距離”的示例包括一個成像裝置和另一個成像裝置之間的直線距離。例如，通過根據(jù)捕獲圖像估計的成像裝置的位置和由從GPS裝置的傳感器等獲取的傳感器信息指示的位置計算一個成像裝置與另一個成像裝置之間的距離。

這里，根據(jù)本實施例的“一個成像裝置和另一個成像裝置之間的距離”不限于上述。

例如，根據(jù)本實施例的“一個成像裝置和另一個成像裝置之間的距離”可以是與一個成像裝置和另一成像裝置之間的圖像顯示的切換相關的虛擬顯示切換路徑(以下稱為“虛擬路徑”)的距離。基于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的位置關系來設置根據(jù)本實施例的虛擬路徑。例如，根據(jù)本實施例的虛擬路徑被設置為關于由多個成像裝置捕獲的相同被攝體的路徑。稍后描述根據(jù)本實施例的虛擬路徑的具體示例。

更具體地，根據(jù)本實施例的信息處理設備在與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的距離等于或大于設定閾值的情況下(或者在距離大于閾值的情況下)，增補補充圖像。此外，根據(jù)本實施例的信息處理設備在與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的距離小于設定閾值(或者在距離等于或小于閾值的情況下)，不增補補充圖像。上述閾值可以是預先設置的固定值，或者可以是可以通過用戶操作改變的可變值，等等。

此外，根據(jù)本實施例的信息處理設備可以通過使用例如補充圖像的距離和數(shù)量用以相關聯(lián)的表格，以及唯一地計算補充圖像的數(shù)量的距離函數(shù)，來增補與對應于參照圖像的成像裝置和對應于切換目的地圖像的成像裝置之間的距離相對應的數(shù)量的補充圖像。

例如，在切換和顯示圖像(例如，參照圖像、切換目的圖像和補充圖像等)的情況下，根據(jù)本實施例的信息處理設備基于設置的虛擬路徑顯示與設置的虛擬路徑相對應的圖像。

這里，與根據(jù)本實施例的虛擬路徑相對應的圖像包括由位于虛擬路徑上的成像裝置捕獲的捕獲圖像和生成以便與由位于虛擬路徑上的虛擬成像裝置捕獲的捕獲圖像相對應的生成圖像。

當引用具體示例時，與根據(jù)本實施例的虛擬路徑相對應的圖像的示例包括以下列出的圖像。

-參照圖像(當與參照圖像相對應的成像裝置的位置在虛擬路徑上時)

-通過對參照圖像執(zhí)行圖像處理而生成的生成圖像(當與參照圖像相對應的成像裝置的位置不在虛擬路徑上時)

-切換目的地圖像(當與切換目的地圖像相對應的成像裝置的位置在虛擬路徑上時)

-通過對切換目的地圖像執(zhí)行圖像處理而生成的生成圖像(與切換目的地圖像相對應的成像裝置的位置不在虛擬路徑上)

-由位于虛擬路徑上并且與對應于參照圖像的成像裝置和對應于切換目的地圖像的成像裝置不同的成像裝置捕獲的捕獲圖像

-基于由上述不同成像裝置捕獲的捕獲圖像生成的生成圖像，等等

在下文中，通過對參照圖像執(zhí)行圖像處理而生成的生成圖像被表示為“基于參照圖像的圖像”。此外，在下文中，通過對切換目的地圖像執(zhí)行圖像處理而生成的生成圖像被表示為“基于切換目的地圖像的圖像”。

在下文中，更具體地描述根據(jù)本實施例的顯示控制處理的一個示例。

(2-1)根據(jù)本實施例的顯示控制處理的第一示例：與虛擬路徑的設置相關的處理的一個示例

首先，描述與虛擬路徑的設置相關的處理的一個示例。

圖7是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與根據(jù)本實施例的顯示控制處理中的虛擬路徑的設置相關的處理的一個示例。圖7中所示的“Cam1”示出了與參照圖像相對應的成像裝置，并且圖7中所示的“Cam2”示出了與切換目的地圖像相對應的成像裝置。此外，圖7所示的“P1”、“P2”和“P3”中的每個示出了虛擬路徑的一個示例。

例如，如圖7的A所示，根據(jù)本實施例的信息處理設備將其中位于與參照圖像相對應的成像裝置Cam1和與切換目的地圖像相對應的成像裝置Cam2之間的成像裝置位于虛擬路徑上的路徑設置為虛擬路徑。

例如，通過用直線連接相鄰位置的成像裝置，根據(jù)本實施例的信息處理設備設置虛擬路徑(例如，圖7的A中所示的虛擬路徑P1)。此外，例如，通過用諸如貝塞爾(Bezier)曲線的曲線連接相鄰位置的成像裝置，根據(jù)本實施例的信息處理設備可以設置虛擬路徑(例如，圖7的A中所示的虛擬路徑P2)。

此外，例如，根據(jù)本實施例的信息處理設備還可以基于用戶操作來設置虛擬路徑(例如，圖7的B中所示的虛擬路徑P3)。例如，根據(jù)虛擬路徑的設置的用戶操作可以是校正由根據(jù)本實施例的信息處理設備臨時設置的虛擬路徑的操作，或者可以是新設置虛擬路徑的操作。

例如，根據(jù)本實施例的信息處理設備按如上所述設置虛擬路徑。

這里，與根據(jù)本實施例的虛擬路徑的設置相關的處理不限于上述示例。例如，根據(jù)本實施例的信息處理設備還可以設置預先設置的虛擬路徑，諸如具有預定曲率的圓弧。

此外，根據(jù)本實施例的信息處理設備還可以與和上述(a)至(f)所示的預定捕獲圖像的排除相關的處理并行地執(zhí)行與根據(jù)本實施例的虛擬路徑的設置相關的處理。也就是說，根據(jù)本實施例的信息處理設備可以在設置虛擬路徑的同時選擇性地排除捕獲圖像。

(2-2)根據(jù)本實施例的顯示控制處理的第二示例：與對應于設置的虛擬路徑的圖像的顯示相關的處理的一個示例

接下來，描述與對應于所設置的虛擬路徑的圖像的顯示相關的處理的一個示例。

圖8A是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與和根據(jù)本實施例的顯示控制處理中的虛擬路徑相對應的圖像的顯示相關的處理的一個示例。圖8A表示多個成像裝置位于設置的虛擬路徑P上的情況。

圖8A中所示的“Cam1”示出了與參照圖像相對應的成像裝置，并且圖8A中所示的“Cam2”示出了與切換目的地圖像相對應的成像裝置。此外，圖8A中所示的“Cam3”示出了位于虛擬路徑P上并且與對應于參照圖像的成像裝置和對應于切換目的地圖像的成像裝置不同的成像裝置。此外，圖8A中所示的“Cam3”示出了位于虛擬路徑P上的虛擬成像裝置的一個示例。

在圖8A的A中，與參照圖像相對應的成像裝置Cam1和與切換目的地圖像相對應的成像裝置Cam2位于虛擬路徑P上。因此，根據(jù)本實施例的信息處理設備在圖像切換時顯示參照圖像和切換目的地圖像。

此外，其它成像裝置位于圖8A的A中的虛擬路徑P上。因此，在圖像切換時，根據(jù)本實施例的信息處理設備將基本上由每個成像裝置捕獲的捕獲圖像顯示為補充圖像。

然而，在由位于設置的虛擬路徑P上的成像裝置Cam3捕獲的捕獲圖像中，與由其它成像裝置捕獲的捕獲圖像不同，被攝體O不存在于圖像的中心附近。因此，例如，在圖像切換時由成像裝置Cam3捕獲的捕獲圖像被用作補充圖像的情況下，存在看到圖像的用戶識別出被攝體O從中心附近移位，并且圖像切換不平滑的風險。

因此，例如，通過對由成像裝置Cam3捕獲的捕獲圖像執(zhí)行圖像處理，根據(jù)本實施例的信息處理設備生成與由圖8A的B中所示的虛擬成像裝置Cam3'捕獲的捕獲圖像相對應的生成圖像。例如，根據(jù)本實施例的信息處理設備通過對由成像裝置Cam3捕獲的捕獲圖像執(zhí)行裁剪、旋轉、仿射變換和單應性變換等來生成生成圖像。

此外，根據(jù)本實施例的信息處理設備假設生成的生成圖像，而不是由成像裝置Cam3捕獲的捕獲圖像作為補充圖像。

例如，通過如圖8A所示生成生成圖像，并且將生成圖像顯示為補充圖像，例如，能夠在圖像切換時向用戶呈現(xiàn)更平滑的圖像。此外，通過如圖8A所示生成生成圖像，并且將生成圖像假設為補充圖像，例如在同時顯示多個捕獲圖像或者顯示所謂的時間片圖像的情況下，能夠創(chuàng)建更美的圖像。

圖8B是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與和根據(jù)本實施例的顯示控制處理中的虛擬路徑對應的圖像的顯示相關的處理的另一示例。圖8B例示了多個成像裝置不位于設置的虛擬路徑P上的情況。

圖8B中所示的“Cam1”示出了與參照圖像相對應的成像裝置，并且圖8中所示的“Cam2”示出了與切換目的地圖像相對應的成像裝置。此外，圖8B中所示的“Cam3”、“Cam4”和“Cam5”中的每個示出了位于虛擬路徑P上并且與對應于參照圖像的成像裝置和對應于切換目的地圖像的成像裝置不同的成像裝置。

此外，圖8A中所示的“Cam1'”、“Cam2'”、“Cam3'”、“Cam4'”和“Cam5'”示出了位于虛擬路徑P上的虛擬成像裝置的一個示例。

在圖8B的A中，與參照圖像相對應的成像裝置Cam1不位于虛擬路徑P上。這里，例如，根據(jù)本實施例的信息處理設備基于與參照圖像和虛擬路徑對應的成像裝置的位置，確定與參照圖像相對應的成像裝置的位置是否存在于虛擬路徑上。

在如圖8B的A中所示的與參照圖像相對應的成像裝置的位置不存在于虛擬路徑上的情況下，根據(jù)本實施例的信息處理設備通過執(zhí)行圖像處理來生成基于參照圖像的圖像，以使得參照圖像變?yōu)榕c由位于虛擬路徑上的虛擬成像裝置Cam1'捕獲的捕獲圖像相對應的圖像。待生成的基于參照圖像的圖像對應于由虛擬成像裝置Cam1'捕獲的捕獲圖像。根據(jù)本實施例的信息處理設備例如通過對由成像裝置Cam1捕獲的捕獲圖像執(zhí)行尺度變換和仿射變換等等，來生成基于參照圖像的圖像。

此外，根據(jù)本實施例的信息處理設備在圖像切換時顯示基于參照圖像的生成圖像。

此外，在如圖8B的A所示的與切換目的地圖像相對應的成像裝置的位置不存在于虛擬路徑上的情況下，根據(jù)本實施例的信息處理設備通過執(zhí)行圖像處理來生成基于切換目的地圖像的圖像，使得切換目的地圖像變?yōu)榕c由位于虛擬路徑上的虛擬成像裝置Cam2'捕獲的捕獲圖像相對應的圖像。待生成的基于切換目的圖像的圖像對應于由虛擬成像裝置Cam2'捕獲的捕獲圖像。例如，根據(jù)本實施例的信息處理設備通過對由成像裝置Cam2捕獲的捕獲圖像執(zhí)行尺度變換和仿射變換等等，生成基于切換目的圖像的圖像。

此外，根據(jù)本實施例的信息處理設備在圖像切換時顯示基于切換目的地圖像的生成圖像。

此外，在如圖8B的A所示的除了與對應于參照圖像的成像裝置以及對應于切換目的地圖像的成像裝置以外的其它成像裝置Cam3至Cam5的位置不存在于虛擬路徑上的情況下，根據(jù)本實施例的信息處理設備通過執(zhí)行圖像處理來生成生成圖像，使得由其它成像裝置Cam3至Cam5捕獲的捕獲圖像成為與由位于虛擬路徑上的虛擬成像裝置Cam3'至Cam5'捕獲的捕獲圖像相對應的圖像。待生成的生成圖像對應于由虛擬成像裝置Cam3'至Cam5'捕獲的捕獲圖像。例如，根據(jù)本實施例的信息處理設備通過對由成像裝置Cam3至Cam5捕獲的捕獲圖像執(zhí)行尺度變換和仿射變換等來生成生成圖像。

此外，根據(jù)本實施例的信息處理設備在圖像切換時將生成的生成圖像顯示為補充圖像。

例如，通過如圖8B所示顯示基于參照圖像的圖像和基于切換目的地圖像的圖像而不是參照圖像和切換目的地圖像，并將生成圖像顯示為補充圖像，例如，能夠在圖像切換時向用戶呈現(xiàn)更平滑的圖像。此外，通過如圖8所示生成基于參照圖像的圖像和基于切換目的地圖像的圖像，生成生成圖像并將生成圖像假設為補充圖像，例如，能夠在同時顯示多個捕獲圖像的情況下或在顯示所謂的時間片圖像的情況下，創(chuàng)建更美的圖像。

根據(jù)本實施例的信息處理設備執(zhí)行如參考圖8A和圖8B所示的處理，例如，作為與對應于設置的虛擬路徑的圖像的顯示相關的處理。

這里，與對應于所設置的虛擬路徑的圖像的顯示相關的處理的示例不限于參考圖8A和圖8B所示的處理。

例如，根據(jù)本實施例的信息處理設備還可以在圖像切換時顯示聚焦于預定被攝體的圖像。

圖9是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與和根據(jù)本實施例的顯示控制處理中的與虛擬路徑相對應的圖像的顯示相關的處理的另一示例。

圖9所示的A1至A4示出了由多個成像裝置捕獲的捕獲圖像的一個示例。此外，圖9所示的B1至B4例示了在對圖9的A1至A4的每個捕獲圖像執(zhí)行與參照圖8A和圖8B所示的處理類似的處理之后，包括在圖像中的聚焦于捕集器(預定被攝體的一個示例)的圖像的一個示例。

例如，通過從圖像中檢測預定被攝體并執(zhí)行圖像處理，使得檢測到的預定被攝體被聚焦，根據(jù)本實施例的信息處理設備生成圖9的B1至B4所示的圖像，作為生成圖像。例如，根據(jù)本實施例的信息處理設備通過使用作為通過參考圖5A至圖5C所示的方法進行學習的結果獲取的示出預定被攝體的特征的數(shù)據(jù)，從圖像(例如，參照圖像、切換目的地圖像和補充圖像等)中檢測被攝體。

當聚焦于預定被攝體上的圖像被生成為生成圖像并被顯示時，如圖9的B1至B4所示，能夠向用戶呈現(xiàn)其中預定被攝體的顯示位置平滑地改變的圖像。此外，例如，當聚焦于預定被攝體上的圖像被生成為生成圖像時，如圖9的B1至B4所示，例如，能夠在同時顯示多個捕獲圖像的情況下或在顯示所謂的時間片圖像的情況下，創(chuàng)建更美的圖像。

(2-3)根據(jù)本實施例的顯示控制處理的第三示例：與對應于設置的虛擬路徑的圖像的顯示相關的處理的另一示例

如上所述，可以基于用戶操作來設置虛擬路徑。此外，例如，根據(jù)本實施例的信息處理設備還可以基于成像裝置的位置(空間布置)、包括在捕獲圖像中的被攝體的存在/不存在以及包括在捕獲圖像中的被攝體的位置，來自適應地決定是否使用由成像裝置在圖像切換時捕獲的捕獲圖像。

圖10是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與和根據(jù)本實施例的顯示控制處理中的虛擬路徑相對應的圖像的顯示相關的處理的另一示例。

圖10所示的A1、B1和C1示出了由位于虛擬路徑上的一個成像裝置捕獲的捕獲圖像的一個示例。此外，圖10所示的A3和B3示出了由位于虛擬路徑上的另一成像裝置捕獲的捕獲圖像的一個示例。此外，圖10所示的C3示出了補充圖像的一個示例，并且示出了通過裁剪由位于虛擬路徑上的上述其它成像裝置捕獲的捕獲圖像而生成的生成圖像。此外，圖10所示的A2、B2和C2分別示出了補充圖像的一個示例并且示出了生成圖像。

當一個成像裝置和另一個成像裝置位于虛擬路徑上時，例如，在從對應于一個成像裝置的視點的圖像切換到對應于另一個成像裝置的視點的圖像的情況下，根據(jù)本實施例的信息處理設備在顯示圖10的A3和B3中所示的圖像之前，根據(jù)設置的虛擬路徑顯示圖10的A2和B2所示的補充圖像。這里，例如，圖10的A1、A2和A3所示的圖像的切換可以被解釋為基于虛擬路徑的圖像的切換。此外，例如，圖10的A1、A2和A3所示的圖像的切換可以被解釋為基于被攝體的圖像的切換。

此外，例如，如圖10的C1、C2和C3所示，根據(jù)本實施例的信息處理設備還可以切換圖像，使得顯示被攝體的位置和被攝體的尺寸不改變。例如，如圖10的C1、C2和C3所示，在切換圖像使得顯示被攝體的位置和被攝體的尺寸不改變的情況下，用戶可以直觀地看圖像并更直觀地編輯圖像。例如，圖10的C1、C2和C3中所示的圖像的切換可以被解釋為基于被攝體的圖像的切換。

例如，通過執(zhí)行如圖10所示的圖像切換來實現(xiàn)更平滑的圖像切換。

(2-4)根據(jù)本實施例的顯示控制處理的第四示例

圖11A和圖11B是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例并例示通過根據(jù)本實施例的顯示控制處理實現(xiàn)的圖像切換的一個示例的說明圖。圖11A和圖11B所示的示例示出了當由設置在棒球場中的多個成像裝置Cam1和Cam2等執(zhí)行成像時，執(zhí)行從由成像裝置Cam1捕獲的捕獲圖像到由成像裝置Cam4捕獲的捕獲圖像的切換的情況下的示例。

例如，圖11A的A例示了由成像裝置Cam1捕獲的捕獲圖像的一個示例，并且是當前顯示在顯示屏幕上的圖像。在圖11A和圖11B所示的示例中，由成像裝置Cam1捕獲的捕獲圖像對應于參照圖像。

此外，圖11A的B例示了從圖11A的左側起依次由成像裝置Cam2捕獲的捕獲圖像、由成像裝置Cam3捕獲的捕獲圖像、由成像裝置Cam4捕獲的捕獲圖像和由成像裝置Cam5捕獲的捕獲圖像等的一個示例。在圖11和圖11B所示的示例中，由成像裝置Cam4捕獲的捕獲圖像對應于參照圖像。

例如，如圖11B的A所示，與從參照圖像到切換目的地圖像的圖像切換相關的虛擬路徑P被設置為以便穿過位于與參照圖像相對應的成像裝置Cam1和與切換目的地圖像相對應的成像裝置Cam4之間的成像裝置Cam2和Cam3。例如，通過如圖11B的A所示設置虛擬路徑P，能夠將由成像裝置Cam2和Cam3捕獲的捕獲圖像用作補充圖像。這里，如上所述，根據(jù)本實施例的虛擬路徑可以基于例如用戶操作等任意設置。

此外，例如，在從參照圖像到切換目的地圖像的圖像切換時，可以將與由在虛擬路徑上的虛擬成像裝置VD1至VD3捕獲的捕獲圖像相對應的生成圖像作為補充圖像來增補，如圖11B的B所示。例如，補充圖像的數(shù)量取決于對應于參照圖像的成像裝置Cam1和對應于切換目的地圖像的成像裝置Cam2之間的距離來決定。

例如，當由成像裝置Cam2和Cam3捕獲的捕獲圖像和與由虛擬成像裝置VD1至VD3捕獲的捕獲圖像相對應的生成圖像作為補充圖像被增補時，如圖11B的B所示，實現(xiàn)如圖11的C所示的圖像切換。

(2-5)根據(jù)本實施例的顯示控制處理的第五示例：根據(jù)圖像切換的UI(用戶界面)的示例

例如，如參考圖4的A所示，可以基于關于其中用戶可以執(zhí)行與圖像切換相關的操作的操作屏幕的用戶操作來執(zhí)行根據(jù)本實施例的圖像切換。

圖12是描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例的說明圖，并且例示了與根據(jù)本實施例的圖像切換相關的UI的一個示例。圖12的A例示了其中用戶可以執(zhí)行與圖像切換相關的操作的操作屏幕的一個示例，并且圖12的B例示了其中用戶可以執(zhí)行與圖像切換相關的操作的操作屏幕的另一示例。

(2-5-1)操作屏幕的第一示例(圖12的A)

參考圖12的A，根據(jù)第一示例的操作屏幕包括其中顯示圖像的主圖像顯示區(qū)域V，以及其中顯示在上述(1)的處理(重新布置處理)中布置的捕獲圖像并且用戶可以執(zhí)行選擇捕獲圖像的操作的選擇區(qū)域S1。這里，關于選擇區(qū)域S1的操作對應于與根據(jù)本實施例的圖像切換相關的操作的一個示例。此外，根據(jù)本實施例的操作屏幕可以包括與圖像的再現(xiàn)相關的操作按鈕和搜索條，等等。

顯示在主圖像顯示區(qū)域V上的捕獲圖像對應于參照圖像。此外，例如，根據(jù)與對應于參照圖像(在主圖像顯示區(qū)域V中顯示的捕獲圖像)的成像裝置的位置關系，在選擇區(qū)域S1中顯示由與對應于參照圖像的成像裝置不同的其它成像裝置捕獲的捕獲圖像。例如，在與上述(1)的處理(重新布置處理)相關的布置方向上，按照從與對應于參照圖像的成像裝置具有最近的距離的順序，在選擇區(qū)域S1中顯示由其它成像裝置捕獲的捕獲圖像。在主圖像顯示區(qū)域V中顯示的捕獲圖像改變?yōu)榱硪粓D像的情況下，在選擇區(qū)域S1中顯示與在主圖像顯示區(qū)域V中顯示的圖像相對應的圖像。

在針對圖12的A所示的操作屏幕執(zhí)行用戶操作的情況下，當用戶選擇在選擇區(qū)域S1中顯示的圖像時，根據(jù)本實施例的信息處理設備將圖像從在主圖像顯示區(qū)域V中顯示的捕獲圖像切換到在選擇區(qū)域S1中選擇的圖像捕獲圖像。

(2-5-2)操作屏幕的第二示例(圖12的B)

參考圖12的B，根據(jù)第二示例的操作屏幕包括其中顯示圖像的主圖像顯示區(qū)域V以及其中顯示與在上述(1)的處理中布置的捕獲圖像相對應的成像裝置的位置，以及用戶可以執(zhí)行與選擇相關的操作的選擇區(qū)域S2。這里，關于選擇區(qū)域S2的操作對應于與根據(jù)本實施例的圖像切換相關的操作的一個示例。類似于圖12的A，在主圖像顯示區(qū)域V中顯示的捕獲圖像對應于參照圖像。

與關于選擇區(qū)域S2的用戶選擇相關的操作的示例包括選擇成像裝置的操作和設置虛擬路徑的操作。例如，選擇成像裝置的操作對應于切換目的地圖像的選擇操作，其選擇與所選擇的成像裝置相對應的捕獲圖像作為切換目的地圖像。此外，例如，設置虛擬路徑的操作對應于根據(jù)虛擬路徑的設置的切換目的地圖像的選擇操作。

此外，在選擇區(qū)域S2中，例如，如圖12的B的I所示，通過“向與在主圖像顯示區(qū)域V中顯示的捕獲圖像相對應的成像裝置給予顏色”、“執(zhí)行顯示以使得與在主圖像顯示區(qū)域V上顯示的捕獲圖像相對應的成像裝置的尺寸大于其它成像裝置”以及“將字符固定到與在主圖像顯示區(qū)域V中顯示的捕獲圖像相對應的成像裝置”等，可以清楚地示出與在主圖像顯示區(qū)域V中顯示的捕獲圖像相對應的成像裝置。

在針對圖12的B所示的操作屏幕執(zhí)行用戶操作的情況下，當用戶選擇在選擇區(qū)域S2中顯示的成像裝置時，根據(jù)本實施例的信息處理設備將圖像從在主圖像顯示區(qū)域V中顯示的捕獲圖像切換到由在選擇區(qū)域S2中選擇的成像裝置捕獲的捕獲圖像。此外，在針對圖12的B所示的操作屏幕執(zhí)行用戶操作的情況下，例如，當用戶設置虛擬路徑時，根據(jù)本實施例的信息處理設備將圖像從在主圖像顯示區(qū)域V中顯示的捕獲圖像切換到與在選擇區(qū)域S2中設置的虛擬路徑的終點相對應的圖像。

例如，根據(jù)本實施例的信息處理設備基于關于圖12所示的操作屏幕的用戶操作來執(zhí)行顯示控制處理，并且切換和顯示圖像。這里，不用說，與根據(jù)本實施例的圖像切換相關的UI不限于圖12所示的操作屏幕。

<3>與根據(jù)本實施例的信息處理方法相關的處理的具體示例

圖13是例示與根據(jù)本實施例的信息處理方法相關的處理的一個示例的流程圖。在圖13中，例如，在圖13的B中所示的處理對應于上述(2)的處理(顯示控制處理)的一個示例。此外，在圖13中省略了上述(1)的處理(重新布置處理)。

此外，圖13的A所示的步驟S100至S108中的處理，示出了在上述(2)的處理(顯示控制處理)中切換和顯示圖像之前執(zhí)行的預處理的一個示例。這里，圖13的A所示的步驟S100至S108中的處理不限于預處理，并且可以是在圖13的B所示的步驟S200和S202中的處理之間執(zhí)行的實時處理。

首先，參照圖13的A，根據(jù)本實施例的信息處理設備估計成像裝置的位置(S100)。例如，根據(jù)本實施例的信息處理設備通過從諸如GPS裝置的傳感器獲取的傳感器信息和捕獲圖像來估計成像裝置的位置。

根據(jù)本實施例的信息處理設備從捕獲圖像中檢測被攝體(S102)。例如，根據(jù)本實施例的信息處理設備通過使用作為通過參照圖5A至圖5C示出的方法進行學習的結果而獲取的示出預定被攝體的特征的數(shù)據(jù)等等，從捕獲圖像中檢測被攝體。

根據(jù)本實施例的信息處理設備校正捕獲圖像的色調(S104)。

根據(jù)本實施例的信息處理設備估計虛擬路徑并確定捕獲圖像的使用(S106)。

圖14是例示與根據(jù)本實施例的信息處理方法相關的處理的一個示例的流程圖，并且例示了圖13的A的步驟S106中的處理的一個示例。此外，圖15是描述與根據(jù)本實施例的信息處理方法相關的處理的說明圖，并且圖15所示的A和B例示了用于增補圖14所示的處理的圖。

根據(jù)本實施例的信息處理設備排除由用戶指定的捕獲圖像(S300)。此外，根據(jù)本實施例的信息處理設備排除其中不包括預定被攝體的捕獲圖像(S302)。此外，根據(jù)本實施例的信息處理設備排除與其它捕獲圖像具有極大不同顏色的捕獲圖像(S304)。此外，根據(jù)本實施例的信息處理設備排除與其它捕獲圖像具有極大不同分辨率的捕獲圖像(S306)。

通過執(zhí)行步驟S300至S306中的處理，例如，排除像由圖15的A中所示的成像裝置Cam1捕獲的捕獲圖像的沒有預定被攝體的捕獲圖像，和像由如圖15的A中所示的成像裝置Cam2捕獲的捕獲圖像的具有不足分辨率的捕獲圖像。這里，根據(jù)本實施例的信息處理設備也能夠不執(zhí)行步驟S300至S306中的處理。

根據(jù)本實施例的信息處理設備生成虛擬路徑(S308)。例如，根據(jù)本實施例的信息處理設備生成穿過位于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的其它成像裝置的虛擬路徑。這里，例如，在其中在隨后描述的步驟S312中的處理中排除捕獲圖像并再次執(zhí)行步驟S308中的處理的情況下，根據(jù)本實施例的信息處理設備生成沒有再次穿過對應于排除的捕獲圖像的成像裝置的虛擬路徑。

根據(jù)本實施例的信息處理設備評估設置的虛擬路徑(S310)，并且排除不適合虛擬路徑的圖像(S312)。例如，每一個圖像地執(zhí)行排除不適合虛擬路徑的圖像。

例如，根據(jù)本實施例的信息處理設備確定不適合虛擬路徑的圖像是否存在于設置的虛擬路徑中，并且評估虛擬路徑。

當引用特定示例時，例如，根據(jù)本實施例的信息處理設備確定由位于虛擬路徑上的成像裝置捕獲的捕獲圖像是否對應于以下情況中的一個或兩個或更多個，計算每個捕獲圖像的評估值并通過評估值來評估虛擬路徑。例如，根據(jù)本實施例的信息處理設備可以通過假設分別對應于以下情況的值的和作為評估值來評估虛擬路徑，或者可以通過將與各個情況相對應的值假設為評估值來組合多個評估值以及連續(xù)地使用多個評估值來評估虛擬路徑。這里，不用說，評估值的計算方法不限于確定其是否對應于以下情況中的一個或兩個或更多個的方法。

-成像裝置的姿勢/位置移位的情況(例如，直到虛擬路徑的距離等于或大于閾值的情況或者其不垂直于虛擬路徑的情況)

-當排除目標捕獲圖像時生成的虛擬路徑非常短的情況

-當排除目標捕獲圖像時生成的虛擬路徑平滑的情況

例如，根據(jù)本實施例的信息處理設備通過使用在步驟S310中計算的評估值和閾值執(zhí)行閾值處理來確定不適合虛擬路徑的圖像，并且排除在步驟S312中被確定為不適合虛擬路徑的圖像。

這里，例如，根據(jù)本實施例的信息處理設備還可以通過確定標準來確定不適合虛擬路徑的圖像，所述確定標準為預定被攝體不包括在捕獲圖像中或者其顏色與其它捕獲的圖像極大不同。在步驟S308至S312的處理的各階段中，在通過捕獲圖像中不包括預定被攝體的判斷標準來確定不適合虛擬路徑的圖像的情況下，根據(jù)本實施例的信息處理設備不必執(zhí)行步驟S300至S306中的處理。

例如，通過執(zhí)行步驟S308至S312中的處理，排除了像圖15的B所示的成像裝置Cam3的成像裝置。

根據(jù)本實施例的信息處理設備確定在由位于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的其它成像裝置捕獲的捕獲圖像中是否存在可以排除的圖像(S314)。例如，在除了在步驟S312中排除的捕獲圖像之外，確定為不適合步驟S310中的虛擬路徑的捕獲圖像不存在的情況下，根據(jù)本實施例的信息處理設備確定不存在可以排除的圖像。

在步驟S314中沒有確定不存在可以排除的圖像的情況下，根據(jù)本實施例的信息處理設備重復從步驟S308開始的處理。此外，在步驟S314中確定不存在可以排除的圖像的情況下，根據(jù)本實施例的信息處理設備結束圖13的A的步驟S106中的處理。

例如，在圖13的A的步驟S106中執(zhí)行圖14所示的處理。這里，不用說，圖13的A的步驟S106中的處理不限于圖14所示的處理。

再次參考圖13的A描述與根據(jù)本實施例的信息處理方法相關的處理的一個示例。根據(jù)本實施例的信息處理設備從捕獲圖像生成三維信息(示出深度的數(shù)據(jù))(S108)。這里，使用在步驟S108中生成的三維信息來生成生成圖像(補充圖像的一個示例)。

例如，根據(jù)本實施例的信息處理設備執(zhí)行圖13的A所示的處理，作為與根據(jù)本實施例的信息處理方法相關的處理中的預處理。

這里，根據(jù)本實施例的預處理不限于圖13的A中所示的示例。例如，根據(jù)本實施例的信息處理設備可以不執(zhí)行步驟S104中的處理和步驟S108中的處理中的一個或兩者。

此外，如上所述，圖13的A中所示的處理(包括根據(jù)上述圖13的A的修改示例的處理)不限于預處理，并且可以在圖13的B所示的步驟S200和S202中的處理之間執(zhí)行。

接下來，參照圖13的B，根據(jù)本實施例的信息處理設備確定是否選擇了切換目的地視點(切換目的地圖像)(S200)。例如，在檢測到與關于圖12所示的操作屏幕的切換目的地圖像的選擇相關的用戶操作的情況下，根據(jù)本實施例的信息處理設備確定選擇了切換目的地視點。

在步驟S200中確定沒有選擇切換目的地視點的情況下，根據(jù)本實施例的信息處理設備直到確定選擇了切換目的地視點為止，不推進處理。

此外，在步驟S200中確定選擇了切換目的地視點的情況下，根據(jù)本實施例的信息處理設備選擇性地增補一個或兩個或更多個補充圖像(S202)，并且將圖像從參照圖像切換到切換目的地圖像并顯示它(S204)。根據(jù)本實施例的信息處理設備將通過各種渲染和各種變換等生成的生成圖像作為補充圖像進行增補，以對應于由位于虛擬路徑上的成像裝置捕獲的捕獲圖像和由位于虛擬路徑上的虛擬成像裝置捕獲的捕獲圖像。

例如，通過執(zhí)行圖13的B所示的處理，實現(xiàn)了從參照圖像到切換目的地圖像的更平滑的圖像切換。

例如，根據(jù)本實施例的信息處理設備執(zhí)行圖13的A和圖13的B所示的處理，作為與根據(jù)本實施例的信息處理方法相關的處理。這里，不用說，與根據(jù)本實施例的信息處理方法相關的處理不限于圖13的A和圖13的B中所示的處理。

(根據(jù)本實施例的信息處理設備)

接下來，描述可以執(zhí)行與根據(jù)本實施例的信息處理方法相關的上述處理的根據(jù)本實施例的信息處理設備的配置的一個示例。以下，將在執(zhí)行上述(1)的處理(重新布置處理)和上述(2)的處理(顯示控制處理)的情況下的根據(jù)本實施例的信息處理設備的配置示例為與根據(jù)本實施例的信息處理方法相關的處理。

圖16是例示根據(jù)本實施例的信息處理設備100的配置的一個示例的框圖。例如，信息處理設備100包括通信單元102和控制單元104。

此外，例如，信息處理設備100可以包括只讀存儲器(ROM，未示出)、隨機存取存儲器(RAM，未示出)、存儲單元(未示出)、可以由用戶操作的操作單元(未示出)，以及在顯示屏幕上顯示各種畫面的顯示單元(未示出)。例如，信息處理設備100通過作為數(shù)據(jù)傳輸路徑的總線連接上述組件。

ROM(未示出)存儲由控制單元104使用的控制數(shù)據(jù)，諸如程序和操作參數(shù)。RAM(未示出)臨時存儲由控制單元104執(zhí)行的程序等。

存儲單元(未示出)是包括在信息處理設備100中的存儲裝置，并且例如存儲各種數(shù)據(jù)，像與根據(jù)本實施例的信息處理方法相關的各種應用和數(shù)據(jù)，諸如示出被攝體的特征的數(shù)據(jù)。這里，存儲單元(未示出)的示例包括諸如硬盤的磁記錄介質和諸如閃存的非易失性存儲器。此外，存儲單元(未示出)可以是從信息處理設備100可拆卸的。

作為操作單元(未示出)，引用了稍后描述的操作輸入裝置。此外，作為顯示單元(未示出)，引用了稍后描述的顯示裝置。

(信息處理設備100的硬件配置示例)

圖17是示出根據(jù)本實施例的信息處理設備100的硬件配置的一個示例的說明圖。例如，信息處理設備100包括MPU 150、ROM 152、RAM 154、記錄介質156、輸入/輸出接口158、操作輸入裝置160、顯示裝置162和通信接口164。此外，例如，信息處理設備100通過作為數(shù)據(jù)傳輸路徑的總線166連接每個組件。

例如，MPU 150包括一個或兩個或更多個處理器和各種處理電路，其包括諸如微處理單元(MPU)的操作電路，并且用作控制整個信息處理設備100的控制單元104。此外，例如，MPU 150在信息處理設備100中起到稍后描述的重新布置單元110和顯示控制單元112的作用。

ROM 152存儲由MPU 150使用的控制數(shù)據(jù)，諸如程序和操作參數(shù)。例如，RAM 154臨時存儲由MPU 150執(zhí)行的程序等。

記錄介質156用作存儲單元(未示出)，并且例如存儲各種數(shù)據(jù)，像與根據(jù)本實施例的信息處理方法相關的各種應用和數(shù)據(jù)，諸如示出被攝體的特征的數(shù)據(jù)。這里，記錄介質156的示例包括諸如硬盤的磁記錄介質和諸如閃存的非易失性存儲器。此外，記錄介質156可以是從信息處理設備100可拆卸的。

例如，輸入/輸出接口158執(zhí)行與操作輸入裝置160和顯示裝置162的連接。操作輸入裝置160用作操作單元(未示出)，并且顯示裝置162用作顯示單元(未示出)。這里，輸入/輸出接口158的示例包括通用串行總線(USB)端子、數(shù)字視頻接口(DVI)端子、高清晰度多媒體接口(HDMI)(注冊商標)端子和各種處理電路等。

此外，例如，操作輸入裝置160安裝在信息處理設備100上，并且與信息處理設備100中的輸入/輸出接口158連接。操作輸入裝置160的示例包括按鈕、方向鍵和諸如微動撥盤的旋轉型選擇器、或這些的組合。

此外，例如，顯示裝置162安裝在信息處理設備100上，并且與信息處理設備100中的輸入/輸出接口158連接。顯示裝置162的示例包括液晶顯示器和有機電致發(fā)光顯示器(有機EL顯示器，其也稱為有機發(fā)光二極管顯示器(OLED顯示器))。

這里，不用說，輸入/輸出接口158還可以與諸如外部操作輸入裝置(例如，鍵盤和鼠標等)和作為信息處理設備100的外部設備的外部顯示裝置的外部裝置連接。此外，例如，顯示裝置162可以是其中顯示和用戶操作是可能的裝置，例如觸摸面板。

通信接口164是包括在信息處理設備100中的通信裝置，并且用作通信單元102，以通過網(wǎng)絡(或直接)執(zhí)行與諸如外部成像裝置和外部顯示裝置的外部裝置的無線或有線通信。這里，通信接口164的示例包括通信天線和射頻(RF)電路(無線通信)、IEEE 802.15.1端口和發(fā)送和接收電路(無線通信)、IEEE 802.11端口和發(fā)送和接收電路(無線通信)、以及局域網(wǎng)(LAN)終端和發(fā)送和接收電路(有線通信)等。此外，根據(jù)本實施例的網(wǎng)絡的示例包括諸如LAN和廣域網(wǎng)(WAN)的有線網(wǎng)絡、諸如無線LAN(無線局域網(wǎng)：WLAN)的無線網(wǎng)絡、以及使用通信協(xié)議(諸如傳輸控制協(xié)議/網(wǎng)際協(xié)議(TCP/IP))的互聯(lián)網(wǎng)。

信息處理設備100例如通過圖17所示的配置來執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理。這里，根據(jù)本實施例的信息處理設備100的硬件配置不限于圖17所示的配置。

例如，在通過連接的外部通信裝置執(zhí)行與外部設備的通信的情況下，信息處理設備100可以不包括通信接口164。

此外，信息處理設備100還可以包括用作通過成像生成捕獲圖像的成像單元(未示出)的成像裝置。

此外，例如，信息處理設備100還可以采用沒有記錄介質156、操作輸入裝置160和顯示裝置162的配置。

再次參考圖16描述信息處理設備100的配置的一個示例。通信單元102是包括在信息處理設備100中的通信裝置，并且通過網(wǎng)絡(或直接)執(zhí)行與諸如外部成像裝置和外部設備的外部裝置的無線或有線通信。此外，例如，在通信單元102中，通過控制單元104控制通信。

這里，通信單元102的示例包括通信天線和RF電路，以及LAN終端和發(fā)送和接收電路，但是通信單元102的配置不限于上述。例如，通信單元102可以采用與其中能夠執(zhí)行通信的任意標準相對應的配置(諸如USB端子以及發(fā)送和接收電路)，以及其中能夠通過網(wǎng)絡執(zhí)行與外部設備的通信的任意配置。此外，通信單元102可以采用其中能夠在多個通信方案中執(zhí)行與一個或兩個或更多個外部設備的通信的配置。

例如，控制單元104可以包括MPU等，并且起到控制整個信息處理設備100的作用。此外，例如，控制單元104包括重新布置單元110和顯示控制單元112，并且起到主動地執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理的作用。

重新布置單元110起到主動地執(zhí)行上述(1)的處理(重新布置處理)的作用，并且基于多個成像裝置之間的位置關系來布置通過位于預定區(qū)域中的多個成像裝置同時進行成像而生成的多個捕獲圖像。

此外，重新布置單元110可以布置多個圖像，同時從所述多個捕獲圖像中排除捕獲圖像，例如上面(a)至(f)所示。

顯示控制單元112起到主動執(zhí)行上述(2)的處理(顯示控制處理)的作用。例如，通過根據(jù)由重新布置單元110布置的多個捕獲圖像的布置順序來顯示多個捕獲圖像，顯示控制單元112以與多個成像裝置之間的位置關系相對應的模式顯示多個捕獲圖像。此外，顯示控制單元112將圖像從參照圖像切換到切換目的地圖像并顯示它。

顯示控制單元112基于與參照圖像相對應的成像裝置和與切換目的地圖像相對應的成像裝置之間的位置關系，選擇性地增補一個或兩個或更多個補充圖像。此外，在增補補充圖像的情況下，顯示控制單元112在顯示切換目的地圖像之前顯示補充圖像。

此外，在切換和顯示圖像的情況下，顯示控制單元112可以顯示對應于設置的虛擬路徑的圖像(例如，參照圖像、基于參照圖像的圖像、補充圖像、切換圖像和基于切換圖像的圖像)。具體地，例如，顯示控制單元112基于與參照圖像和虛擬路徑相對應的成像裝置的位置來選擇性地顯示基于參照圖像的圖像，作為與虛擬路徑對應的圖像，而不是參照圖像。此外，例如，顯示控制單元112基于與切換圖像和虛擬路徑相對應的成像裝置的位置，選擇性地顯示基于切換圖像的圖像，作為與虛擬路徑對應的圖像，而不是切換圖像。此外，例如，顯示控制單元112增補與虛擬路徑相對應的圖像作為補充圖像，并顯示所增補的補充圖像。

例如，顯示控制單元112執(zhí)行根據(jù)上述(2-1)所示的第一示例的處理到根據(jù)上述(2-5)所示的第五示例的處理之中的一個或兩個或更多個處理。

例如，通過包括重新布置單元110和顯示控制單元112，控制單元104主動地執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理。

例如，信息處理設備100通過圖16所示的配置執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理(例如，上述(1)的處理(重新布置處理)和上述(2)的處理(顯示控制處理))。

因此，例如，信息處理設備100可以通過圖16所示的配置來實現(xiàn)與切換捕獲圖像相關的用戶便利性的提高。

此外，例如，信息處理設備100可以通過圖16所示的配置來提供通過執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理而提供的效果。

這里，根據(jù)本實施例的信息處理設備的配置不限于圖16所示的配置。

例如，根據(jù)本實施例的信息處理設備可以包括與控制單元104分離地在圖16中所示的重新布置單元110和顯示控制單元112中的一個或兩者(例如，通過不同的處理電路實現(xiàn)它們)。

此外，如上所述，上述(1)的處理(重新布置處理)和上述(2)的處理(顯示控制處理)是為了方便起見通過劃分與根據(jù)本實施例的信息處理方法相關的處理獲得的處理。因此，實現(xiàn)與根據(jù)本實施例的信息處理方法相關的處理的配置不限于圖16所示的重新布置單元110和顯示控制單元112，并且能夠采用與劃分與根據(jù)本實施例的信息處理方法相關的處理的方式相對應的配置。

此外，例如，在通過具有與通信單元102類似的功能和配置的外部通信裝置執(zhí)行與外部設備的通信的情況下，根據(jù)本實施例的信息處理設備可以不包括通信單元102。

此外，根據(jù)本實施例的信息處理設備還可以采用沒有圖16所示的重新布置單元110的配置。由于根據(jù)本實施例的信息處理設備即使在其采用沒有重新布置單元110的配置的情況下也可以執(zhí)行上述(2)的處理(顯示控制處理)，因此能夠實現(xiàn)與切換捕獲圖像相關的用戶便利性的提高。

此外，根據(jù)本實施例的信息處理設備可以包括成像裝置，并且還包括通過成像生成捕獲圖像的成像單元(未示出)。

以上使用信息處理設備作為示例描述了本實施例，但是本實施例不限于這種模式。例如，本實施例可應用于各種裝備，諸如包括個人計算機(PC)和服務器的計算機、包括數(shù)字靜態(tài)照相機和數(shù)字攝像機的成像設備、包括移動電話和智能電話的通信設備、平板型設備、顯示設備、圖像/音樂再現(xiàn)設備(或圖像/音樂記錄和再現(xiàn)設備)和游戲機。此外，例如，本實施例可應用于可以內置在上述裝備中的處理集成電路(IC)。

此外，根據(jù)本實施例的信息處理設備可以由包括假設與網(wǎng)絡連接(或者設備之間的通信)的多個設備的系統(tǒng)(例如像云計算)來實現(xiàn)。也就是說，還能夠實現(xiàn)上述根據(jù)本實施例的信息處理設備，例如，作為包括多個裝置的系統(tǒng)。

例如，在上述根據(jù)本實施例的信息處理設備被實現(xiàn)為諸如云計算的系統(tǒng)的情況下，根據(jù)本實施例的系統(tǒng)執(zhí)行與根據(jù)本發(fā)明的信息處理方法相關的處理并且在可以執(zhí)行有線或無線通信的設備(例如，用戶擁有的設備等)的顯示屏幕上顯示待切換的圖像。這里，即使上述根據(jù)本實施例的信息處理設備不是包括多個裝置的系統(tǒng)但是一個設備時，根據(jù)本實施例的信息處理設備也可以執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理并且在可以執(zhí)行有線或無線通信的設備的顯示屏幕上顯示待切換的圖像。

(根據(jù)本實施例的程序)

當通過計算機中的處理器等執(zhí)行使得計算機用作根據(jù)本實施例的信息處理設備的程序(例如，可以執(zhí)行與根據(jù)本實施例的信息處理方法相關的處理(諸如上述(1)的處理(重新布置處理)和上述(2)的處理(顯示控制處理)等)的程序)時，能夠實現(xiàn)與切換捕獲圖像相關的用戶的便利性的提高。

此外，當通過計算機中的處理器等執(zhí)行使計算機用作根據(jù)本實施例的信息處理設備的程序時，能夠提供由與上述根據(jù)本實施例的信息處理方法相關的處理提供的效果。

本領域技術人員應當理解，依賴于設計要求和其它因素，可以進行各種修改、組合、子組合和替換，只要它們在隨附權利要求或其等同物的范圍內。

例如，上面已經(jīng)例示了提供了使計算機用作根據(jù)本實施例的信息處理設備的程序(計算機程序)，但是本實施例還可以提供一種記錄介質，其中上述程序存儲在一起。

上述配置表示本實施例的示例，并且當然涉及本公開的技術范圍。

另外，本說明書中描述的效果僅僅是示例性和說明性的，而不是限制性的。換句話說，根據(jù)本公開的技術可以連同或者代替基于本說明書的效果呈現(xiàn)對于本領域技術人員顯而易見的其它效果。

(1)一種信息處理設備，包括：電路，配置為響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點將參照圖像和目標圖像與多個補充圖像中的至少一個連接，

其中所述多個補充圖像中的每個與參照視點和目標視點之間的被攝體的補充視點對應。

(2)根據(jù)(1)所述的信息處理設備，其中所述電路被配置為基于顯示屏上與目標視點對應的顯示，接收目標視點的識別。

(3)根據(jù)(1)或(2)所述的信息處理設備，其中所述多個補充圖像中的所述至少一個是捕獲圖像。

(4)根據(jù)(1)至(3)所述的信息處理設備，其中所述電路被配置為設定從參照視點到目標視點的虛擬路徑。

(5)根據(jù)(1)至(4)所述的信息處理設備，其中所述多個補充圖像中的所述至少一個是插值圖像，所述插值圖像是與沿著虛擬路徑的虛擬視點對應的圖像。

(6)根據(jù)(1)至(5)所述的信息處理設備，其中所述電路被配置為根據(jù)虛擬路徑針對參照圖像、目標圖像以及所述多個補充圖像中的至少一個，對圖像執(zhí)行圖像處理。

(7)根據(jù)(1)至(6)所述的信息處理設備，其中所述多個補充圖像中的所述至少一個是捕獲圖像和插值圖像的組合，所述插值圖像對應于沿著虛擬路徑的虛擬視點。

(8)根據(jù)(1)至(7)所述的信息處理設備，其中所述多個補充圖像包括多個插值圖像，所述多個插值圖像是分別與沿著參照視點與目標視點之間的虛擬路徑的虛擬視點對應的圖像。

(9)根據(jù)(1)至(8)所述的信息處理設備，其中所述多個補充圖像包括重復彼此交替的多個插值圖像和多個捕獲圖像。

(10)根據(jù)(1)至(9)所述的信息處理設備，其中所述顯示屏包括主圖像顯示區(qū)域和選擇區(qū)域，所述選擇區(qū)域包括與目標視點對應的顯示。

(11)根據(jù)(1)至(10)所述的信息處理設備，其中所述選擇區(qū)域顯示分別與多個可選擇目標視點對應的多個捕獲圖像。

(12)根據(jù)(1)至(10)所述的信息處理設備，其中所述選擇區(qū)域顯示多個補充視點，作為多個可選擇目標視點。

(13)根據(jù)(1)至(11)所述的信息處理設備，其中所述電路被配置為接收所述多個捕獲圖像中的一個的選擇，作為目標視點。

(14)根據(jù)(1)至(12)所述的信息處理設備，其中所述電路被配置為接收所述多個補充視點中的一個的選擇，作為目標視點。

(15)根據(jù)(1)至(14)所述的信息處理設備，其中所述多個捕獲圖像被同時分別在不同視點處捕獲。

(16)根據(jù)(1)至(15)所述的信息處理設備，其中所述多個插值圖像在與所述多個捕獲圖像不同的時間處生成。

(17)根據(jù)(1)至(16)所述的信息處理設備，其中所述多個補充圖像與參照圖像和目標圖像一起形成視頻數(shù)據(jù)。

(18)根據(jù)(1)至(17)所述的信息處理設備，其中所述圖像是生成的圖像。

(19)根據(jù)(1)至(18)所述的信息處理設備，其中所述圖像是生成的圖像。

(20)一種操作信息處理設備的方法，包括：響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點連接參照圖像和目標圖像之間的多個補充圖像中的至少一個，其中所述多個補充圖像中的每個與參照視點和目標視點之間的被攝體的補充視點對應。

(21)根據(jù)(20)所述的方法，其中所述連接包括組合所述多個補充圖像。

(22)一種存儲用于控制包括電路的信息處理設備的程序的非暫時性計算機可讀介質，所述程序可執(zhí)行以執(zhí)行操作，所述操作包括：響應于目標視點的識別，基于被攝體的參照視點和被攝體的目標視點連接參照圖像和目標圖像之間的多個補充圖像中的至少一個，其中所述多個補充圖像中的每個與參照視點和目標視點之間的被攝體的補充視點對應。

附圖標記說明：

10 透鏡

12 成像元件

14 信號處理電路

100 信息處理設備

102 通信單元

104 控制單元

110 重新布置單元

112 顯示控制單元