本公開涉及信息處理裝置、信息處理方法和程序。更具體地，本公開涉及信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，基于信息裝置的位置和方向，在顯示單元(顯示器)上顯示關(guān)于存在于信息處理裝置附近的真實(shí)對(duì)象的信息。

背景技術(shù)：

近來，智能電話、平板終端或諸如眼鏡型顯示器等可穿戴終端已經(jīng)變得普遍并且這些終端被大量用戶利用。

這些終端中的大多數(shù)不僅包括通信功能，而且包括通過其在顯示單元上顯示拍攝圖像的相機(jī)功能。此外，顯示單元不僅能夠顯示拍攝圖像，而且能夠顯示經(jīng)由網(wǎng)絡(luò)接收的各種信息，例如諸如經(jīng)由網(wǎng)絡(luò)訪問的網(wǎng)頁。

此外，存在能夠從網(wǎng)站獲取與位置信息相關(guān)聯(lián)的信息并且根據(jù)被設(shè)置為關(guān)于相機(jī)拍攝圖像的屬性信息的地球靜止地球軌道(Geo)信息和通過移動(dòng)終端的全球定位系統(tǒng)(GPS)功能獲取的位置信息來顯示此信息。

另外，專利文獻(xiàn)1(未經(jīng)審查的日本專利申請(qǐng)2011-028763號(hào))公開了(例如)與拍攝圖像相關(guān)的此類信息在拍攝圖像上疊加和顯示的配置。

引用文獻(xiàn)列表

專利文獻(xiàn)

專利文獻(xiàn)1：未經(jīng)審查的日本專利申請(qǐng)2011-028763號(hào)

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問題

存在許多用于如下配置的常規(guī)技術(shù)，該配置允許基于諸如GPS和Geo信息的位置信息在終端上疊加和顯示與拍攝對(duì)象相關(guān)的信息。

通過使用其中關(guān)于各種設(shè)施的注冊(cè)信息與設(shè)施的位置精確關(guān)聯(lián)的數(shù)據(jù)，以檢測(cè)拍攝和顯示對(duì)象的用戶終端的位置和傾斜度，并且執(zhí)行控制以與在顯示單元上的對(duì)象的移動(dòng)同步地移動(dòng)相關(guān)信息，根據(jù)設(shè)施的位置疊加和顯示注冊(cè)信息是可能的。

然而，實(shí)際上，GPS位置信息的精度為10米到100米，并且難以根據(jù)用戶終端的位置和傾斜度正確地顯示關(guān)于拍攝對(duì)象的相關(guān)信息。當(dāng)在顯示單元上顯示實(shí)時(shí)拍攝圖像，然后嘗試在拍攝圖像上顯示各種注冊(cè)信息時(shí)，所顯示的圖像根據(jù)用戶終端的移動(dòng)和傾斜度而移動(dòng)。盡管存在通過使用陀螺儀、加速度傳感器等來補(bǔ)充GPS位置信息的技術(shù)，但是難以通過它們中的任一者來定位正確的位置。結(jié)果，在真實(shí)對(duì)象彼此非常接近的情況下，可能無法正確地確定拍攝圖像中的哪些設(shè)施對(duì)應(yīng)于所顯示的信息。

例如，當(dāng)通過移動(dòng)終端的相機(jī)拍攝在10米內(nèi)彼此接近的餐館和公共休息室，并且在顯示單元上顯示拍攝圖像時(shí)，通過使用所公開的常規(guī)技術(shù)，顯示指示餐館和休息室在什么位置與包含在拍攝圖像中的餐館和休息室精確關(guān)聯(lián)的信息是困難的。

同時(shí)，通過諸如室內(nèi)消息系統(tǒng)(IMES)的室內(nèi)定位技術(shù)，可以以幾厘米的高精度確定對(duì)象的位置。然而，需要引入用于定位的基礎(chǔ)設(shè)施設(shè)備，這可能引起操作成本的問題。另外，諸如智能手機(jī)和平板終端的用戶終端需要支持新的定位技術(shù)。

本公開是鑒于上述問題而做出的，例如，允許在諸如智能電話的用戶終端上顯示關(guān)于所注冊(cè)的真實(shí)世界點(diǎn)(興趣點(diǎn)(POI))的精確關(guān)聯(lián)于用戶終端和點(diǎn)位置之間的位置關(guān)系的信息。本公開的目的是提供信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，即使當(dāng)用戶終端與用戶等的移動(dòng)同步地改變位置和傾斜度時(shí)，點(diǎn)的顯示可以根據(jù)用戶可以被精確地跟蹤和顯示的移動(dòng)和關(guān)于興趣點(diǎn)的信息來更新。

問題的解決方案

本公開的第一方面為信息處理裝置，包括：成像單元；顯示單元，顯示由成像單元拍攝的圖像；以及數(shù)據(jù)處理單元，在顯示單元上顯示虛擬對(duì)象，虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，其中數(shù)據(jù)處理單元輸入虛擬對(duì)象顯示控制數(shù)據(jù)，虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及數(shù)據(jù)處理單元從成像單元拍攝的圖像中檢測(cè)錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定成像單元在虛擬三維空間中的位置、計(jì)算注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，所述顯示單元坐標(biāo)系作為顯示單元的坐標(biāo)系。

此外，本公開的第二方面為信息提供服務(wù)器，包括：存儲(chǔ)單元，存儲(chǔ)包括在信標(biāo)發(fā)送器附近的真實(shí)對(duì)象信息的虛擬對(duì)象顯示控制數(shù)據(jù)；以及通信單元，根據(jù)來自信息處理裝置的獲取控制信息請(qǐng)求傳送虛擬對(duì)象顯示控制數(shù)據(jù)，其中虛擬對(duì)象顯示控制數(shù)據(jù)為以下信息：該信息記錄拍攝的在所述信標(biāo)發(fā)送器附近的真實(shí)對(duì)象的參考圖像和關(guān)于包含在參考圖像中的真實(shí)對(duì)象和真實(shí)對(duì)象附近的注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間中的位置信息。

此外，本公開的第三方面為搜索服務(wù)器，包括：通信單元，從信息處理裝置接收由信息處理裝置接收到的信標(biāo)的傳送信號(hào)；以及數(shù)據(jù)處理單元，基于所傳送的信標(biāo)執(zhí)行用于向信息處理裝置發(fā)送用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)的接入信息的過程，虛擬對(duì)象顯示控制數(shù)據(jù)記錄包括在信標(biāo)的發(fā)送器附近的真實(shí)對(duì)象的參考圖像以及關(guān)于真實(shí)對(duì)象和注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)中的位置信息。

另外，本公開的第四方面為由信息處理裝置執(zhí)行的信息處理方法，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，數(shù)據(jù)處理單元在顯示單元上顯示虛擬對(duì)象，虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，數(shù)據(jù)處理單元輸入虛擬對(duì)象顯示控制數(shù)據(jù)，虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及數(shù)據(jù)處理單元從成像單元拍攝的圖像中檢測(cè)錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定成像單元在虛擬三維空間中的位置、計(jì)算注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，顯示單元坐標(biāo)系作為顯示單元的坐標(biāo)系。

本公開的第五方面為用于促使信息處理裝置執(zhí)行信息處理的程序，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，數(shù)據(jù)處理單元在顯示單元上顯示虛擬對(duì)象，虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，以及程序使數(shù)據(jù)處理單元：輸入虛擬對(duì)象顯示控制數(shù)據(jù)，虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及從成像單元拍攝的圖像中檢測(cè)錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定成像單元在虛擬三維空間中的位置、計(jì)算注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，顯示單元坐標(biāo)系作為顯示單元的坐標(biāo)系。

順便提及，本公開的程序?yàn)榭梢杂捎?jì)算機(jī)可讀形式的存儲(chǔ)介質(zhì)或通信介質(zhì)提供給例如能夠執(zhí)行各種程序代碼的信息處理裝置或計(jì)算機(jī)系統(tǒng)的程序。通過以計(jì)算機(jī)可讀形式提供程序，根據(jù)該程序的過程在信息處理裝置或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)。

本公開的其它目的、特征和優(yōu)點(diǎn)將通過參考稍后描述的本公開的示例和附圖的更詳細(xì)的解釋來闡明。順便提及，本文所述的系統(tǒng)為多個(gè)裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。

本發(fā)明的效果

根據(jù)本公開的示例的配置，可以實(shí)現(xiàn)一種裝置和方法，通過該裝置和方法將注冊(cè)信息設(shè)置點(diǎn)(POI)轉(zhuǎn)換至坐標(biāo)系，其中，在原點(diǎn)的信息處理裝置的位置與真實(shí)三維空間中的真實(shí)對(duì)象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊(cè)信息。

具體地，記錄作為通過拍攝真實(shí)對(duì)象獲得的參考圖像的錨點(diǎn)以及該錨點(diǎn)和注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)中的位置信息(位置、方向等)的顯示控制數(shù)據(jù)被輸入，從拍攝圖像檢測(cè)該錨點(diǎn)、確定信息裝置在虛擬三維空間中的位置、在終端坐標(biāo)系中的三維位置和顯示裝置在二維坐標(biāo)系中的顯示位置根據(jù)所確定的三維位置和被記錄在顯示控制數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)的位置信息來計(jì)算以及點(diǎn)位置被顯示。

根據(jù)該配置，可以實(shí)現(xiàn)一種裝置和方法，通過該裝置和方法將注冊(cè)信息設(shè)置點(diǎn)(POI)轉(zhuǎn)換至坐標(biāo)系，其中，信息處理裝置的位置在原點(diǎn)與真實(shí)三維空間中的真實(shí)對(duì)象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊(cè)信息。

順便提及，本文所述的有益效果不是限制性的而僅是示例，并且本公開可具有另外的有益效果。

附圖說明

圖1為描述包括執(zhí)行本公開的過程的信息處理裝置(用戶終端)的系統(tǒng)的配置示例的示意圖。

圖2的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖3的(a)和3(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖4的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。

圖5為描述在包括執(zhí)行本公開的過程的信息處理裝置(用戶終端)的系統(tǒng)的構(gòu)成元件之間的過程序列的示意圖。

圖6為描述被保持在搜索服務(wù)器中的數(shù)據(jù)的配置示例的示意圖。

圖7為描述由信息提供服務(wù)器所提供的HTML數(shù)據(jù)的示例的示意圖。

圖8的(a)和(b)為描述參考真實(shí)對(duì)象和注冊(cè)信息設(shè)置點(diǎn)的示意圖。

圖9為描述由信息提供服務(wù)器所提供的顯示控制程序(JavaScript(注冊(cè)商標(biāo)))的示例的示意圖。

圖10為用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)和顯示虛擬對(duì)象的過程序列的流程圖。

圖11為用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)和顯示虛擬對(duì)象的過程序列的流程圖。

圖12為用于設(shè)置定位處理對(duì)象的過程序列的流程圖。

圖13為基于虛擬對(duì)象顯示事件的檢測(cè)顯示虛擬對(duì)象的過程序列的流程圖。

圖14為用于檢測(cè)虛擬對(duì)象顯示更新事件并進(jìn)行通知的過程序列的流程圖。

圖15為用于檢測(cè)虛擬對(duì)象顯示更新事件并進(jìn)行通知的過程序列的流程圖。

圖16為示出虛擬對(duì)象的特定顯示示例的示意圖。

圖17為示出虛擬對(duì)象的特定顯示示例的示意圖。

圖18為示出信息處理裝置的配置示例的示意圖。

圖19為示出信息處理裝置的配置示例的示意圖。

圖20為示出服務(wù)器的配置示例的示意圖。

具體實(shí)施方式

下面將參照附圖詳細(xì)描述本公開的信息處理裝置、信息處理方法和程序。順便提及，將按照以下順序給出描述：

1.關(guān)于本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例

2.關(guān)于通信過程和圖像顯示過程的細(xì)節(jié)

3.關(guān)于用于判定注冊(cè)信息設(shè)置點(diǎn)(POI)位置識(shí)別標(biāo)記的顯示位置的過程

4.關(guān)于由信息處理裝置執(zhí)行的過程序列

4-1.用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)并顯示虛擬對(duì)象的過程

4-2.用于設(shè)置定位處理對(duì)象的過程

4-3.基于對(duì)虛擬對(duì)象顯示事件的檢測(cè)來顯示虛擬對(duì)象的過程

4-4.用于三維位置確定的過程

5.關(guān)于作為用于啟動(dòng)顯示虛擬對(duì)象或更新顯示的觸發(fā)的事件

6.關(guān)于信息處理裝置和服務(wù)器的配置示例

7.本公開的配置的概述

【1.關(guān)于本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例】

首先，將參考圖1來描述本公開的信息處理裝置和包括該信息處理裝置的系統(tǒng)的配置示例。

圖1為示出包括本公開的信息處理裝置的通信系統(tǒng)的配置示例的示意圖。

信息處理裝置(用戶終端)10為能夠由用戶攜帶的通信終端，諸如智能電話或眼鏡型終端。

信息處理裝置(用戶終端)10包括通信單元、相機(jī)(成像單元)和顯示單元，并且具有在顯示單元上顯示相機(jī)拍攝圖像并且在顯示單元上的拍攝圖像上疊加和顯示經(jīng)由通信單元接收到的信息的功能。

信息處理裝置10在顯示單元上顯示相機(jī)拍攝的圖像。在顯示單元上的顯示圖像為由相機(jī)當(dāng)前拍攝的實(shí)時(shí)拍攝圖像。順便提及，本公開的過程適用于先前拍攝并存儲(chǔ)在存儲(chǔ)器中的圖像被讀取并在顯示單元上顯示的情況。然而，在下面描述的示例中，當(dāng)前拍攝的圖像在顯示單元上顯示。順便提及，拍攝圖像可以記錄在或可以不記錄在諸如介質(zhì)的存儲(chǔ)單元中。

信息處理裝置10的相機(jī)(成像單元)和顯示單元可由不同的裝置實(shí)現(xiàn)，并且被配置為通過通信一體地操作。

經(jīng)由通信一體地操作的配置可以被實(shí)現(xiàn)為使得由附接到用戶頭部的相機(jī)(成像單元)拍攝的運(yùn)動(dòng)圖像以及位置和方向信息經(jīng)由例如Wi-Fi被傳送至智能電話(顯示單元)。

本公開的過程也可適用于信息處理裝置10為一個(gè)物理裝置的情況和信息處理裝置10由多個(gè)裝置經(jīng)由通信形成的情況。

當(dāng)在顯示單元上顯示拍攝圖像時(shí)，信息處理裝置10接收從信標(biāo)發(fā)送器20輸出的信標(biāo)，信標(biāo)發(fā)送器20由例如無線LAN或藍(lán)牙中的接入點(diǎn)(AP)組成。

信標(biāo)為存儲(chǔ)信標(biāo)發(fā)送器20的標(biāo)識(shí)符(ID)的包。

信息處理裝置10經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)30將從信標(biāo)發(fā)送器20接收到的信標(biāo)傳送至搜索服務(wù)器40。

在接收到從信息處理裝置10傳送的信標(biāo)時(shí)，搜索服務(wù)器40基于標(biāo)識(shí)符獲取與被包含在所接收的信標(biāo)中的信標(biāo)發(fā)送器標(biāo)識(shí)符(ID)相對(duì)應(yīng)注冊(cè)的接入信息(URL)，并且將該接入信息發(fā)送至信息處理裝置10。

接入信息(URL)為用于獲取關(guān)于信標(biāo)發(fā)送器20附近的信息注冊(cè)點(diǎn)的位置信息以及包括注冊(cè)信息等的數(shù)據(jù)的接入信息。

順便提及，在網(wǎng)頁上提供的地圖數(shù)據(jù)中，例如，注冊(cè)信息設(shè)置點(diǎn)(興趣點(diǎn)(POI))被設(shè)置為估計(jì)吸引來自許多人的興趣的點(diǎn)，諸如旅游景點(diǎn)和地標(biāo)。接入信息(URL)為用于獲取包括關(guān)于注冊(cè)信息設(shè)置點(diǎn)(POI)的位置信息、注冊(cè)信息等的顯示控制數(shù)據(jù)的接入信息。

信息處理裝置10使用接入信息(URL)從信息提供服務(wù)器50獲取顯示控制數(shù)據(jù)，并且在顯示單元上的拍攝圖像上疊加和顯示與被包含在所獲取的顯示控制數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)(POI)相對(duì)應(yīng)的注冊(cè)信息等。

也就是說，信息處理裝置10在由相機(jī)(成像單元)拍攝并在顯示單元上顯示的真實(shí)對(duì)象上疊加和顯示從信息提供服務(wù)器50獲取的關(guān)于POI的位置信息和作為虛擬對(duì)象的注冊(cè)信息。

信息提供服務(wù)器50提供POI顯示控制數(shù)據(jù)，諸如關(guān)于在區(qū)域中的各種位置的各種設(shè)施的位置信息以及關(guān)于該設(shè)施的指南信息。信息提供服務(wù)器50包括注冊(cè)信息在其中被注冊(cè)的數(shù)據(jù)庫，并且基于數(shù)據(jù)庫信息生成顯示控制數(shù)據(jù)。信息提供服務(wù)器50根據(jù)包含在來自信息終端10的請(qǐng)求中的URL，返回相關(guān)的顯示控制數(shù)據(jù)。

信息處理裝置10使用由搜索服務(wù)器40所選的接入信息(URL)，從信息提供服務(wù)器50獲取POI顯示控制數(shù)據(jù)。

信息處理裝置10使用POI顯示控制數(shù)據(jù)將POI位置和關(guān)于在信標(biāo)發(fā)送器20的安裝場所附近的各種設(shè)施的注冊(cè)信息疊加并顯示在顯示單元上顯示的相機(jī)拍攝圖像上。

將參考圖2的(a)和(b)來描述具體的過程示例。

圖2的(a)和圖2的(b)示出信息處理裝置(用戶終端)10在顯示單元上顯示相機(jī)拍攝圖像的示例。

順便提及，在下面的描述中，智能電話作為信息處理裝置(用戶終端)10的示例。然而，下面描述的示例也可以在除智能電話之外的各種用戶終端上執(zhí)行，諸如平板終端、PC、眼鏡型終端等。

圖2的(a)示出在旅游點(diǎn)包括城堡的真實(shí)世界中的風(fēng)景。攜帶信息處理裝置(用戶終端)10的用戶訪問旅游點(diǎn)的城堡，并且看到圖2的(a)所示的風(fēng)景。

用戶使用信息處理裝置(用戶終端)10的相機(jī)功能拍攝(a)真實(shí)世界圖像并在顯示單元上顯示所拍攝圖像。

顯示在顯示單元上的拍攝圖像是圖2的(b)所示的顯示圖像。

例如，在該狀態(tài)下，執(zhí)行上面參照?qǐng)D1所述的一系列過程。也就是說，執(zhí)行以下步驟(S01至S04)：

(S01)信息處理裝置10向搜索服務(wù)器40傳送從信標(biāo)發(fā)送器20(諸如圖2的(a)所示的真實(shí)世界中的近接入點(diǎn)(AP))接收到的信標(biāo)的標(biāo)識(shí)信息(ID)。

(S02)搜索服務(wù)器40基于該標(biāo)識(shí)信息向信息處理裝置10發(fā)送用于獲取包括關(guān)于信標(biāo)發(fā)送器20的鄰域的注冊(cè)信息的數(shù)據(jù)的接入信息(URL)。

(S03)信息處理裝置10使用從搜索服務(wù)器40接收到的接入信息(URL)，從信息提供服務(wù)器50獲取顯示控制數(shù)據(jù)，諸如關(guān)于信標(biāo)發(fā)送器20附近的設(shè)施的位置信息和注冊(cè)信息。

(S04)信息處理裝置10使用顯示控制數(shù)據(jù)，諸如關(guān)于從信息提供服務(wù)器50獲取的信標(biāo)發(fā)射器20附近的設(shè)施的位置信息和注冊(cè)信息，以在顯示單元上顯示的拍攝圖像上疊加和顯示表示設(shè)施的位置和的注冊(cè)信息的標(biāo)記作為虛擬對(duì)象。

執(zhí)行上述的一系列步驟。

作為執(zhí)行上述一系列步驟的結(jié)果，圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)示出在信息處理裝置10的顯示單元上顯示的顯示圖像的示例。

圖3的(a)示出在如上所述的圖2的(a)的情況下的真實(shí)世界中的風(fēng)景，以及圖3的(b)示出在執(zhí)行上述的一系列步驟(S01至S04)之后在信息處理裝置10的顯示單元上顯示的顯示圖像。

在步驟S03，從信息提供服務(wù)器50獲取的數(shù)據(jù)，即顯示控制數(shù)據(jù)，諸如關(guān)于在信標(biāo)發(fā)送器20附近的設(shè)施的位置信息和注冊(cè)信息包括關(guān)于在圖3的(a)中示出的真實(shí)世界中的下列兩個(gè)點(diǎn)的信息：

(1)關(guān)于注冊(cè)信息設(shè)置點(diǎn)A(POI-A)101的位置信息和注冊(cè)信息

(2)關(guān)于注冊(cè)信息設(shè)置點(diǎn)B(POI-B)102的位置信息和注冊(cè)信息。

圖3的(b)所示的顯示圖像為選擇(1)顯示有關(guān)于注冊(cè)信息設(shè)置點(diǎn)A(POI-A)101的位置信息和注冊(cè)信息的顯示圖像。

圖3的(b)所示的顯示圖像為在從信息提供服務(wù)器50獲取的顯示控制數(shù)據(jù)中描述的虛擬對(duì)象被疊加并顯示在作為拍攝圖像的真實(shí)對(duì)象上的圖像。

所顯示的虛擬對(duì)象為以下數(shù)據(jù)：

(1)點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111

(2)點(diǎn)A(POI-A)對(duì)應(yīng)注冊(cè)信息112

這些數(shù)據(jù)被顯示為虛擬對(duì)象。

如上所述，圖3的(b)所示的顯示圖像為基于從信息提供服務(wù)器50獲取的顯示控制數(shù)據(jù)生成的虛擬對(duì)象被疊加并顯示在作為拍攝圖像的真實(shí)對(duì)象上的圖像，即，增強(qiáng)現(xiàn)實(shí)(AR)圖像。

點(diǎn)A為票務(wù)中心。作為虛擬對(duì)象的點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111被疊加并顯示在作為真實(shí)對(duì)象的拍攝圖像中的票務(wù)中心的位置中。

點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111的顯示位置需要被設(shè)置在作為真實(shí)對(duì)象的拍攝圖像中的票務(wù)中心上。該顯示位置由信息處理裝置10使用從信息提供服務(wù)器獲取的數(shù)據(jù)來判定。順便提及，在信息處理裝置10上顯示的圖像為根據(jù)用戶的運(yùn)動(dòng)而變化的實(shí)時(shí)相機(jī)拍攝圖像。點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111的顯示位置也需要根據(jù)所顯示的拍攝圖像(真實(shí)對(duì)象)的運(yùn)動(dòng)來更新。顯示位置控制也由信息處理裝置10執(zhí)行。

在由信息處理裝置10執(zhí)行的顯示控制下，作為虛擬對(duì)象的點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111的顯示位置被正確地放置在作為真實(shí)對(duì)象的拍攝圖像中的票務(wù)中心上。

后面將描述顯示控制的具體步驟。

此外，作為另一虛擬對(duì)象的點(diǎn)A(POI-A)對(duì)應(yīng)注冊(cè)信息112也被疊加和顯示在作為真實(shí)對(duì)象的拍攝圖像上。

點(diǎn)A(POI-A)對(duì)應(yīng)注冊(cè)信息112包括關(guān)于對(duì)應(yīng)于注冊(cè)信息設(shè)置點(diǎn)A的票務(wù)中心的各種信息。如附圖所示，關(guān)于在票務(wù)中心的開放時(shí)間和費(fèi)用等的信息被顯示。信息被記錄在信息提供服務(wù)器50的數(shù)據(jù)庫中，并且被包含在根據(jù)由搜索服務(wù)器40所提供的URL所獲取的或顯示控制數(shù)據(jù)中或基于該顯示控制數(shù)據(jù)來獲取。

圖4的(a)和圖4的(b)為示出使用關(guān)于另一點(diǎn)B的信息的顯示圖像示例的示意圖，即：

(2)關(guān)于注冊(cè)信息設(shè)置點(diǎn)B(POI-B)102的位置信息和注冊(cè)信息。

圖4的(a)示出在真實(shí)世界中的風(fēng)景，以及圖4的(b)示出在執(zhí)行上述的一系列步驟(S01至S04)之后在信息處理裝置10的顯示單元上顯示的顯示圖像。

圖4的(b)所示的顯示圖像為作為從信息提供服務(wù)器50獲取的顯示數(shù)據(jù)的虛擬對(duì)象被疊加并顯示在作為拍攝圖像的真實(shí)對(duì)象上的圖像。

所顯示的虛擬對(duì)象為如下數(shù)據(jù)：

(1)點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121

(2)點(diǎn)B(POI-B)對(duì)應(yīng)注冊(cè)信息122

這些數(shù)據(jù)被顯示為虛擬對(duì)象。

如上所述，圖4的(b)所示的顯示圖像為基于從信息提供服務(wù)器50獲取的數(shù)據(jù)生成的虛擬對(duì)象被疊加并顯示在作為拍攝圖像的真實(shí)對(duì)象上的圖像，即，增強(qiáng)現(xiàn)實(shí)(AR)圖像。

點(diǎn)B表示城堡的入口，以及點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121作為虛擬對(duì)象被疊加并顯示在作為真實(shí)對(duì)象的拍攝圖像的入口位置上。

點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121的顯示位置需要被設(shè)置在作為真實(shí)對(duì)象的拍攝圖像中的城堡入口上。該顯示位置由信息處理裝置10使用從信息提供服務(wù)器獲取的數(shù)據(jù)來判定和控制。具體地，信息處理裝置10根據(jù)在顯示單元上顯示的拍攝圖像(真實(shí)對(duì)象)的運(yùn)動(dòng)來更新點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121的顯示位置。

在由信息處理裝置10執(zhí)行的顯示控制下，作為虛擬對(duì)象的點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121的顯示位置總是被設(shè)置在作為真實(shí)對(duì)象的拍攝圖像中的入口上。

后面將描述顯示控制的具體步驟。

此外，作為另一虛擬對(duì)象的點(diǎn)B(POI-B)對(duì)應(yīng)注冊(cè)信息122也被疊加和顯示在作為真實(shí)對(duì)象的拍攝圖像上。

點(diǎn)B(POI-B)對(duì)應(yīng)注冊(cè)信息122包括關(guān)于對(duì)應(yīng)于注冊(cè)信息設(shè)置點(diǎn)B的城堡入口的各種信息。如附圖所示，諸如入口的開放時(shí)間的信息、租借引導(dǎo)終端的信息、休息室位置信息等被顯示。該信息被記錄在信息提供服務(wù)器50的數(shù)據(jù)庫中，并且根據(jù)由搜索服務(wù)器40所提供的URL來獲取。

【2.關(guān)于通信過程和圖像顯示過程的細(xì)節(jié)】

圖5為描述在圖1中示出的裝置之間執(zhí)行的通信序列和由信息處理裝置(用戶終端)10執(zhí)行的增強(qiáng)現(xiàn)實(shí)圖像(真實(shí)對(duì)象和虛擬對(duì)象的疊加圖像)的顯示過程序列的序列圖。

圖5從左側(cè)示出信標(biāo)發(fā)送器20、信息處理裝置(用戶終端)10、搜索服務(wù)器40和信息提供服務(wù)器50。

下面將依次描述該過程步驟。

(步驟S101)

首先，在步驟S101，信標(biāo)發(fā)送器20輸出信標(biāo)以及信息處理裝置10接收該信標(biāo)。如上所述，信標(biāo)為存儲(chǔ)信標(biāo)發(fā)送器20的標(biāo)識(shí)符(ID)等的數(shù)據(jù)包。

(步驟S102)

信息處理裝置10將從信標(biāo)發(fā)送器20接收到的信標(biāo)傳送至搜索服務(wù)器40。

(步驟S103)

搜索服務(wù)器40接收從信息處理裝置10所傳送的信標(biāo)，并基于包含在該信標(biāo)中的信標(biāo)發(fā)送器20的標(biāo)識(shí)符(ID)搜索數(shù)據(jù)庫以提取用于獲取包括關(guān)于信標(biāo)發(fā)送器20的鄰域的注冊(cè)信息的數(shù)據(jù)的接入信息(URL)。

圖6示出被存儲(chǔ)在搜索服務(wù)器40的數(shù)據(jù)庫中的數(shù)據(jù)的示例。搜索服務(wù)器40在數(shù)據(jù)庫(存儲(chǔ)單元)中存儲(chǔ)例如在圖6中描述的數(shù)據(jù)。

如圖6所示的數(shù)據(jù)由下面兩種數(shù)據(jù)的對(duì)應(yīng)列表組成：

信標(biāo)發(fā)送器標(biāo)識(shí)符(ID)；以及

用于獲取信標(biāo)發(fā)送器鄰域設(shè)施信息的URL。

搜索服務(wù)器40接收從信息處理裝置10所傳送的信標(biāo)，并例如基于包含在該信標(biāo)中的信標(biāo)發(fā)送器20的標(biāo)識(shí)符(ID)，搜索如圖6所述的數(shù)據(jù)配置的列表。

通過該列表搜索，搜索服務(wù)器40獲取與包含在從信息處理裝置10所傳送的信標(biāo)中的信標(biāo)發(fā)送器20的標(biāo)識(shí)符(ID)相關(guān)聯(lián)的接入信息(URL)。

接入信息(URL)為用于獲取包括關(guān)于信標(biāo)發(fā)送器20的鄰域的注冊(cè)信息的數(shù)據(jù)的接入信息(URL)。

(步驟S104)

接下來，在步驟S104，搜索服務(wù)器40向信息處理裝置10發(fā)送通過在步驟S103的搜索獲取的接入信息(URL)。

(步驟S105)

信息處理裝置10使用從搜索服務(wù)器40接收到的接入信息(URL)以從信息提供服務(wù)器50獲取包括關(guān)于信標(biāo)發(fā)送器20附近的設(shè)施的位置信息和注冊(cè)信息的數(shù)據(jù)(虛擬對(duì)象顯示控制數(shù)據(jù))。

從信息提供服務(wù)器50向信息處理裝置10所傳送的數(shù)據(jù)包括被疊加和顯示在作為在信息處理裝置10的顯示單元上顯示的真實(shí)對(duì)象的相機(jī)拍攝圖像上的虛擬對(duì)象的真實(shí)狀態(tài)數(shù)據(jù)和用于真實(shí)狀態(tài)數(shù)據(jù)的顯示控制信息。該數(shù)據(jù)在下文中將被稱為虛擬對(duì)象顯示控制數(shù)據(jù)。

具體地，虛擬對(duì)象顯示控制數(shù)據(jù)由下面的數(shù)據(jù)等組成：

(1)超文本標(biāo)記語言(HTML)

(2)級(jí)聯(lián)樣式表(CSS)

(3)JavaScript(注冊(cè)商標(biāo))。

HTML為表示在信息處理裝置10的顯示單元上顯示的虛擬對(duì)象的基本結(jié)構(gòu)的數(shù)據(jù)。雖然存在各種HTML數(shù)據(jù)，但是例如HTML 5是可用的。

CSS為定義由HTML定義的虛擬對(duì)象配置數(shù)據(jù)的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置10的顯示單元上顯示的虛擬對(duì)象的樣式的數(shù)據(jù)。

JavaScript(注冊(cè)商標(biāo))為定義用于顯示虛擬對(duì)象的過程、用于更新顯示的過程或用于移動(dòng)并更新虛擬對(duì)象的過程的顯示控制程序。例如，它為用于執(zhí)行顯示控制，諸如根據(jù)用戶在顯示對(duì)象上觸摸和點(diǎn)擊的此類事件或根據(jù)各種背景(情形)諸如在觸發(fā)后逝去預(yù)定時(shí)間段的事件對(duì)所顯示的信息采取各種行為，包括改變虛擬對(duì)象的顯示模式的顯示控制程序。

如上所述，信息提供服務(wù)器50向信息處理裝置10提供具有以下數(shù)據(jù)的虛擬對(duì)象顯示控制數(shù)據(jù)：

(1)超文本標(biāo)記語言(HTML)

(2)級(jí)聯(lián)樣式表(CSS)

(3)JavaScript(注冊(cè)商標(biāo))

虛擬對(duì)象顯示控制數(shù)據(jù)為由一個(gè)URL獲取的數(shù)據(jù)，以及HTML根據(jù)由搜索服務(wù)器40基于包含在信標(biāo)發(fā)送器20的信標(biāo)中的信標(biāo)發(fā)送器標(biāo)識(shí)符(ID)所選的接入信息(URL)來獲取。此外，由HTML參考的CSS和JavaSciript是可獲取的。

也就是說，具有作為組件的HTML、CSS和JavaScript(注冊(cè)商標(biāo))的虛擬對(duì)象顯示控制數(shù)據(jù)包括關(guān)于在真實(shí)世界三維空間中的一個(gè)特定信標(biāo)發(fā)送器20附近的各種設(shè)施的位置信息和指南信息，并且被用于顯示虛擬對(duì)象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記和點(diǎn)對(duì)應(yīng)注冊(cè)信息并執(zhí)行顯示控制。

該數(shù)據(jù)的細(xì)節(jié)將在后面描述。

(步驟S106)

信息處理裝置10基于在步驟S106的URL和相機(jī)拍攝圖像，使用關(guān)于被記錄在從信息提供服務(wù)器50獲取的數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)的位置信息(虛擬對(duì)象顯示控制數(shù)據(jù))來計(jì)算在顯示屏上的點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置。

也就是說，如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述，信息處理裝置10根據(jù)諸如作為在作為真實(shí)對(duì)象的拍攝圖像中的注冊(cè)信息設(shè)置點(diǎn)的票務(wù)中心、入口等的真實(shí)對(duì)象，執(zhí)行顯示位置判定過程以顯示作為虛擬對(duì)象的點(diǎn)位置標(biāo)識(shí)標(biāo)記。

在顯示位置判定過程中，作為預(yù)拍攝參考圖像的錨點(diǎn)和虛擬三維空間中的注冊(cè)信息設(shè)置點(diǎn)的位置信息被記錄在從信息提供服務(wù)器50獲取的數(shù)據(jù)(虛擬對(duì)象顯示控制數(shù)據(jù))中并且相機(jī)拍攝圖像被使用。

后面將描述顯示位置判定過程的具體步驟。

(步驟S107)

最終，在步驟S107，信息處理裝置10在步驟S106所計(jì)算的顯示位置中顯示點(diǎn)位置標(biāo)識(shí)標(biāo)記，并且另外顯示設(shè)施點(diǎn)對(duì)應(yīng)注冊(cè)信息。

顯示結(jié)果例如為上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像。

順便提及，在上述過程示例中，搜索服務(wù)器40基于從信息處理裝置10傳送的信標(biāo)來提供用于獲取關(guān)于信標(biāo)裝置20的鄰域的信息的接入信息(URL)。可替換地，搜索服務(wù)器40可被配置為使用除信標(biāo)之外的數(shù)據(jù)。

例如，可以將作為由信息處理裝置10拍攝的圖像的縮小版本的縮略圖和圖像特征量數(shù)據(jù)發(fā)送到搜索服務(wù)器40，使得搜索服務(wù)器40可以確定與該縮略圖和圖像特征量數(shù)據(jù)相對(duì)應(yīng)的位置并提供用于獲取關(guān)于所確定的位置的鄰域的信息的顯示控制數(shù)據(jù)的接入信息(URL)。

在此情況下，搜索服務(wù)器40被配置為在存儲(chǔ)單元中存儲(chǔ)各個(gè)位置的拍攝圖像和接入信息的對(duì)應(yīng)列表。另外，拍攝圖像不限于位置的圖像，而是可以包括書或海報(bào)的圖像?；趶男畔⑻幚硌b置10接收到的數(shù)據(jù)，搜索服務(wù)器40選擇包括匹配于存儲(chǔ)單元中的對(duì)應(yīng)列表中的數(shù)據(jù)的圖像的拍攝圖像，并且向信息處理裝置10提供對(duì)應(yīng)于該圖像設(shè)置的用于POI顯示控制數(shù)據(jù)的接入信息(URL)。

可替換地，信息處理裝置10可讀出被記錄在各個(gè)位置的設(shè)施中的標(biāo)記或QR碼(注冊(cè)商標(biāo))，并將所讀出的數(shù)據(jù)發(fā)送至搜索服務(wù)器40，使得搜索服務(wù)器40可以基于所接收到的數(shù)據(jù)搜索數(shù)據(jù)庫并提供用于獲取關(guān)于所接收到的標(biāo)記或QR碼(注冊(cè)商標(biāo))被記錄的位置的鄰域的信息的接入信息(URL)。

在此情況下，搜索服務(wù)器40將被記錄在各個(gè)位置的標(biāo)記或QR碼(注冊(cè)商標(biāo))的對(duì)應(yīng)列表和接入信息存儲(chǔ)在存儲(chǔ)單元中、基于從信息處理裝置10接收到的標(biāo)記或QR碼(注冊(cè)商標(biāo))執(zhí)行數(shù)據(jù)搜索并且向信息處理裝置10提供所記錄的對(duì)應(yīng)于標(biāo)記或QR碼(注冊(cè)商標(biāo))的接入信息(URL)?！?.關(guān)于用于判定注冊(cè)信息設(shè)置點(diǎn)(POI)位置識(shí)別標(biāo)記的顯示位置的過程】

接下來，將描述用于判定注冊(cè)信息設(shè)置點(diǎn)(POI)位置識(shí)別標(biāo)記的顯示位置的過程。

如上面參考圖5的序列圖所述，信息處理裝置10基于由搜索服務(wù)器所提供的接入信息(URL)從信息提供服務(wù)器50獲取虛擬對(duì)象顯示控制數(shù)據(jù)。此外，信息處理裝置10使用虛擬對(duì)象顯示控制數(shù)據(jù)和相機(jī)拍攝圖像來計(jì)算點(diǎn)位置標(biāo)識(shí)標(biāo)記在顯示屏幕上的顯示位置。

下面將描述用于判定由信息處理裝置10執(zhí)行的點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置的過程。

圖7為示出根據(jù)由搜索服務(wù)器所提供的接入信息(URL)被包含在從信息提供服務(wù)器50獲取的數(shù)據(jù)(虛擬對(duì)象顯示控制數(shù)據(jù))中的HTML數(shù)據(jù)的一部分的示意圖。

圖7中描述的HTML數(shù)據(jù)包括信息處理裝置10用來執(zhí)行用于判定點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置的過程的數(shù)據(jù)。

圖7中描述的數(shù)據(jù)為用于判定上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所描述的后續(xù)點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置的HTML數(shù)據(jù)的示例：

點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記111

點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記121

圖7中描述的HTML數(shù)據(jù)記錄預(yù)拍攝參考圖像和被包含在參考圖像中的關(guān)于真實(shí)對(duì)象和注冊(cè)信息設(shè)置點(diǎn)的相對(duì)位置的信息。

如圖7所示，圖7的HTML數(shù)據(jù)記錄以下數(shù)據(jù)：

(1)第一參考真實(shí)對(duì)象信息

(2)第二參考真實(shí)對(duì)象信息

(3)點(diǎn)A對(duì)應(yīng)信息

(4)點(diǎn)B對(duì)應(yīng)信息

參考真實(shí)對(duì)象信息(1)和(2)將參考圖8的(a)和圖8的(b)來描述。

參考真實(shí)對(duì)象為存在于真實(shí)世界中并且位于注冊(cè)信息設(shè)置點(diǎn)附近的真實(shí)對(duì)象。參考真實(shí)對(duì)象構(gòu)成用于計(jì)算注冊(cè)信息設(shè)置點(diǎn)的位置的參考位置，并且被稱為錨點(diǎn)或錨點(diǎn)對(duì)象。參考對(duì)象的拍攝圖像被稱為錨點(diǎn)圖像。錨點(diǎn)圖像僅被用作用于計(jì)算位置的參考，并且可以不必與POI相關(guān)聯(lián)。然而，錨點(diǎn)圖像可包括POI。為了提高參考位置的檢測(cè)精度，期望使用真實(shí)空間中的特征對(duì)象的圖像。另外，可以通過使用在真實(shí)空間中在各種位置和以各種角度拍攝的多個(gè)錨點(diǎn)圖像來進(jìn)一步提高參考位置的檢測(cè)精度。這使得即使當(dāng)用戶終端移動(dòng)或旋轉(zhuǎn)時(shí)也能夠進(jìn)行位置檢測(cè)。

將參考圖8的(a)和圖8的(b)來描述參考真實(shí)對(duì)象的示例。

圖8的(a)和圖8的(b)示出城堡的真實(shí)對(duì)象和存在于真實(shí)世界中的其它對(duì)象。

圖中所示的坐標(biāo)軸(XYZ)為在定義在三維位置中的真實(shí)世界中的真實(shí)對(duì)象之間的位置關(guān)系的虛擬三維空間坐標(biāo)中的坐標(biāo)軸。它們不是像GPS那樣的絕對(duì)位置坐標(biāo)，而是可以任意設(shè)置在虛擬三維空間坐標(biāo)中的原點(diǎn)的位置的局部坐標(biāo)。

如圖8的(a)和圖8的(b)所示，第一參考真實(shí)對(duì)象201為由包括城堡的上部的區(qū)域組成的真實(shí)對(duì)象。

另外，第二參考真實(shí)對(duì)象202為由包括城堡的入口的區(qū)域組成的真實(shí)對(duì)象。

這些參考真實(shí)對(duì)象被用于確定真實(shí)世界中的參考真實(shí)對(duì)象是否對(duì)應(yīng)于虛擬三維空間坐標(biāo)中的位置，并且被用戶終端用來確定虛擬三維空間坐標(biāo)并判定虛擬三維空間坐標(biāo)中的點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置。

關(guān)于參考真實(shí)對(duì)象的信息被預(yù)先注冊(cè)在由信息提供服務(wù)器50所提供的HTML數(shù)據(jù)中。具體地，參考真實(shí)對(duì)象信息包括以下信息：

(1)參考圖像＝參考真實(shí)對(duì)象的拍攝圖像(錨點(diǎn)圖像)(錨點(diǎn).png)

(2)被包含在參考圖像中的參考真實(shí)對(duì)象的位置信息(位置：表示參考真實(shí)對(duì)象在三維真實(shí)空間中的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))

(3)被包含在參考圖像中的參考真實(shí)對(duì)象的方向信息(旋轉(zhuǎn)：表示參考真實(shí)對(duì)象的姿勢(shì)的信息)。該方向一般可以用歐拉角表示。在該示例中，方向由在3D圖形中頻繁使用的四元數(shù)(x,y,z:w)數(shù)據(jù)表示。

(4)關(guān)于參考圖像的面積(尺寸)信息(尺寸：橫向長度和縱向長度)。

(5)在虛擬三維空間中的坐標(biāo)單位和在真實(shí)空間中的3D坐標(biāo)單位(單位：米或千米)之間的參考圖像的轉(zhuǎn)換。

(1)參考圖像＝參考真實(shí)對(duì)象的拍攝圖像(錨點(diǎn).png)為例如圖8的(b)所示的圖像201p和202p。

(2)在被包含在參考圖像中的參考真實(shí)對(duì)象的位置信息中所使用的坐標(biāo)(表示在三維真實(shí)空間中的參考真實(shí)對(duì)象的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))為例如世界坐標(biāo)系中的坐標(biāo)。表示參考真實(shí)對(duì)象的位置的坐標(biāo)和表示點(diǎn)對(duì)應(yīng)信息的位置的坐標(biāo)在相同的坐標(biāo)空間中。

(3)至于被包含在參考圖像中的參考真實(shí)對(duì)象的方向信息，關(guān)于參考真實(shí)對(duì)象的方向信息和點(diǎn)對(duì)應(yīng)信息為關(guān)于相同參考點(diǎn)的方向信息。

在圖7中描述的HTML數(shù)據(jù)中，關(guān)于第一參考真實(shí)對(duì)象201的參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)包括以下數(shù)據(jù)：

<span typeof＝‘a(chǎn)nchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘152,44,37’/>

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘a(chǎn)nchor1.png’/>

</span>

上述數(shù)據(jù)的含義如下：

<span property＝‘unit’content＝‘1m’/>

該數(shù)據(jù)指示數(shù)據(jù)單位和后續(xù)圖的單位為一米：

<span property＝‘position’content＝‘152,44,37’/>

這是(2)被包含在上述參考圖像中的參考真實(shí)對(duì)象的位置信息(表示參考真實(shí)對(duì)象在三維真實(shí)空間中的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))。

該數(shù)據(jù)指示(X,Y,Z)＝(152,44,37)。它等同于例如參考真實(shí)對(duì)象的中心位置的坐標(biāo)。

<span property＝‘rotation’content＝‘63,44,99,3.3’/>

這是(3)被包含在上述參考圖像中的關(guān)于參考真實(shí)對(duì)象的方向信息四元數(shù)(x,y,z:w)。該數(shù)據(jù)指示(x,y,z:w)＝(63,44,99,3.3)。

<span property＝‘dimension’content＝‘13,7’/>

這是(4)上述的參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

具體地，該數(shù)據(jù)指示第一參考圖像為對(duì)應(yīng)于13m寬和7m長的真實(shí)世界面積的圖像。

<span property＝‘src’content＝‘a(chǎn)nchor1.png’/>

這是(1)參考圖像＝參考真實(shí)對(duì)象的拍攝錨點(diǎn)圖像(錨點(diǎn)1.png)。

例如，這是例如在圖8的(b)中示出的圖像201p。

圖7中描述的HTML數(shù)據(jù)還記錄作為關(guān)于第二參考真實(shí)對(duì)象202的參考真實(shí)對(duì)象信息(第二錨點(diǎn)信息)的以下數(shù)據(jù)：

<span typeof＝‘a(chǎn)nchor’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘173,43,44’/>

<span property＝‘rotation’content＝‘70,88,34,4.3’/>

<span property＝‘dimension’content＝‘13,7’/>

<span property＝‘src’content＝‘a(chǎn)nchor2.png’/>

</span>

上述數(shù)據(jù)的含義類似于關(guān)于第一參考真實(shí)對(duì)象201的參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)的含義。

順便提及，在圖7的示例中，存在兩個(gè)單位的參考真實(shí)對(duì)象信息(錨點(diǎn)信息)。然而，這是示例，并且可以在HTML數(shù)據(jù)中記錄任意數(shù)量的參考真實(shí)對(duì)象信息(錨點(diǎn)信息)的單位。

此外，圖7中描述的HTML數(shù)據(jù)還記錄關(guān)于注冊(cè)信息設(shè)置點(diǎn)，即圖8的(a)和圖8的(b)中所示的以下注冊(cè)信息設(shè)置點(diǎn)的信息：

(a)注冊(cè)信息設(shè)置點(diǎn)A(POI-A)211

(b)注冊(cè)信息設(shè)置點(diǎn)B(POI-B)212。

具體地，注冊(cè)以下點(diǎn)對(duì)應(yīng)信息：

(1)與注冊(cè)信息設(shè)置點(diǎn)相關(guān)聯(lián)的注冊(cè)信息

(2)關(guān)于注冊(cè)信息設(shè)置點(diǎn)的位置信息(表示三維真實(shí)空間中的注冊(cè)信息設(shè)置點(diǎn)的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))

(3)關(guān)于注冊(cè)信息設(shè)置點(diǎn)的方向信息(指示來自特定參考點(diǎn)，例如已經(jīng)拍攝了參考圖像的相機(jī)的注冊(cè)信息設(shè)置點(diǎn)的方向的信息)

(1)與注冊(cè)信息設(shè)置點(diǎn)相關(guān)聯(lián)的注冊(cè)信息為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點(diǎn)對(duì)應(yīng)注冊(cè)信息112和122的信息)。

例如，在如圖7所示的HTML數(shù)據(jù)中，關(guān)于注冊(cè)信息設(shè)置點(diǎn)A(POI-A)211的點(diǎn)對(duì)應(yīng)信息包括以下數(shù)據(jù)：

<div typeof＝‘poi’resource＝‘#poi-a’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘163,43,32’/>

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

<！–html elements of poi-a--->

</div>

上述數(shù)據(jù)的含義如下：

<span property＝‘unit’content＝‘1m’/>

該數(shù)據(jù)指示數(shù)據(jù)單位和后續(xù)圖的單位為一米：

<span property＝‘position’content＝‘163,43,32’/>

這是(2)關(guān)于注冊(cè)信息設(shè)置點(diǎn)的位置信息(表示三維真實(shí)空間中的注冊(cè)信息設(shè)置點(diǎn)的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))。

該數(shù)據(jù)指示(X,Y,Z)＝(163,43,32)。它等同于注冊(cè)信息設(shè)置點(diǎn)在三維真實(shí)空間中的位置坐標(biāo)。

順便提及，如上所述，用在這里的坐標(biāo)為例如在世界坐標(biāo)系中的坐標(biāo)。表示參考真實(shí)對(duì)象的位置的坐標(biāo)和表示點(diǎn)對(duì)應(yīng)信息的位置的坐標(biāo)在相同的坐標(biāo)空間中。

<span property＝‘rotation’content＝‘34,73,45,4.43’/>

這是(3)關(guān)于上述的注冊(cè)信息設(shè)置點(diǎn)的方向信息四元數(shù)(x,y,z:w)。該數(shù)據(jù)指示(x,y,z:w)＝(34,73,45,4.43)。

順便提及，如上所述，關(guān)于參考真實(shí)對(duì)象的方向信息和點(diǎn)對(duì)應(yīng)信息為相對(duì)于相同參考點(diǎn)的方向信息。

<！–html elements of poi-a--->

這是(1)與上述的注冊(cè)信息設(shè)置點(diǎn)相關(guān)聯(lián)的注冊(cè)信息，其為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點(diǎn)對(duì)應(yīng)注冊(cè)信息112和122的信息)。

如圖7所示的HTML數(shù)據(jù)另外記錄如關(guān)于注冊(cè)信息設(shè)置點(diǎn)B(POI-B)212的點(diǎn)對(duì)應(yīng)信息的以下數(shù)據(jù)：

<div typeof＝‘poi’resource＝‘#poi-b’>

<span property＝‘unit’content＝‘1m’/>

<span property＝‘position’content＝‘163,39,28’/>

<span property＝‘rotation’content＝‘34,70,41,4.53’/>

<！–html elements of poi-a--->

</div>

上述數(shù)據(jù)的含義與上述關(guān)于注冊(cè)信息設(shè)置點(diǎn)A(POI-A)211的點(diǎn)對(duì)應(yīng)信息的含義相同。

順便提及，在圖7的示例中，存在兩個(gè)單位的注冊(cè)信息設(shè)置點(diǎn)(POI)對(duì)應(yīng)信息。然而，這是示例，并且可以在HTML數(shù)據(jù)中記錄任意數(shù)量的單位的注冊(cè)信息設(shè)置點(diǎn)(POI)對(duì)應(yīng)信息。

如上所述，基于由搜索服務(wù)器所提供的接入信息(URL)從信息提供服務(wù)器50獲取的HTML數(shù)據(jù)(虛擬對(duì)象顯示控制數(shù)據(jù))記錄預(yù)拍攝參考圖像以及被包含在參考圖像中的關(guān)于錨點(diǎn)對(duì)象和在虛擬三維空間中的注冊(cè)信息設(shè)置點(diǎn)的位置信息。

具體地，HTML數(shù)據(jù)包括以下數(shù)據(jù)：

參考真實(shí)對(duì)象的拍攝參考圖像的數(shù)據(jù)；

包括被包含在參考圖像數(shù)據(jù)中的的參考真實(shí)對(duì)象的位置、方向等的三維位置和姿勢(shì)信息；和

包括注冊(cè)信息設(shè)置點(diǎn)的位置、方向等的三維位置和姿勢(shì)信息。

上述信息被信息處理裝置10用來執(zhí)行用于判定點(diǎn)位置識(shí)別標(biāo)記的顯示位置的過程。

在圖7的示例中，HTML記錄錨點(diǎn)對(duì)象信息和注冊(cè)設(shè)置點(diǎn)信息。另選地，HTML中的虛擬對(duì)象和注冊(cè)設(shè)置點(diǎn)信息可以彼此相關(guān)聯(lián)地以JavaScript(注冊(cè)商標(biāo))記錄。另選地，上述信息可以按照J(rèn)avaScript(注冊(cè)商標(biāo))從信息提供服務(wù)器50獲取為單獨(dú)的數(shù)據(jù)。因此，錨點(diǎn)對(duì)象信息和注冊(cè)點(diǎn)信息可以不必以HTML記錄。

由信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元執(zhí)行的過程執(zhí)行以下的過程步驟，例如：

信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元從信息提供服務(wù)器50輸入HTML數(shù)據(jù)(虛擬對(duì)象顯示控制數(shù)據(jù))，即記錄預(yù)拍攝參考圖像和關(guān)于被包含在虛擬3D空間坐標(biāo)中的參考圖像中的真實(shí)對(duì)象和注冊(cè)信息設(shè)置點(diǎn)的位置信息的HTML數(shù)據(jù)。

接下來，數(shù)據(jù)處理單元檢測(cè)顯示在顯示單元上的拍攝圖像中的、與被包含在參考圖像中的真實(shí)對(duì)象相同的真實(shí)對(duì)象(錨點(diǎn))。數(shù)據(jù)處理單元通過使用關(guān)于檢測(cè)到的真實(shí)對(duì)象(錨點(diǎn))的三維位置信息和被記錄在虛擬對(duì)象顯示控制數(shù)據(jù)中的相對(duì)位置信息來確定用戶終端上的位置信息。順便提及，數(shù)據(jù)處理單元執(zhí)行三維位置和姿勢(shì)信息分析處理以從拍攝圖像和參考圖像確定用戶終端的位置。該過程將在后面描述。此外，數(shù)據(jù)處理單元計(jì)算在以用戶終端作為原點(diǎn)的坐標(biāo)系中的注冊(cè)信息設(shè)置點(diǎn)的三維位置。

數(shù)據(jù)處理單元基于計(jì)算出的位置信息計(jì)算在顯示單元上顯示的拍攝圖像中的注冊(cè)信息設(shè)置點(diǎn)的顯示位置，并且在所計(jì)算的顯示位置中疊加并顯示作為虛擬對(duì)象的點(diǎn)位置標(biāo)識(shí)標(biāo)記。對(duì)于虛擬對(duì)象的疊加和顯示，CSS三維TRANSFORMS函數(shù)可以被用于三維顯示。

根據(jù)上述步驟，數(shù)據(jù)處理單元根據(jù)拍攝圖像中的注冊(cè)信息設(shè)置點(diǎn)顯示點(diǎn)位置標(biāo)識(shí)標(biāo)記。

順便提及，該過程步驟被記錄在由信息處理裝置10從信息提供服務(wù)器50獲取的JavaScript(注冊(cè)商標(biāo))中。

接下來，將參考圖9來描述作為由信息處理裝置10從信息提供服務(wù)器50獲取的虛擬對(duì)象顯示控制數(shù)據(jù)的一個(gè)部分的JavaScript(注冊(cè)商標(biāo))數(shù)據(jù)連同如圖7所述的HTML數(shù)據(jù)的配置示例。JavaScript(注冊(cè)商標(biāo))被用作虛擬對(duì)象的顯示控制程序。

圖9描述了基于由搜索服務(wù)器提供的接入信息(URL)從信息提供服務(wù)器50獲取的JavaScript(注冊(cè)商標(biāo))數(shù)據(jù)的一部分。

在圖9中描述的JavaScript(注冊(cè)商標(biāo))等同于記錄信息處理裝置10的過程步驟以判定點(diǎn)位置標(biāo)識(shí)標(biāo)記的顯示位置的處理程序。

將根據(jù)圖9中描述的過程步驟(S201至S209)按順序描述由信息處理裝置10的數(shù)據(jù)處理單元基于圖9中描述的JavaScript(注冊(cè)商標(biāo))執(zhí)行的過程。

(步驟S201)

首先，信息處理裝置10的數(shù)據(jù)處理單元輸入由信息處理裝置的相機(jī)拍攝的拍攝圖像輸入流。

拍攝圖像為當(dāng)前通過相機(jī)輸入的圖像數(shù)據(jù)。拍攝圖像被連續(xù)地顯示在顯示單元上。順便提及，這里描述的拍攝圖像是指由相機(jī)功能拍攝的圖像，并且可以記錄或可以不記錄在存儲(chǔ)單元中。

(步驟S202)

接下來，在步驟S202，信息處理裝置10的數(shù)據(jù)處理單元輸入第一參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)。

第一參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)為如上參考圖7所描述的被記錄在HTML數(shù)據(jù)中的第一參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)。

也就是說，第一參考真實(shí)對(duì)象信息包括關(guān)于第一參考真實(shí)對(duì)象(第一錨點(diǎn))的以下信息：

(1)參考圖像＝參考真實(shí)對(duì)象的拍攝圖像(錨點(diǎn)1.png)

(2)被包含在參考圖像中的參考真實(shí)對(duì)象的位置信息(表示參考真實(shí)對(duì)象在三維真實(shí)空間中的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))

(3)表示被包含在參考圖像中的參考真實(shí)對(duì)象的方向信息的四元數(shù)(x,y,z:w)

(4)關(guān)于參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

信息處理裝置10的數(shù)據(jù)處理單元從HTML數(shù)據(jù)讀出上述的第一參考真實(shí)對(duì)象信息(第一錨點(diǎn)信息)。

(步驟S203)

接下來，在步驟S203，信息處理裝置10的數(shù)據(jù)處理單元輸入第二參考真實(shí)對(duì)象信息(第二錨點(diǎn)信息)。

第二參考真實(shí)對(duì)象信息(第二錨點(diǎn)信息)為如上參考圖7所描述的被記錄在HTML數(shù)據(jù)中的第二參考真實(shí)對(duì)象信息(第二錨點(diǎn)信息)。

順便提及，在圖9的示例中，兩個(gè)單位的參考真實(shí)對(duì)象信息(錨點(diǎn)信息)被讀出。然而，這僅僅是示例，并且實(shí)際上，被記錄在HTML數(shù)據(jù)中的所有單位的參考真實(shí)對(duì)象信息(錨點(diǎn)信息)被讀出。

(步驟S204)

接下來，在步驟S204，信息處理裝置10的數(shù)據(jù)處理單元輸入注冊(cè)信息設(shè)置點(diǎn)A(POI-A)對(duì)應(yīng)信息。

注冊(cè)信息設(shè)置點(diǎn)A(POI-A)對(duì)應(yīng)信息為如上參考圖7所述的被記錄在HTML數(shù)據(jù)中的點(diǎn)A對(duì)應(yīng)信息。

也就是說，注冊(cè)信息設(shè)置點(diǎn)A(POI-A)對(duì)應(yīng)信息包括關(guān)于注冊(cè)信息設(shè)置點(diǎn)A的以下信息：

(1)與注冊(cè)信息設(shè)置點(diǎn)相關(guān)聯(lián)的注冊(cè)信息

(2)關(guān)于注冊(cè)信息設(shè)置點(diǎn)的位置信息(表示三維真實(shí)空間中的注冊(cè)信息設(shè)置點(diǎn)的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))

(3)表示關(guān)于注冊(cè)信息設(shè)置點(diǎn)的方向信息的四元數(shù)(x,y,z:w)

信息處理裝置10的數(shù)據(jù)處理單元從HTML數(shù)據(jù)讀出上述點(diǎn)A(POI-A)對(duì)應(yīng)信息。

(步驟S205)

接下來，在步驟S205，信息處理裝置10的數(shù)據(jù)處理單元輸入注冊(cè)信息設(shè)置點(diǎn)B(POI-B)對(duì)應(yīng)信息。

注冊(cè)信息設(shè)置點(diǎn)B(POI-B)對(duì)應(yīng)信息為如上參考圖7所述的被記錄在HTML數(shù)據(jù)中的點(diǎn)B對(duì)應(yīng)信息。

順便提及，在圖9的示例中，兩個(gè)單位的注冊(cè)信息設(shè)置點(diǎn)(POI)對(duì)應(yīng)信息被讀出。然而，這僅僅是示例，并且實(shí)際上，被記錄在HTML數(shù)據(jù)中的所有單位的注冊(cè)信息設(shè)置點(diǎn)(POI)對(duì)應(yīng)信息被讀出。

(步驟S206)

接下來，在步驟S206中，信息處理裝置10的數(shù)據(jù)處理單元將通過用于根據(jù)參考圖像確定用戶終端中的相機(jī)的位置的過程所計(jì)算的結(jié)果(三維位置分析過程)注冊(cè)為JavaScript(注冊(cè)商標(biāo))的函數(shù)(事件處理函數(shù))。

通過使用在步驟S202至S205獲取的以下信息來執(zhí)行在步驟S206之前的定位過程：

(1)通過拍攝參考真實(shí)對(duì)象獲得的參考圖像數(shù)據(jù)和包括被包含在參考圖像數(shù)據(jù)中的參考真實(shí)對(duì)象的位置、方向等的三維位置和姿勢(shì)信息

(2)包括注冊(cè)信息設(shè)置點(diǎn)的位置、方向等的三維位置和姿勢(shì)信息

(3)在步驟S201輸入的拍攝圖像。

順便提及，例如，定位過程(三維位置和姿勢(shì)信息分析過程)被執(zhí)行為同時(shí)使用定位和映射(SLAM)的過程。SLAM為用于從被包含在相機(jī)拍攝圖像中的各種真實(shí)對(duì)象選擇特征點(diǎn)并檢測(cè)所選擇的特征點(diǎn)的位置以及相機(jī)的位置和姿勢(shì)的過程。另外，SLAM在由本申請(qǐng)的申請(qǐng)人作為在先申請(qǐng)?zhí)峤坏娜毡緦＠?380789號(hào)中描述。

為了執(zhí)行SLAM的過程，信息處理裝置10的數(shù)據(jù)處理單元輸入諸如信息處理裝置的顯示單元(顯示器)和相機(jī)的位置、方向(旋轉(zhuǎn))和面積(尺寸)的必要參數(shù)。

SLAM的三維位置和姿勢(shì)分析過程的概要如下：

首先，從相機(jī)拍攝的圖像中檢測(cè)與參考真實(shí)對(duì)象一致的真實(shí)對(duì)象。這通過從HTML數(shù)據(jù)獲取的拍攝參考真實(shí)對(duì)象的參考圖像數(shù)據(jù)和拍攝圖像的特征點(diǎn)比較(特征點(diǎn)匹配)來執(zhí)行。

接下來，基于被包含在參考圖像中的對(duì)象與被包含在相機(jī)拍攝圖像中的對(duì)象之間的差異，分析從相機(jī)拍攝圖像檢測(cè)到的拍攝對(duì)象的三維位置和姿勢(shì)。

已經(jīng)拍攝了參考圖像的相機(jī)的位置和當(dāng)前圖像拍攝位置(信息處理裝置(用戶終端)的相機(jī)位置)不匹配，并且被包含在參考圖像中的對(duì)象和被包含在相機(jī)拍攝圖像的對(duì)象在方向和大小不同。

這些差異被分析，并且相機(jī)在真實(shí)空間中的三維位置和姿勢(shì)相對(duì)于對(duì)應(yīng)于從相機(jī)拍攝圖像檢測(cè)出的參考對(duì)象的拍攝圖像進(jìn)行分析。

順便提及，通過使用相機(jī)設(shè)置信息，諸如信息處理裝置中的相機(jī)的鏡頭倍率、位置和方向信息以及角度信息來執(zhí)行這些分析。

接下來，計(jì)算被記錄在HTML數(shù)據(jù)中的參考真實(shí)對(duì)象的位置、方向、大小等的信息、關(guān)于在真實(shí)空間中的相機(jī)的三維位置和姿勢(shì)信息以及被包含在虛擬三維空間中的拍攝圖像中的注冊(cè)信息設(shè)置點(diǎn)(POI)的位置和方向。

順便提及，例如，通過上述過程計(jì)算的相機(jī)的位置由世界坐標(biāo)系中的三維位置camaraPosition的坐標(biāo)(Xw,Yw,Zw)表示。另外，表示相機(jī)的方向的camaraRotation和表示相機(jī)的視角的CameraViewAngle由四元數(shù)表示。

(步驟S207)

接下來，在步驟S207，信息處理裝置10的數(shù)據(jù)處理單元將注冊(cè)信息設(shè)置點(diǎn)A(POI-A)和注冊(cè)信息設(shè)置點(diǎn)B(POI-B)的三維位置坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)。

相機(jī)坐標(biāo)構(gòu)成這樣的坐標(biāo)系，其中，XYZ坐標(biāo)軸被設(shè)置用于相機(jī)(成像單元)的視點(diǎn)，其根據(jù)相機(jī)的方向在原點(diǎn)具有cameraPosition和cameraRotation。

在步驟S207，根據(jù)在S206通過三維定位獲得的世界坐標(biāo)系中的相機(jī)的位置和方向，世界坐標(biāo)系中被記錄在HTML數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)A(POI-A)和注冊(cè)信息設(shè)置點(diǎn)B(POI-B)的坐標(biāo)(Xw,Yw,Zw)被轉(zhuǎn)換為相機(jī)坐標(biāo)系中的坐標(biāo)(Xc,Yc,Zc)。

(步驟S208)

接下來，在步驟S208，信息處理裝置10的數(shù)據(jù)處理單元將注冊(cè)信息設(shè)置點(diǎn)A(POI-A)和注冊(cè)信息設(shè)置點(diǎn)B(POI-B)的相機(jī)坐標(biāo)轉(zhuǎn)換為顯示單元(顯示器)坐標(biāo)。

顯示單元坐標(biāo)構(gòu)成例如X軸被設(shè)置在向右方向以及Y軸被設(shè)置在向左方向并且以顯示單元的左上角為原點(diǎn)的坐標(biāo)系。在該步驟，在相機(jī)的視場外部的注冊(cè)設(shè)置點(diǎn)不在后續(xù)顯示過程中使用。

在步驟S208，數(shù)據(jù)處理單元將在步驟S207所計(jì)算的在相機(jī)坐標(biāo)系中的注冊(cè)信息設(shè)置點(diǎn)A(POI-A)和注冊(cè)信息設(shè)置點(diǎn)B(POI-B)的坐標(biāo)(Xc,Yc,Zc)轉(zhuǎn)換為顯示單元坐標(biāo)(Xd,Yd)。

順便提及，為了執(zhí)行三維圖像顯示，針對(duì)左眼顯示單元和右眼顯示單元來計(jì)算顯示單元坐標(biāo)。也就是說，它們是用于左眼顯示單元的顯示單元坐標(biāo)(Xdl,Ydl)和用于右眼顯示單元的顯示坐標(biāo)(Xdr,Ydr)。

順便提及，在該步驟，有必要根據(jù)相機(jī)坐標(biāo)系中的Z軸(距離)的值設(shè)置具有視差的左眼圖像和右眼圖像，并且根據(jù)水平坐標(biāo)(例如，Xdl和Xdr的坐標(biāo)值)之間的視差設(shè)置差值。

順便提及，根據(jù)用于三維圖像生成過程的常規(guī)算法來執(zhí)行這些過程。

(步驟S209)

接下來，在步驟S209，信息處理裝置10的數(shù)據(jù)處理單元在注冊(cè)信息設(shè)置點(diǎn)A(POI-A)的顯示單元(顯示)坐標(biāo)位置中顯示點(diǎn)A(POI-A)位置標(biāo)識(shí)標(biāo)記，并在注冊(cè)信息設(shè)置點(diǎn)B(POI-B)的顯示單元(顯示)坐標(biāo)位置中顯示點(diǎn)B(POI-B)位置標(biāo)識(shí)標(biāo)記。

這些點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記為在上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像中顯示的點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記。

如上所述，信息處理裝置10基于由搜索服務(wù)器提供的接入信息(URL)，通過使用從信息提供服務(wù)器50獲取的HTML數(shù)據(jù)和JavaScript(注冊(cè)商標(biāo))數(shù)據(jù)，通過三維定位過程來確定相機(jī)的位置和方向，并且基于確定結(jié)果計(jì)算被包含在拍攝圖像中的注冊(cè)信息設(shè)置點(diǎn)(POI)的顯示單元(顯示器)坐標(biāo)位置并在坐標(biāo)位置中顯示點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記。

此外，具有點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記的注冊(cè)信息設(shè)置點(diǎn)的注冊(cè)信息在靠近點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記的顯示位置顯示。

注冊(cè)信息的顯示位置以及注冊(cè)信息和點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記的顯示模式，例如顏色、字符、角度等可以根據(jù)CSS規(guī)則設(shè)置為與來自信息提供服務(wù)器50的HTML數(shù)據(jù)和JavaScript(注冊(cè)商標(biāo))數(shù)據(jù)一起被接收的樣式表。

【4.關(guān)于由信息處理裝置執(zhí)行的過程序列】

接下來，將參考圖10所述的流程圖來描述由信息處理裝置(用戶終端)10執(zhí)行的過程的序列。

將按順序描述由信息處理裝置10執(zhí)行的以下過程。

(1)用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)并顯示虛擬對(duì)象的過程以及用于諸如用戶的觸摸的事件的過程(圖10至圖11)

(2)三維定位過程的設(shè)定(圖12)

(3)基于作為三維定位的結(jié)果的事件的檢測(cè)來顯示虛擬對(duì)象的過程(圖13)

(4)用于三維定位的過程和用于將事件通知為定位結(jié)果的過程(圖14至圖15)。

順便提及，上述過程全部由信息處理裝置10的數(shù)據(jù)處理單元執(zhí)行。數(shù)據(jù)處理單元包括具有程序執(zhí)行功能的CPU，其根據(jù)存儲(chǔ)在信息處理裝置10的存儲(chǔ)單元中的程序執(zhí)行這些過程。

此外，存儲(chǔ)在信息處理裝置10的存儲(chǔ)單元中的一些程序包括從信息提供服務(wù)器50接收的程序，例如JavaScript(注冊(cè)商標(biāo))。

【4-1.用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)并顯示虛擬對(duì)象的過程】

首先，將參考圖10至圖11所示的流程圖來描述用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)并顯示虛擬對(duì)象的過程序列。

下面將依次描述在圖10和圖11中描述的過程流程的步驟。

(步驟S301)

首先，在步驟S301，信息處理裝置執(zhí)行信標(biāo)檢測(cè)，以確定是否已經(jīng)接收到來自信標(biāo)發(fā)送器的信標(biāo)。

當(dāng)檢測(cè)到信標(biāo)時(shí)，該過程移到步驟S302。

(步驟S302)

當(dāng)檢測(cè)到信標(biāo)時(shí)，在步驟S302，信息處理裝置向搜索服務(wù)器請(qǐng)求用于獲取與信標(biāo)發(fā)送器相關(guān)聯(lián)的虛擬對(duì)象顯示控制數(shù)據(jù)的地址(URL)。

當(dāng)進(jìn)行請(qǐng)求時(shí)，信息處理裝置向搜索服務(wù)器發(fā)送被包含在信標(biāo)中的信標(biāo)ID和終端支持的三維定位方法(定位方法)的標(biāo)識(shí)信息(ID)。

(步驟S303)

接下來，在步驟S303，信息處理裝置從搜索服務(wù)器接收用于獲取與信標(biāo)發(fā)送器相關(guān)聯(lián)的虛擬對(duì)象顯示控制數(shù)據(jù)的地址(URL)。

(步驟S304)

接下來，在步驟S304，信息處理裝置在顯示單元上顯示用于獲取與從搜索服務(wù)器接收到的信標(biāo)發(fā)送器相關(guān)聯(lián)的虛擬對(duì)象顯示控制數(shù)據(jù)的地址(URL)。搜索服務(wù)器可發(fā)送諸如表示顯示控制數(shù)據(jù)的標(biāo)題的屬性信息以及URL，并且信息處理裝置可在顯示單元上顯示容易讓用戶理解的信息，而不是URL。

(步驟S305)

接下來，在步驟S305，信息處理裝置確定用戶是否給出了用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)的地址(URL)和諸如顯示在顯示單元上的標(biāo)題的屬性信息的顯示指令。

當(dāng)檢測(cè)到用戶的顯示指令時(shí)，該過程移到步驟S306。當(dāng)沒有檢測(cè)到時(shí)，該過程返回到步驟S301。

(步驟S306)

接下來，在步驟S306，信息處理裝置激活網(wǎng)絡(luò)瀏覽器并根據(jù)指定的URL從信息提供服務(wù)器獲取由用戶訪問的虛擬對(duì)象顯示控制數(shù)據(jù)。

順便提及，如上所述，從信息提供服務(wù)器獲取的虛擬對(duì)象顯示控制數(shù)據(jù)具體由以下數(shù)據(jù)等組成：

(1)超文本標(biāo)記語言(HTML)

(2)級(jí)聯(lián)樣式表(CSS)

(3)JavaScript(注冊(cè)商標(biāo))。

HTML為表示在信息處理裝置的顯示單元上顯示的虛擬對(duì)象的基本結(jié)構(gòu)的數(shù)據(jù)，并且是例如HTML 5。

CSS為定義由HTML定義的虛擬對(duì)象配置數(shù)據(jù)的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置的顯示單元上顯示的虛擬對(duì)象的樣式的數(shù)據(jù)。

JavaScript(注冊(cè)商標(biāo))為定義用于顯示虛擬對(duì)象的過程、用于更新顯示的過程或用于移動(dòng)并更新虛擬對(duì)象的過程的顯示控制程序。例如，它根據(jù)用戶在顯示對(duì)象上觸摸和點(diǎn)擊的此類事件或根據(jù)諸如在觸發(fā)后逝去預(yù)定時(shí)間段的事件對(duì)所顯示的信息采取各種行為，諸如改變虛擬對(duì)象的顯示模式。

虛擬對(duì)象顯示控制數(shù)據(jù)為通過一個(gè)URL獲取的數(shù)據(jù)。它可以基于被包含在來自信標(biāo)發(fā)送器的信標(biāo)中的信標(biāo)發(fā)送器標(biāo)識(shí)符(ID)，通過由搜索服務(wù)器所選的接入信息(URL)獲取。

具體而言，具有諸如HTML、CSS、JavaScript(注冊(cè)商標(biāo))的部分的虛擬對(duì)象顯示控制數(shù)據(jù)包括位置信息和關(guān)于在一個(gè)特定的信標(biāo)發(fā)送器附近的各種設(shè)施的指南信息。它是用于顯示虛擬對(duì)象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(A)、和圖4的(b)所述的點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記和點(diǎn)對(duì)應(yīng)注冊(cè)信息并執(zhí)行顯示控制的數(shù)據(jù)。

(步驟S307)

接下來，在步驟S307，信息處理裝置判定虛擬對(duì)象的顯示位置和顯示模式，并且通過使用從信息提供服務(wù)器獲取的虛擬對(duì)象顯示控制數(shù)據(jù)在顯示單元上顯示該虛擬對(duì)象。順便提及，例如，通過使用網(wǎng)絡(luò)呈現(xiàn)程序和網(wǎng)頁顯示控制程序(JavaScript(注冊(cè)商標(biāo)))來執(zhí)行該過程。

順便提及，在顯示單元上顯示的虛擬對(duì)象為例如與上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的注冊(cè)信息設(shè)置點(diǎn)(POI)相關(guān)聯(lián)的注冊(cè)信息設(shè)置點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記和注冊(cè)信息。

關(guān)于這些虛擬對(duì)象的基本信息被記錄在被包含在從信息提供服務(wù)器獲取的虛擬對(duì)象顯示控制數(shù)據(jù)中的HTML數(shù)據(jù)中。可根據(jù)被包含在同樣從信息提供服務(wù)器獲取的虛擬對(duì)象顯示控制數(shù)據(jù)中的CSS來設(shè)置這些虛擬對(duì)象的顯示模式。

(步驟S308)

接下來，在步驟S308，信息處理裝置確定事件檢測(cè)的存在或不存在作為用于更新虛擬對(duì)象在顯示單元上的顯示的觸發(fā)。

例如，作為用于更新虛擬對(duì)象的顯示的觸發(fā)的事件包括各種事件，諸如用戶在顯示單元上的觸摸、從開始顯示虛擬對(duì)象起經(jīng)過預(yù)定時(shí)間以及顯示屏幕的移動(dòng)。

被檢測(cè)用于執(zhí)行顯示更新的事件在由信息提供服務(wù)器所提供的JavaScript(注冊(cè)商標(biāo))中描述，并且顯示更新根據(jù)描述來執(zhí)行。

此外，事件檢測(cè)可不僅根據(jù)由信息提供服務(wù)器提供的JavaScript(注冊(cè)商標(biāo))而且根據(jù)由信息處理裝置保持的顯示控制程序來執(zhí)行，使得顯示更新可以根據(jù)檢測(cè)到的事件來執(zhí)行。

當(dāng)在步驟S308檢測(cè)到作為用于更新虛擬對(duì)象在顯示單元上的顯示的觸發(fā)的任何事件時(shí)，該過程移到步驟S309。

(步驟S309)

接下來，在步驟S309，信息處理裝置基于網(wǎng)絡(luò)呈現(xiàn)程序和網(wǎng)頁顯示控制程序(JavaScript(注冊(cè)商標(biāo))等)來執(zhí)行作為事件過程的顯示數(shù)據(jù)(虛擬對(duì)象)的更新。

【4-2.用于設(shè)置定位過程錨點(diǎn)信息的過程】

接下來，將參考圖12所述的流程圖來描述用于設(shè)置定位過程錨點(diǎn)信息的過程的序列。圖12的流程圖描述根據(jù)JavaScript(注冊(cè)商標(biāo))程序的過程，其由例如在圖9中描述的JavaScript(注冊(cè)商標(biāo))程序的步驟S201至S206執(zhí)行。在圖12中描述的對(duì)象是指由JavaScript(注冊(cè)商標(biāo))處理的對(duì)象。

下面將依次描述在圖12中描述的流程圖的步驟。

(步驟S401)

首先，在步驟S401，信息處理裝置獲取包括在從信息提供服務(wù)器接收到的HTML數(shù)據(jù)中描述的參考圖像的錨點(diǎn)對(duì)象。HTML數(shù)據(jù)可以作為文檔對(duì)象模型(DOM)對(duì)象從JavaScript(注冊(cè)商標(biāo))程序獲取。

如上面參考圖7所述，在HTML數(shù)據(jù)中描述的錨點(diǎn)信息對(duì)象包括以下數(shù)據(jù)：

(1)參考圖像＝作為錨點(diǎn)的參考圖像(錨點(diǎn)1.png)

(2)被包含在參考圖像中的錨點(diǎn)的位置信息(表示錨點(diǎn)在虛擬三維真實(shí)空間中的位置的三維坐標(biāo)數(shù)據(jù)(X,Y,Z))

(3)被包含在參考圖像中的錨點(diǎn)的方向信息(表示在虛擬三維真實(shí)空間中的方向的四元數(shù)(X,Y,Z:w))

(4)關(guān)于參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。

(步驟S402)

接下來，在步驟S402，信息處理裝置從通過使用信息處理裝置的相機(jī)功能采集的視頻采集對(duì)象獲取運(yùn)動(dòng)圖像流對(duì)象。

(步驟S403)

接下來，在步驟S403，信息處理裝置獲取三維位置確定過程(Spacelocalization)對(duì)象。

(步驟S404)

接下來，在步驟S404，信息處理裝置將在步驟S402獲取的運(yùn)動(dòng)流對(duì)象設(shè)置為三維位置計(jì)算過程(Spacelocalization)對(duì)象。通過步驟S402至S404，信息處理裝置可以在三維位置確定過程中處理由相機(jī)拍攝的運(yùn)動(dòng)圖像流。

(步驟S405)

接下來，在步驟S405，信息處理裝置將在步驟S401獲取的錨點(diǎn)對(duì)象設(shè)置為在步驟S404設(shè)置的三維位置確定過程(Spacelocalization)拍攝對(duì)象，并用錨點(diǎn)ID注冊(cè)(在存儲(chǔ)單元中存儲(chǔ))該對(duì)象。因此，在HTML數(shù)據(jù)中描述的錨點(diǎn)信息被輸入至三維位置計(jì)算過程。

(步驟S406)

接下來，在步驟S406，信息處理裝置確定用于使所有錨點(diǎn)與空間位置確定過程相關(guān)聯(lián)的過程是否完成。

在該過程未完成時(shí)，該過程返回到步驟S405以將錨點(diǎn)對(duì)象設(shè)置為未處理數(shù)據(jù)。

在確定用于使錨點(diǎn)對(duì)象和空間位置計(jì)算過程相關(guān)聯(lián)的過程完成時(shí)，該過程移到步驟S407。

(步驟S407)

接下來，在步驟S407，信息處理裝置注冊(cè)三維位置確定過程(Spacelocalization)對(duì)象的事件(three-dimensional position result event)處理函數(shù)。

順便提及，事件處理函數(shù)為作為相機(jī)在被包含在錨點(diǎn)信息中的參考圖像的虛擬三維空間中的位置和方向的計(jì)算的結(jié)果和由相機(jī)在三維位置確定中拍攝的運(yùn)動(dòng)圖像流而開始的過程的觸發(fā)的事件。

具體地，這為在由信息處理裝置的成像單元拍攝的圖像由于用戶的移動(dòng)、相機(jī)的拍攝方向的移動(dòng)等而被移動(dòng)預(yù)定量(預(yù)設(shè)定義值)并且檢測(cè)到在虛擬三維空間中的相機(jī)的位置和方向的變化時(shí)所生成的事件處理函數(shù)。在事件處理函數(shù)在步驟S407注冊(cè)時(shí)，用于計(jì)算相機(jī)的三維位置的過程通過使用三維位置計(jì)算過程(Spacelocalization)對(duì)象來開始。

順便提及，根據(jù)預(yù)定量的移動(dòng)的事件生成的精度，即，事件的頻率被記錄在從信息提供服務(wù)器接收到的JavaScript(注冊(cè)商標(biāo))中。這在事件處理函數(shù)的時(shí)間設(shè)置并被輸入至三維位置確定處理單元。

【4-3.基于對(duì)虛擬對(duì)象顯示事件的檢測(cè)來顯示虛擬對(duì)象的過程】

接下來，將參考如圖13所述的流程圖來描述基于虛擬對(duì)象顯示事件的檢測(cè)的虛擬對(duì)象顯示過程的序列。該流程圖描述根據(jù)JavaScript(注冊(cè)商標(biāo))程序的過程，其在圖9中描述的JavaScript(注冊(cè)商標(biāo))程序的步驟S207至S209在三維定位過程事件函數(shù)中執(zhí)行。

將依次描述在圖13中描述的流程圖的步驟。

(步驟S501)

首先，在步驟S501，信息處理裝置確定是否已發(fā)生三維位置確定過程(Spacelocalization)對(duì)象的事件。該確定對(duì)應(yīng)于在圖12中描述的步驟S407被注冊(cè)的事件處理函數(shù)是否被調(diào)用的確定。

當(dāng)在步驟S501確定已發(fā)生三維位置計(jì)算過程的事件時(shí)，該過程移到步驟S502。

(步驟S502)

當(dāng)在步驟S501確定已發(fā)生顯示或更新虛擬對(duì)象的事件時(shí)，信息處理裝置在步驟S502獲取終端顯示單元(顯示器)的位置、方向和面積(尺寸)以及相機(jī)的位置、方向和角度。此步驟意味著上述信息作為如圖12所述進(jìn)行注冊(cè)的事件處理函數(shù)的變?cè)獊韨鬟f。

(步驟S503)

接下來，在步驟S503，信息處理裝置獲取在HTML數(shù)據(jù)中描述的注冊(cè)信息設(shè)置點(diǎn)(POI)對(duì)應(yīng)信息(關(guān)于坐標(biāo)、方向等的三維位置和姿勢(shì)信息)。如在圖12中的步驟S401所述，被記錄在HTML數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)(POI)信息可以被JavaScript(注冊(cè)商標(biāo))程序獲取為DOM對(duì)象，如同獲取被記錄在HTML數(shù)據(jù)中的錨點(diǎn)信息的情況下一樣。

(步驟S504)

接下來，在步驟S504，信息處理裝置將從在步驟S503從信息提供服務(wù)器接收到的HTML數(shù)據(jù)獲取的注冊(cè)信息設(shè)置點(diǎn)(POI)的坐標(biāo)、方向等的三維位置和姿勢(shì)信息轉(zhuǎn)換為在終端顯示單元(顯示器)坐標(biāo)系中的坐標(biāo)，并在POI列表中保存該信息。

在轉(zhuǎn)換過程中，存在兩個(gè)階段，即，注冊(cè)信息設(shè)置點(diǎn)(POI)的位置和姿勢(shì)的POI坐標(biāo)被轉(zhuǎn)換為用戶終端(相機(jī))作為原點(diǎn)的用戶終端坐標(biāo)系，并且接著，在終端坐標(biāo)系中的轉(zhuǎn)換POI坐標(biāo)被進(jìn)一步轉(zhuǎn)換為顯示裝置坐標(biāo)系。

為了將用戶終端坐標(biāo)系轉(zhuǎn)換為顯示裝置坐標(biāo)系，需要在虛擬三維空間中的相機(jī)的位置和方向以及終端顯示單元(顯示器)的方向。因此，使用在步驟S502所需的信息。具體地，在顯示器的方向并不與相機(jī)的方向一致的用戶終端的情況下，考慮所給出的方向差異來計(jì)算在顯示坐標(biāo)系中的POI的顯示位置是必要的。

(步驟S505)

接下來，在步驟S505，信息處理裝置確定所有的POI是否完成坐標(biāo)轉(zhuǎn)換和列表注冊(cè)。

在未完成時(shí)，該過程返回到步驟S503以對(duì)未被處理的POI執(zhí)行在步驟S503和S504的過程。

在確定完成所有POI的坐標(biāo)轉(zhuǎn)換和列表注冊(cè)時(shí)，該過程移到步驟S506。

(步驟S506)

當(dāng)確定針對(duì)所有POI的坐標(biāo)轉(zhuǎn)換和列表注冊(cè)完成時(shí)，信息處理裝置按順序從在步驟S506所生成的POI列表中選擇POI。

(步驟S507)

接下來，在步驟S507，信息處理裝置確定從該列表選擇的POI的坐標(biāo)(在顯示單元坐標(biāo)系中的坐標(biāo))是否落在顯示單元的顯示范圍內(nèi)。根據(jù)關(guān)于相機(jī)的位置和方向以及虛擬三維空間中的終端顯示單元(顯示器)的位置和方向的信息來確定該坐標(biāo)是否落入顯示范圍內(nèi)。具體地，當(dāng)信息處理裝置在顯示單元的一部分上顯示來自拍攝單元的視頻時(shí)，可以根據(jù)拍攝視頻的顯示位置來計(jì)算POI的顯示位置，并且可以將POI疊加在拍攝視頻中看到的真實(shí)對(duì)象的位置中。

當(dāng)POI的坐標(biāo)并未落入顯示單元的顯示范圍內(nèi)時(shí)，停止POI的處理，并且該過程返回到步驟S506，以從POI列表選擇下一個(gè)POI。

當(dāng)在步驟S50中確定從該列表選擇的POI的坐標(biāo)(顯示單元坐標(biāo)系中的坐標(biāo))落在顯示單元的顯示范圍內(nèi)時(shí)，該過程移到步驟S508。

(步驟S508)

當(dāng)確定從該列表選擇的POI的坐標(biāo)(顯示單元坐標(biāo)系中的坐標(biāo))落在顯示單元的顯示范圍內(nèi)時(shí)，信息處理裝置在步驟S508顯示點(diǎn)位置標(biāo)識(shí)標(biāo)記和所選POI的注冊(cè)信息。順便提及，這些虛擬對(duì)象的顯示模式例如通過使用CSS等來設(shè)置。

(步驟S509)

接下來，在步驟S509，信息處理裝置確定是否完全處理了所有POI。

當(dāng)存在任何未處理的POI時(shí)，該過程返回到步驟S506，以從POI列表選擇下一個(gè)未處理的POI，并執(zhí)行步驟S507和后續(xù)的步驟。

當(dāng)在步驟S509確定所有POI被完全處理時(shí)，該過程終止。

【4-4.用于三維位置確定的過程】

接下來，將參考圖14至圖15的流程圖來描述相機(jī)三維位置確定過程的序列。這些流程圖中的過程不是由在由信息提供服務(wù)器50所提供的顯示控制數(shù)據(jù)中的JavaScript(注冊(cè)商標(biāo))執(zhí)行，而是由例如被記錄在信息處理裝置的記錄單元中的程序執(zhí)行。這使得避免用于三維位置確定的算法由JavaScript(注冊(cè)商標(biāo))程序公開的問題，并且通過信息處理裝置中的硬件的高速處理等高速、高精度、低功耗地執(zhí)行三維位置確定是可能的。

下面將依次描述圖14至15中描述的流程圖的步驟。

(步驟S601)

首先，在步驟S601，信息處理裝置的數(shù)據(jù)處理單元獲取相機(jī)拍攝圖像的分辨率和相機(jī)的鏡頭倍率。該步驟通過獲取被記錄在信息處理裝置的相機(jī)控制單元的存儲(chǔ)器中的相機(jī)設(shè)置信息來執(zhí)行。

(步驟S602)

接下來，在步驟S602，信息處理裝置初始化被附接至信息處理裝置的運(yùn)動(dòng)傳感器。具體地，信息處理裝置重置過去測(cè)量的數(shù)據(jù)，并執(zhí)行初始化處理以將當(dāng)前位置和傾斜度(方向)設(shè)置為初始值。運(yùn)動(dòng)傳感器為用于確定信息處理裝置的位置和姿勢(shì)的陀螺儀或加速度傳感器。

(步驟S603)

接下來，在步驟S603，信息處理裝置從在從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的參考真實(shí)對(duì)象信息(錨點(diǎn)信息)，即，被包含在圖12中描述的步驟S405的三維位置確定過程中設(shè)置的(錨點(diǎn)信息)中的參考圖像中提取特征點(diǎn)。

(步驟S604)

接下來，在步驟S604，信息處理裝置確定用于從與在圖12中描述的步驟S405的三維位置確定過程中設(shè)置的所有參考真實(shí)對(duì)象信息(錨點(diǎn)信息)相對(duì)應(yīng)的參考圖像中提取特征點(diǎn)的過程是否完成。

當(dāng)存在任何未處理的參考圖像時(shí)，該過程返回到步驟S603，以從未處理的參考圖像提取特征點(diǎn)。

當(dāng)確定從與從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的所有參考真實(shí)對(duì)象信息(錨點(diǎn)信息)相對(duì)應(yīng)的參考圖像提取特征點(diǎn)的過程完成時(shí)，該過程移到步驟S605。

(步驟S605)

當(dāng)從與從信息提供服務(wù)器獲取的HTML數(shù)據(jù)(參見圖7)中描述的所有參考真實(shí)對(duì)象信息(錨點(diǎn)信息)相對(duì)應(yīng)的參考圖像提取特征點(diǎn)的過程完成時(shí)，信息處理裝置的數(shù)據(jù)處理單元在步驟S605開始相機(jī)拍攝圖像的輸入。

(步驟S606)

接下來，在步驟S606，信息處理裝置的數(shù)據(jù)處理單元從相機(jī)拍攝圖像的幀中提取特征點(diǎn)。

(步驟S607)

接下來，在步驟S607，信息處理裝置的數(shù)據(jù)處理單元獲取運(yùn)動(dòng)傳感器的觀測(cè)值。

(步驟S608)

接下來，在步驟S608，信息處理裝置的數(shù)據(jù)處理單元通過將參考圖像(錨點(diǎn)圖像)的特征點(diǎn)與相機(jī)拍攝圖像的特征點(diǎn)進(jìn)行匹配來計(jì)算包括真實(shí)空間中的相機(jī)的位置和方向的三維位置和姿勢(shì)信息。該過程例如通過使用上述SLAM技術(shù)來執(zhí)行。

(步驟S609)

接下來，在步驟S609，信息處理裝置通過匹配所有參考圖像(錨點(diǎn)圖像)的特征點(diǎn)和相機(jī)拍攝圖像的特征點(diǎn)來確定是否完成了三維位置和姿勢(shì)信息計(jì)算過程。

當(dāng)存在任何未處理的參考圖像時(shí)，該過程返回到步驟S608以處理未處理的參考圖像。

當(dāng)確定所有參考圖像被完全處理時(shí)，該過程移到步驟S610。

(步驟S610)

接下來，在步驟S610，信息處理裝置基于所有參考圖像和相機(jī)拍攝圖像的特征點(diǎn)的匹配結(jié)果來計(jì)算關(guān)于在真實(shí)空間中的相機(jī)的位置和方向的最終三維位置和姿勢(shì)信息。

在步驟S608，計(jì)算與一個(gè)參考圖像(錨點(diǎn)圖像)相對(duì)應(yīng)的相機(jī)三維位置和姿勢(shì)信息，并且針對(duì)多個(gè)參考圖像計(jì)算不同的相機(jī)三維位置和姿勢(shì)信息。

在步驟S610，例如，對(duì)多個(gè)值進(jìn)行平均等，以計(jì)算包括在真實(shí)空間中的相機(jī)的最終位置和方向的三維位置和姿勢(shì)信息。通過使用多個(gè)錨點(diǎn)參考圖像來確定三維位置和姿勢(shì)，即使當(dāng)用戶移動(dòng)或相機(jī)的方向改變時(shí)，也能夠進(jìn)行位置確定。此外，當(dāng)在相機(jī)拍攝視頻中檢測(cè)到多個(gè)錨點(diǎn)時(shí)，可以提高定位精度。此外，通過在終端中組合運(yùn)動(dòng)傳感器，即使在拍攝視頻中沒有檢測(cè)到錨點(diǎn)，也可以估算相機(jī)的位置和方向。

(步驟S611)

接下來，在步驟S611，信息處理裝置檢測(cè)從在前一幀中確定的相機(jī)的三維位置和姿勢(shì)到當(dāng)前幀中所計(jì)算的三維位置和姿勢(shì)的變化量。通過使用對(duì)由運(yùn)動(dòng)傳感器檢測(cè)到的相機(jī)的運(yùn)動(dòng)所得的幀視頻中的運(yùn)動(dòng)模糊的補(bǔ)償來執(zhí)行檢測(cè)。通過將相機(jī)姿勢(shì)信息和關(guān)于幀視頻中的模糊的校正的信息傳遞給事件處理函數(shù)，可以根據(jù)JavaScript(注冊(cè)商標(biāo))的控制來校正在相機(jī)拍攝視頻上疊加的情況下的顯示模糊。

(步驟S612)

接下來，在步驟S612，信息處理裝置確定在步驟S611檢測(cè)到的改變量是否等于或大于預(yù)定閾值。

閾值為從顯示控制數(shù)據(jù)中的JavaScript(注冊(cè)商標(biāo))程序預(yù)先設(shè)定的并且在圖12所示的步驟S407中被保存在記錄單元中的值。

當(dāng)確定顯示在顯示單元上的圖像的位置已經(jīng)改變了預(yù)定閾值或更多時(shí)，該過程移到步驟S613。

(步驟S613)

當(dāng)確定相機(jī)的三維位置和姿勢(shì)已經(jīng)改變了預(yù)定閾值或更多時(shí)，信息處理裝置設(shè)置顯示單元的位置、方向和面積(尺寸)以及作為三維定位姿勢(shì)的結(jié)果的相機(jī)的位置、方向和角度信息，并且在步驟S613開始用于事件處理函數(shù)的過程。

順便提及，為了開始用于顯示和更新虛擬對(duì)象的過程，信息處理裝置的數(shù)據(jù)處理單元根據(jù)上面參照?qǐng)D13所述的處理流程來執(zhí)行該過程，然后執(zhí)行用于顯示或更新虛擬對(duì)象的過程。

【5.關(guān)于作為用于啟動(dòng)顯示虛擬對(duì)象或更新顯示的觸發(fā)的事件】

在上述示例中，以上將超過預(yù)定閾值等的用戶終端(相機(jī))的位置和姿勢(shì)的變化解釋為用于顯示注冊(cè)信息設(shè)置點(diǎn)(POI)位置標(biāo)識(shí)符和對(duì)應(yīng)于作為在顯示單元上顯示的虛擬對(duì)象的注冊(cè)信息設(shè)置點(diǎn)(POI)的注冊(cè)信息的過程或用于更新顯示的過程的觸發(fā)的事件的示例。

然而，根據(jù)作為用于顯示虛擬對(duì)象的過程或用于更新顯示的過程的觸發(fā)的用戶終端(相機(jī))的位置和姿勢(shì)的變化，不僅將POI疊加和顯示在相機(jī)拍攝視頻中看到的真實(shí)對(duì)象上，而且還根據(jù)JavaScript(注冊(cè)商標(biāo))程序通過JavaScript(注冊(cè)商標(biāo))實(shí)施各種顯示過程和顯示觸發(fā)是可能的。另外，信息提供者不僅可以通過使用HTML和CSS的顯示控制函數(shù)來顯示文本中的POI，而且還提供各種顯示方法。

信息處理裝置(用戶終端)10的數(shù)據(jù)處理單元執(zhí)行用于顯示在信息處理裝置附近的注冊(cè)信息設(shè)置點(diǎn)的注冊(cè)信息的過程或用于更新作為觸發(fā)的根據(jù)各種預(yù)定上下文(情境)的事件的檢測(cè)的顯示的過程。

具體地，例如，數(shù)據(jù)處理單元可基于作為觸發(fā)的以下信息通過事件檢測(cè)來執(zhí)行用于開始或更新虛擬對(duì)象的顯示的過程：

(1)信息處理裝置(用戶終端)的位置

(2)時(shí)間

(3)具有信息處理裝置(用戶終端)的用戶的行為歷史

(4)被注冊(cè)在信息處理裝置或服務(wù)器中的用戶日程信息

(5)用戶物理信息(心跳、脈搏等)

(6)在商店等的銷售信息

(7)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息

(8)信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)

(9)信息處理裝置(用戶終端)的用戶的視線

(1)基于作為觸發(fā)的信息處理裝置(用戶終端)的位置，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下：

當(dāng)攜帶信息處理裝置(用戶終端)的用戶移動(dòng)時(shí)，用于開始或更新虛擬對(duì)象的顯示的過程通過檢測(cè)從信息處理裝置(用戶終端)到注冊(cè)信息設(shè)置點(diǎn)(POI)的距離落入預(yù)定距離(3米)內(nèi)的事件來執(zhí)行。在此情況下，在真實(shí)世界中的信息終端的位置和方向可以被來自參考真實(shí)對(duì)象信息(錨點(diǎn)信息)的三維位置確定過程跟蹤的狀態(tài)中，信息處理裝置(用戶終端)和注冊(cè)信息設(shè)置點(diǎn)(POI)的位置通過三維位置確定過程來測(cè)量，并且注冊(cè)信息設(shè)置點(diǎn)(POI)可不必被包含在拍攝視頻中。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)測(cè)量從信息處理裝置(用戶終端)到注冊(cè)信息設(shè)置點(diǎn)(POI)的距離

(b)比較所測(cè)得的距離和預(yù)定閾值

(c)確定當(dāng)所測(cè)得的距離變得等于或小于預(yù)定閾值時(shí)的事件的發(fā)生率。

(2)將描述基于作為觸發(fā)的時(shí)間，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下：

例如，在餐館開放的上午11點(diǎn)，當(dāng)信息處理裝置(用戶終端)的用戶在該餐館的鄰域時(shí)，該餐館的位置、該餐館的菜單等被顯示為虛擬對(duì)象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)測(cè)量從信息處理裝置(用戶終端)到注冊(cè)信息設(shè)置點(diǎn)(POI)的距離

(b)比較所測(cè)得的距離和預(yù)定閾值

(c)獲取當(dāng)前時(shí)間

(d)確定當(dāng)所測(cè)得的距離變得等于或小于預(yù)定閾值并且在用于開放注冊(cè)信息設(shè)置點(diǎn)(POI)(例如，餐館)的時(shí)間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供包括作為虛擬對(duì)象的餐館的菜單等的注冊(cè)信息設(shè)置點(diǎn)對(duì)應(yīng)注冊(cè)信息。

(3)將描述基于信息處理裝置(用戶終端)的用戶的行為歷史，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下：

信息處理裝置(用戶終端)的用戶的運(yùn)動(dòng)狀態(tài)(步行、奔跑或汽車、火車的高速運(yùn)動(dòng)等)被分析，并且根據(jù)分析信息的最佳信息被顯示為虛擬對(duì)象。

例如，當(dāng)用戶在步行時(shí)，根據(jù)移動(dòng)位置和速度的路線信息、觀察點(diǎn)指南信息、休息室位置信息等被顯示為虛擬對(duì)象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)測(cè)量從信息處理裝置(用戶終端)到注冊(cè)信息設(shè)置點(diǎn)(POI)的距離

(b)比較所測(cè)得的距離和預(yù)定閾值

(c)確定當(dāng)所測(cè)得的距離變得等于或小于預(yù)定閾值時(shí)的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供作為虛擬對(duì)象的路線信息、觀察點(diǎn)指南信息、休息室位置信息等。

(4)將描述基于作為觸發(fā)的在信息處理裝置或服務(wù)器中注冊(cè)的用戶日程信息，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的過程的具體示例。例如，該過程的一個(gè)具體示例如下所述。

為了執(zhí)行該處理，需要將用戶日程信息預(yù)先注冊(cè)在信息處理裝置的存儲(chǔ)器或信息提供服務(wù)器中。

在開始注冊(cè)日程計(jì)劃的時(shí)間或者在開始時(shí)間之前的特定時(shí)間，信息處理裝置(用戶終端)將預(yù)定計(jì)劃的指定地點(diǎn)、日程信息等顯示為虛擬對(duì)象。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)獲取注冊(cè)日程信息

(b)獲取當(dāng)前時(shí)間

(c)確定在注冊(cè)日程信息中的設(shè)定時(shí)間或在設(shè)定時(shí)間之前的特定時(shí)間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供作為虛擬對(duì)象的預(yù)定計(jì)劃的指定地點(diǎn)、日程信息等。

(5)將描述基于作為觸發(fā)的用戶身體信息(心跳、脈搏等)，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的過程的具體示例。例如，該過程的一個(gè)具體示例如下：

為了執(zhí)行該過程，需要設(shè)置用于將來自測(cè)量用戶身體信息的傳感器的檢測(cè)信息輸入至信息處理裝置的配置。

傳感器測(cè)量用戶的心跳、脈搏等，并將測(cè)量信息輸出至信息處理裝置。

具體地，例如，當(dāng)用戶正在跑馬拉松時(shí)，用戶的信息處理裝置的數(shù)據(jù)處理單元顯示關(guān)于用戶的心跳和脈搏狀態(tài)的信息，例如，作為虛擬對(duì)象的用于鼓勵(lì)用戶深呼吸或休息的信息或者關(guān)于相鄰休息地點(diǎn)的指南信息。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)從傳感器獲取用戶身體信息

(b)根據(jù)輸入的身體信息檢測(cè)事件。

此外，信息提供服務(wù)器向信息處理裝置提供根據(jù)用戶的心跳和脈搏狀態(tài)的信息，例如，作為虛擬對(duì)象的用于鼓勵(lì)用戶深呼吸或休息的信息或者關(guān)于相鄰休息地點(diǎn)的指南信息。

(6)將描述基于作為觸發(fā)的在商店等的銷售信息，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下：

例如，在商店開始銷售的上午10點(diǎn)，當(dāng)信息處理裝置(用戶終端)的用戶在該商店的鄰域時(shí)，信息處理裝置顯示作為虛擬對(duì)象的該商店的位置、該商店的銷售的描述等。

此外，為了執(zhí)行該過程，顯示控制程序，諸如JavaScript(注冊(cè)商標(biāo))定義執(zhí)行一系列下列操作的程序：

(a)測(cè)量從信息處理裝置(用戶終端)到注冊(cè)信息設(shè)置點(diǎn)(POI)的距離

(b)比較所測(cè)得的距離和預(yù)定閾值

(c)獲取當(dāng)前時(shí)間

(d)確定當(dāng)所測(cè)得的距離變得等于或小于預(yù)定閾值并且在用于開放注冊(cè)信息設(shè)置點(diǎn)(POI)(例如，商店)的時(shí)間的事件的發(fā)生率。

此外，信息提供服務(wù)器向信息處理裝置提供包括作為虛擬對(duì)象的在商店的銷售的描述的注冊(cè)信息設(shè)置點(diǎn)對(duì)應(yīng)注冊(cè)信息。

(7)將描述基于信息處理裝置(用戶終端)的設(shè)置信息，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下所述。

信息處理裝置(用戶終端)的設(shè)置信息為例如關(guān)于顯示語言的設(shè)置、音頻輸出的存在或不存在的設(shè)置等。

例如，當(dāng)顯示語言被設(shè)置為日語時(shí)，日語注冊(cè)信息被提供為虛擬對(duì)象。當(dāng)顯示語言被設(shè)置為英語時(shí)，英語注冊(cè)信息被提供為虛擬對(duì)象。此外，當(dāng)音頻輸出設(shè)置為ON時(shí)，可輸出音頻注冊(cè)信息。

此外，例如，為執(zhí)行該過程，顯示控制程序諸如JavaScript(注冊(cè)商標(biāo))定義根據(jù)上述示例和以下的操作執(zhí)行用于檢測(cè)注冊(cè)信息設(shè)置點(diǎn)(POI)的操作的程序：

(a)獲取信息處理裝置(用戶終端)的設(shè)置信息。

另外，信息提供服務(wù)器根據(jù)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息向信息處理裝置提供語言、顯示數(shù)據(jù)或音頻數(shù)據(jù)。

(8)將描述基于信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)，通過事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下所述。

為了執(zhí)行該處理，需要將用戶的年齡、性別、興趣等的用戶屬性信息預(yù)先注冊(cè)在信息處理裝置的存儲(chǔ)器或信息提供服務(wù)器中。

信息處理裝置根據(jù)注冊(cè)用戶的屬性顯示包括最佳供應(yīng)信息的虛擬對(duì)象。

此外，例如，為執(zhí)行該過程，顯示控制程序諸如JavaScript(注冊(cè)商標(biāo))定義根據(jù)上述示例和以下的操作執(zhí)行用于檢測(cè)注冊(cè)信息設(shè)置點(diǎn)(POI)的操作的程序：

(a)獲取注冊(cè)用戶的屬性信息。

另外，信息提供服務(wù)器根據(jù)關(guān)于信息處理裝置(用戶終端)的設(shè)置信息向信息處理裝置提供包括最佳供應(yīng)信息的虛擬對(duì)象。

將參考圖16和17來描述虛擬對(duì)象的具體顯示示例。

圖16示出用戶屬性信息注冊(cè)為指示用戶為三十到五十的中年男人并且喜歡喝酒的虛擬對(duì)象的顯示示例。

例如，假設(shè)具有相同屬性(三十到五十的中年男人并且喜歡喝酒)的多個(gè)用戶在公司內(nèi)散步并且攜帶他們的個(gè)人的信息處理裝置。

在此情況下，如圖16所示的虛擬對(duì)象在他們的相應(yīng)信息處理裝置上顯示。

具體地，指示提供酒的餐館和酒吧的位置的點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記301和點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息302按順序顯示。

圖17示出用戶屬性信息注冊(cè)為指示用戶為二十到三十的婦女并且喜歡購物的虛擬對(duì)象的顯示示例。

在此情況下，如圖17所示的虛擬對(duì)象在信息處理裝置上顯示。

具體地，指示銷售似乎二十到三十歲的婦女特別喜歡的物品的商店的位置的點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記321和點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息322按順序顯示。

(9)將描述基于信息處理裝置(用戶終端)的用戶的視線，通過作為觸發(fā)的事件的檢測(cè)來開始或更新虛擬對(duì)象的顯示的過程的具體示例。例如，該過程的一個(gè)具體示例如下所述。

為了執(zhí)行該過程，需要設(shè)置用于將來自測(cè)量用戶視線的傳感器的檢測(cè)信息輸入至信息處理裝置的配置。

傳感器檢測(cè)用戶的視線的方向，并將檢測(cè)信息輸出至信息處理裝置。

信息處理裝置的數(shù)據(jù)處理單元基于優(yōu)先級(jí)執(zhí)行用于顯示存在于用戶的視線方向中的注冊(cè)信息設(shè)置點(diǎn)(POI)的注冊(cè)信息的過程。

此外，例如，為執(zhí)行該過程，顯示控制程序諸如JavaScript(注冊(cè)商標(biāo))定義根據(jù)上述示例和以下的操作執(zhí)行用于檢測(cè)注冊(cè)信息設(shè)置點(diǎn)(POI)的操作的程序：

(a)輸入用戶的視線的方向的檢測(cè)結(jié)果并判定顯示對(duì)象。

如上所述，各種事件可以被設(shè)置為構(gòu)成用于顯示虛擬對(duì)象的過程或用于更新顯示的過程的觸發(fā)的事件。

【6.關(guān)于信息處理裝置和服務(wù)器的配置示例】

接下來，將描述信息處理裝置(用戶終端)、信息提供服務(wù)器和搜索服務(wù)器的配置示例。

圖18為示出信息處理裝置(用戶終端)10的配置示例的框圖。

信息處理裝置10具有信標(biāo)檢測(cè)單元501、數(shù)據(jù)處理單元(控制單元)502、運(yùn)動(dòng)傳感器503、存儲(chǔ)單元504、相機(jī)(成像單元)505、輸入單元506、輸出單元(顯示單元)507、通信單元508，各種傳感器509和定時(shí)器510，如圖18所示。

信標(biāo)檢測(cè)單元501檢測(cè)從信標(biāo)發(fā)送器20發(fā)送的信標(biāo)。

數(shù)據(jù)處理單元(控制單元)502在信息處理裝置10中執(zhí)行各種數(shù)據(jù)處理操作。具體地，數(shù)據(jù)處理單元(控制單元)502例如執(zhí)行根據(jù)上述流程圖的過程。例如，數(shù)據(jù)處理單元(控制單元)502包括CPU，其具有程序執(zhí)行的功能并且根據(jù)存儲(chǔ)在存儲(chǔ)單元504中的程序來執(zhí)行過程。

運(yùn)動(dòng)傳感器503為檢測(cè)信息處理裝置的運(yùn)動(dòng)的傳感器。運(yùn)動(dòng)傳感器503由檢測(cè)移動(dòng)的方向、傾斜度、加速度等的各種傳感器構(gòu)成。

存儲(chǔ)單元504例如由RAM、ROM、HDD和其它介質(zhì)構(gòu)成，以存儲(chǔ)由數(shù)據(jù)處理單元5602執(zhí)行的程序、各種參數(shù)等。存儲(chǔ)單元504另外被用作由數(shù)據(jù)處理單元執(zhí)行的數(shù)據(jù)處理的工作區(qū)。

相機(jī)(成像單元)505執(zhí)行圖像拍攝。順便提及，如上所述，在拍攝三維圖像的情況下，相機(jī)(成像單元)505在分離的位置具有兩個(gè)成像單元，并且在拍攝二維圖像的情況下，相機(jī)(成像單元)505具有一個(gè)成像單元。

輸入單元506為用于用戶輸入各種指令的用戶操作單元。順便提及，當(dāng)顯示單元被配置為觸摸面板時(shí)，顯示單元也用作輸入單元。

輸出單元507由顯示單元、音頻輸出單元等組成。根據(jù)上述過程，顯示單元將真實(shí)對(duì)象顯示為相機(jī)拍攝圖像，并且將點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記和點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息疊加并顯示為從信息提供服務(wù)器獲取的虛擬對(duì)象。

通信單元508為與信息提供服務(wù)器、搜索服務(wù)器和其他外部裝置通信的通信單元。

各種傳感器509為測(cè)量各種用戶狀況的傳感器，例如視線傳感器和脈搏傳感器。

數(shù)據(jù)處理單元502可以根據(jù)傳感器檢測(cè)信息更新虛擬對(duì)象的顯示。

定時(shí)器510檢測(cè)當(dāng)前時(shí)間、測(cè)量從預(yù)定定時(shí)起經(jīng)過的時(shí)間等。

圖19為描述由執(zhí)行各種過程的數(shù)據(jù)處理單元502執(zhí)行的數(shù)據(jù)處理程序的層配置的分解結(jié)構(gòu)圖。

數(shù)據(jù)處理單元502在操作系統(tǒng)(OS)層上執(zhí)行各種應(yīng)用。

附圖所示的通信處理應(yīng)用為用于檢測(cè)信標(biāo)、獲取URL并且命令顯示處理裝置基于URL來顯示網(wǎng)頁的應(yīng)用。通信處理應(yīng)用執(zhí)行圖10中描述的步驟S301至S306。

顯示處理應(yīng)用執(zhí)行用于顯示由相機(jī)拍攝的圖像的過程、用于顯示由信息提供服務(wù)器提供的虛擬對(duì)象的過程等。

另外，顯示處理應(yīng)用執(zhí)行用于顯示顯示控制數(shù)據(jù)的過程和用于顯示虛擬對(duì)象并且在作為觸發(fā)的事件發(fā)生時(shí)更新顯示的過程。

此外，顯示處理應(yīng)用執(zhí)行用于輸出或更新顯示信息的過程，以及在圖19的顯示處理應(yīng)用下由所示的3D空間定位庫、顯示控制庫和網(wǎng)頁顯示庫所執(zhí)行的過程。

基于由相機(jī)拍攝的對(duì)象和參考圖像，3D空間定位庫執(zhí)行用于來計(jì)算信息處理裝置的三維位置、方向(傾斜度)等的三維定位過程。具體地，3D空間定位庫通過使用如上所述的SLAM技術(shù)等來執(zhí)行三維定位過程。

顯示控制庫為WebKit和JavaScript(注冊(cè)商標(biāo))的執(zhí)行單元，其執(zhí)行用于在顯示單元上顯示虛擬對(duì)象的過程和用于在發(fā)生作為觸發(fā)的諸如用戶的操作的事件的時(shí)間更新顯示的過程。

網(wǎng)頁顯示應(yīng)用由WebKit WebCore等構(gòu)成，并且執(zhí)行用于顯示網(wǎng)頁的過程。

這些應(yīng)用和庫可在OS層上操作。OS層控制由應(yīng)用執(zhí)行的全部過程，并且控制被設(shè)置在硬件(HW)層和應(yīng)用層等中的各種處理單元之間的命令、參數(shù)等的輸入/輸出等。

圖20示出可用作信息提供服務(wù)器或搜索服務(wù)器的通信裝置的硬件配置示例。

中央處理單元(CPU)701用作根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)702或存儲(chǔ)單元708中的程序執(zhí)行各種過程的數(shù)據(jù)處理單元。例如，CPU 701根據(jù)上面關(guān)于上述示例所描述的序列來執(zhí)行過程。隨機(jī)存取存儲(chǔ)器(RAM)703存儲(chǔ)由CPU 701執(zhí)行的程序、數(shù)據(jù)等。CPU 701、ROM 702和RAM 703經(jīng)由總線704被連接在一起。

CPU 701經(jīng)由總線704連接至輸入/輸出接口705。輸入/輸出接口705被連接至由各種開關(guān)、鍵盤、鼠標(biāo)、麥克風(fēng)等組成的輸入單元706和由顯示器、揚(yáng)聲器等組成的輸出單元707。例如，CPU 701響應(yīng)于通過輸入單元706輸入的指令執(zhí)行各種過程，并向輸出電壓707輸出處理結(jié)果。

例如，連接至輸入/輸出接口705的存儲(chǔ)單元708由硬盤等組成，并且存儲(chǔ)由CPU 701執(zhí)行的程序和各種數(shù)據(jù)。通信單元709用作經(jīng)由諸如因特網(wǎng)和局域網(wǎng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)通信以與外部裝置通信的發(fā)送器/接收器。

被連接至輸入/輸出接口705的驅(qū)動(dòng)器710驅(qū)動(dòng)諸如磁盤、光盤、磁光盤的可移除介質(zhì)711或諸如存儲(chǔ)卡的半導(dǎo)體存儲(chǔ)器，以記錄數(shù)據(jù)或讀取數(shù)據(jù)。

【7.本公開的配置的概述】

到此為止，本公開的示例已參考具體示例來詳細(xì)描述。然而，在不脫離本公開的要點(diǎn)的情況下，本領(lǐng)域的技術(shù)人員可以更改示例或用另一示例替換此示例是顯而易見的。也就是說，本發(fā)明已經(jīng)以例證的形式公開并且不應(yīng)以限制性的方式解讀。為確定本公開的要點(diǎn)，應(yīng)引入權(quán)利要求。

順便提及，本文所公開的技術(shù)可以采用以下配置：

(1)信息處理裝置，包括：

成像單元；

顯示單元，顯示由所述成像單元拍攝的圖像；以及

數(shù)據(jù)處理單元，在所述顯示單元上顯示虛擬對(duì)象，所述虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，其中

所述數(shù)據(jù)處理單元輸入虛擬對(duì)象顯示控制數(shù)據(jù)，所述虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于所述錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于所述注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及

所述數(shù)據(jù)處理單元從所述成像單元拍攝的圖像中檢測(cè)所述錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示所述注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，所述顯示單元坐標(biāo)系作為所述顯示單元的坐標(biāo)系。

(2)根據(jù)(1)所述的信息處理裝置，其中

所述數(shù)據(jù)處理單元將從信標(biāo)發(fā)送器接收的信標(biāo)發(fā)送至搜索服務(wù)器，

所述數(shù)據(jù)處理單元從所述搜索服務(wù)器接收用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)的接入信息，所述虛擬對(duì)象顯示控制數(shù)據(jù)記錄作為通過拍攝所述信標(biāo)發(fā)送器附近的真實(shí)對(duì)象而獲得的參考圖像的錨點(diǎn)和所述真實(shí)對(duì)象與所述注冊(cè)信息設(shè)置點(diǎn)之間的相對(duì)位置信息，以及

所述數(shù)據(jù)處理單元使用接收到的所述接入信息從信息提供服務(wù)器接收包括所述信標(biāo)發(fā)送器附近的真實(shí)對(duì)象信息的虛擬對(duì)象顯示控制數(shù)據(jù)。

(3)根據(jù)(1)或(2)所述的信息處理裝置，其中

所述虛擬對(duì)象顯示控制數(shù)據(jù)包括與所述注冊(cè)信息設(shè)置點(diǎn)對(duì)應(yīng)的注冊(cè)信息，以及

所述數(shù)據(jù)處理單元將點(diǎn)位置標(biāo)識(shí)標(biāo)記和所述注冊(cè)信息疊加并顯示在所述顯示單元上顯示的拍攝圖像上。

(4)根據(jù)(1)到(3)中任一者所述的信息處理裝置，其中

所述虛擬對(duì)象顯示控制數(shù)據(jù)包括超文本標(biāo)記語言(HTML)數(shù)據(jù)，所述超文本標(biāo)記語言(HTML)數(shù)據(jù)記錄作為通過拍攝真實(shí)對(duì)象所獲得的參考圖像的錨點(diǎn)和所述注冊(cè)信息設(shè)置點(diǎn)在三維空間中的位置信息，以及

所述數(shù)據(jù)處理單元使用所述HTML數(shù)據(jù)執(zhí)行用于計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置的過程。

(5)根據(jù)(1)到(4)中任一者所述的信息處理裝置，其中

所述虛擬對(duì)象顯示控制數(shù)據(jù)包括記錄用于計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)的位置相對(duì)于所述信息處理裝置的位置的過程的步驟的程序，以及

所述數(shù)據(jù)處理單元使用所述程序執(zhí)行用于計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)的顯示位置的過程。

(6)根據(jù)(1)到(5)中任一者所述的信息處理裝置，其中

所述數(shù)據(jù)處理單元使用同時(shí)定位和地圖構(gòu)建(SLAM)來執(zhí)行用于從所述錨點(diǎn)的參考圖像計(jì)算所述信息處理裝置的三維位置的過程。

(7)根據(jù)(1)到(6)中任一者所述的信息處理裝置，其中

所述信息處理裝置具有檢測(cè)所述信息處理裝置的運(yùn)動(dòng)的運(yùn)動(dòng)傳感器，以及

所述數(shù)據(jù)處理單元使用來自所述運(yùn)動(dòng)傳感器的輸入信息和從所拍攝的圖像檢測(cè)到的真實(shí)對(duì)象(錨點(diǎn))來執(zhí)行用于計(jì)算所述信息處理裝置的三維位置的過程。

(8)根據(jù)(1)至(7)中的任一者所述的信息處理裝置，其中，所述數(shù)據(jù)處理單元根據(jù)在所述顯示單元上顯示的所拍攝的圖像的運(yùn)動(dòng)最新計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)相對(duì)于所述信息裝置的位置，并且執(zhí)行用于在新計(jì)算的位置中顯示點(diǎn)的顯示更新過程。

(9)根據(jù)(1)至(8)中的任一者所述的信息處理裝置，其中，所述數(shù)據(jù)處理單元根據(jù)記錄在所述虛擬對(duì)象顯示控制數(shù)據(jù)中的事件的檢測(cè)，執(zhí)行用于顯示所述虛擬對(duì)象或更新所述顯示的過程。

(10)根據(jù)(1)到(9)中任一者所述的信息處理裝置，其中

所述顯示單元為能夠顯示三維圖像的顯示單元，以及

所述數(shù)據(jù)處理單元計(jì)算用于左眼圖像和右眼圖像中的每一者的注冊(cè)信息設(shè)置點(diǎn)的顯示位置，并且在所計(jì)算的顯示位置中疊加并顯示作為虛擬對(duì)象的所述點(diǎn)位置標(biāo)識(shí)標(biāo)記。

(11)信息提供服務(wù)器，包括：

存儲(chǔ)單元，存儲(chǔ)包括在信標(biāo)發(fā)送器附近的真實(shí)對(duì)象信息的虛擬對(duì)象顯示控制數(shù)據(jù)；以及

通信單元，根據(jù)來自所述信息處理裝置的獲取控制信息請(qǐng)求傳送所述虛擬對(duì)象顯示控制數(shù)據(jù)，其中

所述虛擬對(duì)象顯示控制數(shù)據(jù)為以下信息：該信息記錄拍攝的在所述信標(biāo)發(fā)送器附近的真實(shí)對(duì)象的參考圖像和關(guān)于包含在所述參考圖像中的所述真實(shí)對(duì)象和所述真實(shí)對(duì)象附近的注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間中的位置信息。

(12)根據(jù)(11)所述的信息提供服務(wù)器，其中

所述虛擬對(duì)象顯示控制數(shù)據(jù)包括：

超文本標(biāo)記語言(HTML)數(shù)據(jù)，記錄關(guān)于所述真實(shí)對(duì)象和所述注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)中的位置信息，以及

記錄用于計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)在所述信息處理裝置的顯示單元上的顯示位置的過程的步驟的程序。

(13)搜索服務(wù)器，包括：

通信單元，從信息處理裝置接收由所述信息處理裝置接收到的信標(biāo)的傳送信號(hào)；以及

數(shù)據(jù)處理單元，基于所傳送的信標(biāo)執(zhí)行用于向所述信息處理裝置發(fā)送用于獲取虛擬對(duì)象顯示控制數(shù)據(jù)的接入信息的過程，所述虛擬對(duì)象顯示控制數(shù)據(jù)記錄包括在所述信標(biāo)的發(fā)送器附近的真實(shí)對(duì)象的參考圖像以及關(guān)于所述真實(shí)對(duì)象和所述注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)中的位置信息。

(14)由信息處理裝置執(zhí)行的信息處理方法，其中

所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元在所述顯示單元上顯示虛擬對(duì)象，所述虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，

所述數(shù)據(jù)處理單元輸入虛擬對(duì)象顯示控制數(shù)據(jù)，所述虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于所述錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于所述注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及

所述數(shù)據(jù)處理單元從所述成像單元拍攝的圖像中檢測(cè)所述錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示所述注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，所述顯示單元坐標(biāo)系作為所述顯示單元的坐標(biāo)系。

(15)促使信息處理裝置執(zhí)行信息處理的程序，其中

所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元在所述顯示單元上顯示虛擬對(duì)象，所述虛擬對(duì)象表示包含在所拍攝的圖像中的真實(shí)世界注冊(cè)信息設(shè)置點(diǎn)，以及

所述程序使所述數(shù)據(jù)處理單元：

輸入虛擬對(duì)象顯示控制數(shù)據(jù)，所述虛擬對(duì)象顯示控制數(shù)據(jù)記錄錨點(diǎn)作為在真實(shí)世界中拍攝的真實(shí)對(duì)象的參考圖像、關(guān)于所述錨點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息以及關(guān)于所述注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)系中的位置信息，以及

從所述成像單元拍攝的圖像中檢測(cè)所述錨點(diǎn)、從所檢測(cè)到的錨點(diǎn)在虛擬三維空間坐標(biāo)中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計(jì)算所述注冊(cè)信息設(shè)置點(diǎn)在顯示單元坐標(biāo)系中的位置并基于所計(jì)算的位置顯示表示所述注冊(cè)信息設(shè)置點(diǎn)的虛擬對(duì)象，其中，所述顯示單元坐標(biāo)系作為所述顯示單元的坐標(biāo)系。

另外，本文中所述的一系列過程可以通過硬件、軟件或兩者的組合來執(zhí)行。在通過軟件執(zhí)行該過程的情況下，記錄過程序列的程序可以被安裝在并入專用硬件中的計(jì)算機(jī)的存儲(chǔ)器中以用于執(zhí)行，或者可以被安裝在能夠執(zhí)行各種過程的通用計(jì)算機(jī)中以用于執(zhí)行。例如，可以將該程序預(yù)先記錄在記錄介質(zhì)中。程序可以從記錄介質(zhì)安裝到計(jì)算機(jī)中，或者程序可以經(jīng)由諸如局域網(wǎng)(LAN)和因特網(wǎng)的網(wǎng)絡(luò)接收并且被安裝在諸如內(nèi)部硬盤等的記錄介質(zhì)中。

順便提及，本文所述的各種過程可根據(jù)描述按時(shí)間順序執(zhí)行，或者可根據(jù)執(zhí)行過程的裝置的性能或根據(jù)需要并行或單獨(dú)地執(zhí)行。另外，本文所述的系統(tǒng)為多個(gè)裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。

工業(yè)適用性

如上所述，根據(jù)本公開的示例的配置，可以實(shí)現(xiàn)一種裝置和方法，通過該裝置和方法將注冊(cè)信息設(shè)置點(diǎn)(POI)轉(zhuǎn)換至坐標(biāo)系，其中，信息處理裝置的位置在原點(diǎn)與真實(shí)三維空間中的真實(shí)對(duì)象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊(cè)信息。

具體地，記錄作為通過拍攝真實(shí)對(duì)象獲得的參考圖像的錨點(diǎn)的顯示控制數(shù)據(jù)以及該錨點(diǎn)和注冊(cè)信息設(shè)置點(diǎn)在虛擬三維空間坐標(biāo)中的位置信息(位置、方向等)被輸入，該錨點(diǎn)從拍攝圖像被檢測(cè)、信息裝置在虛擬三維空間中的位置被確定、在終端坐標(biāo)系中的三維位置和顯示裝置在二維坐標(biāo)系中的顯示位置根據(jù)所確定的三維位置和被記錄在顯示控制數(shù)據(jù)中的注冊(cè)信息設(shè)置點(diǎn)的位置信息來計(jì)算以及點(diǎn)位置被顯示。

根據(jù)該配置，可以實(shí)現(xiàn)一種裝置和方法，通過該裝置和方法將注冊(cè)信息設(shè)置點(diǎn)(POI)轉(zhuǎn)換至坐標(biāo)系，其中，信息處理裝置的位置在原點(diǎn)與真實(shí)三維空間中的真實(shí)對(duì)象的位置精確關(guān)聯(lián)，并且根據(jù)信息處理裝置的位置和方向在顯示單元上顯示注冊(cè)信息。

附圖標(biāo)號(hào)列表

10 信息處理裝置(用戶終端)

20 信標(biāo)發(fā)送器

30 網(wǎng)絡(luò)

40 搜索服務(wù)器

50 信息提供服務(wù)器

101和102 注冊(cè)信息設(shè)置點(diǎn)(POI)

111和121 點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記

121和122 點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息

201和202 參考真實(shí)對(duì)象

211和212 注冊(cè)信息設(shè)置點(diǎn)(POI)

301 點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記

302 點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息

321 點(diǎn)(POI)位置標(biāo)識(shí)標(biāo)記

322 點(diǎn)(POI)對(duì)應(yīng)注冊(cè)信息

501 信標(biāo)檢測(cè)單元

502 數(shù)據(jù)處理單元(控制單元)

503 運(yùn)動(dòng)傳感器

504 存儲(chǔ)單元

505 相機(jī)

506 輸入單元

507 輸出單元(顯示單元等)

508 通信單元

509 各種傳感器

510 定時(shí)器

701 CPU

702 ROM

703 RAM

704 總線

705 輸入/輸出接口

706 輸入單元

707 輸出單元

708 存儲(chǔ)單元

709 通信單元

710 驅(qū)動(dòng)器

711 可移除介質(zhì)