本發(fā)明涉及一種汽車制造，特別是涉及一種基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法以及裝置。

背景技術(shù)：

1、隨著汽車制造業(yè)的快速發(fā)展，智能輔助駕駛功能組件步入眼簾，已經(jīng)成為汽車制造企業(yè)的重點研發(fā)對象。尤其是，駕駛?cè)藛T在車內(nèi)的實時狀態(tài)會影響智能駕駛車輛的運行情況。目前，現(xiàn)有駕駛車輛內(nèi)的駕駛?cè)藛T的實時狀態(tài)僅僅通過視頻攝像頭進(jìn)行反饋，用于在發(fā)生車輛異常時進(jìn)行調(diào)取使用。但是，僅僅通過攝像頭拍攝的視頻數(shù)據(jù)無法精準(zhǔn)復(fù)現(xiàn)駕駛?cè)藛T在車內(nèi)場景，無法適用于智能輔助駕駛功能，進(jìn)而影響智駕車輛的駕駛安全性判斷，大大降低了智駕車輛的運行效果。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法以及裝置，主要目的在于解決現(xiàn)有車內(nèi)場景采集數(shù)據(jù)無法為智駕車輛的駕駛安全性判斷提供準(zhǔn)確的數(shù)據(jù)參考的問題。

2、依據(jù)本發(fā)明一個方面，提供了一種基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法，包括：

3、獲取通過多模態(tài)傳感器采集到的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括音頻數(shù)據(jù)、紅外感應(yīng)數(shù)據(jù)、雷達(dá)感應(yīng)數(shù)據(jù)以及操作數(shù)據(jù)；

4、確定車輛的智駕模式，并從所述多模態(tài)數(shù)據(jù)中提取與所述智駕模式匹配的特征信息，所述特征信息包括行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個；

5、基于三維模型組件調(diào)取與所述特征信息匹配的場景構(gòu)件，并將所述場景構(gòu)件配置于所述車輛的基礎(chǔ)構(gòu)件中，得到車內(nèi)場景模型，所述場景構(gòu)件包括角色構(gòu)件、車輛控制構(gòu)件以及非車輛控制構(gòu)件；

6、響應(yīng)于所述車輛的場景顯示指令和/或車內(nèi)監(jiān)控指令，對所述車內(nèi)場景模型進(jìn)行渲染，并輸出渲染后的所述車內(nèi)場景模型。

7、進(jìn)一步地，所述從所述多模態(tài)數(shù)據(jù)中提取與所述智駕模式匹配的特征信息包括：

8、調(diào)取與所述智駕模式匹配的自然語言處理模型，并基于所述自然語言處理模型對所述音頻數(shù)據(jù)進(jìn)行分詞處理，得到智駕分詞結(jié)果；

9、基于已完成模型訓(xùn)練的圖像識別模型對所述紅外感應(yīng)數(shù)據(jù)以及所述雷達(dá)感應(yīng)數(shù)據(jù)進(jìn)行識別處理，得到行為識別結(jié)果；

10、調(diào)取與所述智駕模式匹配的操作信息庫，并基于所述操作信息庫查詢與所述操作數(shù)據(jù)匹配的操作意圖以及操作安全系數(shù)，所述操作信息庫中存儲有不同操作數(shù)據(jù)匹配的不同操作意圖以及操作安全系數(shù)；

11、基于所述智駕分詞結(jié)果、所述行為識別結(jié)果以及所述操作意圖、所述操作安全系數(shù)確定所述智駕模式下的行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個。

12、進(jìn)一步地，所述基于所述智駕分詞結(jié)果、所述行為識別結(jié)果以及所述操作意圖、所述操作安全系數(shù)確定所述智駕模式下的行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個包括：

13、基于已完成模型訓(xùn)練的多輸入多輸出預(yù)測模型對所述智駕分詞結(jié)果、所述行為識別結(jié)果以及所述操作意圖、所述操作安全系數(shù)進(jìn)行預(yù)測處理，得到所述智駕模式下的行為特征、意圖特征、駕駛特征、車輛運行特征；

14、其中，所述多輸入多輸出預(yù)測模型為基于樣本集對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到，所述樣本集包括作為輸入樣本的多個連續(xù)時間點對應(yīng)的分詞樣本、行為樣本、操作意圖樣本、操作安全系數(shù)樣本，以及作為輸出樣本的多個連續(xù)時間點對應(yīng)的行為特征樣本、意圖特征樣本、駕駛特征樣本、車輛運行特征樣本。

15、進(jìn)一步地，所述基于三維模型組件調(diào)取與所述特征信息匹配的場景構(gòu)件，并將所述場景構(gòu)件配置于所述車輛的基礎(chǔ)構(gòu)件中，得到車內(nèi)場景模型之前，所述方法還包括：

16、獲取不同行為特征、不同意圖特征、不同駕駛特征以及不同車輛運行特征的場景圖像，并獲取所述車輛的車輛圖像；

17、啟動所述三維模型組件，并通過所述三維模型組件創(chuàng)建所述場景圖像對應(yīng)的場景構(gòu)件以及所述車輛圖像的基礎(chǔ)構(gòu)件；

18、獲取所述車輛的車內(nèi)關(guān)聯(lián)映射關(guān)系，并按照所述車內(nèi)關(guān)聯(lián)映射關(guān)系將所述場景構(gòu)件與所述基礎(chǔ)構(gòu)件進(jìn)行綁定，所述車內(nèi)關(guān)聯(lián)映射關(guān)系中包括不同場景構(gòu)件處于所述基礎(chǔ)構(gòu)件的車內(nèi)位置；

19、所述將所述場景構(gòu)件配置于所述車輛的基礎(chǔ)構(gòu)件中，得到車內(nèi)場景模型包括：

20、基于所述場景構(gòu)件確定具有綁定關(guān)系的基礎(chǔ)構(gòu)件的車內(nèi)位置，并將所述場景構(gòu)件配置于所述車內(nèi)位置上。

21、進(jìn)一步地，所述確定車輛的智駕模式包括：

22、響應(yīng)于所述車輛的智駕啟動指令，識別所述智駕啟動指令中的模式事件或模式關(guān)鍵詞，并基于所述模式事件或所述模式關(guān)鍵詞確定匹配的預(yù)期智駕模式；

23、獲取所述車輛的環(huán)境信息，所述環(huán)境信息用于表征所述車輛行駛過程中預(yù)設(shè)范圍內(nèi)的實時行駛信息；

24、當(dāng)所述環(huán)境信息匹配預(yù)設(shè)避碰條件時，將所述預(yù)期智駕模式確定為所述車輛的智駕模式；

25、當(dāng)所述環(huán)境信息不匹配預(yù)設(shè)避碰條件時，則輸出變更指令，以變更智駕模式。

26、進(jìn)一步地，所述響應(yīng)于所述車輛的場景顯示指令和/或車內(nèi)監(jiān)控指令，對所述車內(nèi)場景模型進(jìn)行渲染包括：

27、響應(yīng)于所述車輛的場景顯示指令，識別所述場景構(gòu)件的類別，并對分類后的所述場景構(gòu)件進(jìn)行分色渲染，以輸出渲染后的所述車內(nèi)場景模型；和/或，

28、響應(yīng)于所述車輛的車內(nèi)監(jiān)控指令，按照所述車內(nèi)監(jiān)控指令中攜帶的監(jiān)控對象確定目標(biāo)場景構(gòu)件，并對所述目標(biāo)場景構(gòu)件進(jìn)行輪廓渲染，以按照渲染后的所述車內(nèi)場景模型進(jìn)行輸出。

29、進(jìn)一步地，所述方法還包括：

30、當(dāng)檢測到所述智駕模式綁定有監(jiān)控服務(wù)時，則獲取所述監(jiān)控服務(wù)的服務(wù)時長，并按照所述服務(wù)時長獲取多個時刻對應(yīng)的車內(nèi)場景模型組；

31、通過所述車內(nèi)場景模型組的場景變更信息、構(gòu)件變更信息結(jié)合所述車輛的運行數(shù)據(jù)確定是否觸發(fā)所述監(jiān)控服務(wù)；

32、若觸發(fā)所述監(jiān)控服務(wù)，則向所述車輛的控制端發(fā)送所述監(jiān)控服務(wù)的服務(wù)控制信息；

33、其中，所述監(jiān)控服務(wù)包括行為監(jiān)控、語義監(jiān)控、車況監(jiān)控。

34、依據(jù)本發(fā)明另一個方面，提供了一種基于多模態(tài)感知的智駕車輛車內(nèi)場景生成裝置，包括：

35、獲取模塊，用于獲取通過多模態(tài)傳感器采集到的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括音頻數(shù)據(jù)、紅外感應(yīng)數(shù)據(jù)、雷達(dá)感應(yīng)數(shù)據(jù)以及操作數(shù)據(jù)；

36、確定模塊，用于確定車輛的智駕模式，并從所述多模態(tài)數(shù)據(jù)中提取與所述智駕模式匹配的特征信息，所述特征信息包括行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個；

37、配置模塊，用于基于三維模型組件調(diào)取與所述特征信息匹配的場景構(gòu)件，并將所述場景構(gòu)件配置于所述車輛的基礎(chǔ)構(gòu)件中，得到車內(nèi)場景模型，所述場景構(gòu)件包括角色構(gòu)件、車輛控制構(gòu)件以及非車輛控制構(gòu)件；

38、渲染模塊，用于響應(yīng)于所述車輛的場景顯示指令和/或車內(nèi)監(jiān)控指令，對所述車內(nèi)場景模型進(jìn)行渲染，并輸出渲染后的所述車內(nèi)場景模型。

39、進(jìn)一步地，所述確定模塊，包括：

40、分詞處理單元，用于調(diào)取與所述智駕模式匹配的自然語言處理模型，并基于所述自然語言處理模型對所述音頻數(shù)據(jù)進(jìn)行分詞處理，得到智駕分詞結(jié)果；

41、識別處理單元，用于基于已完成模型訓(xùn)練的圖像識別模型對所述紅外感應(yīng)數(shù)據(jù)以及所述雷達(dá)感應(yīng)數(shù)據(jù)進(jìn)行識別處理，得到行為識別結(jié)果；

42、查詢單元，用于調(diào)取與所述智駕模式匹配的操作信息庫，并基于所述操作信息庫查詢與所述操作數(shù)據(jù)匹配的操作意圖以及操作安全系數(shù)，所述操作信息庫中存儲有不同操作數(shù)據(jù)匹配的不同操作意圖以及操作安全系數(shù)；

43、第一確定單元，用于基于所述智駕分詞結(jié)果、所述行為識別結(jié)果以及所述操作意圖、所述操作安全系數(shù)確定所述智駕模式下的行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個。

44、進(jìn)一步地，在具體應(yīng)用場景中，所述確定單元具體用于基于已完成模型訓(xùn)練的多輸入多輸出預(yù)測模型對所述智駕分詞結(jié)果、所述行為識別結(jié)果以及所述操作意圖、所述操作安全系數(shù)進(jìn)行預(yù)測處理，得到所述智駕模式下的行為特征、意圖特征、駕駛特征、車輛運行特征；

45、其中，所述多輸入多輸出預(yù)測模型為基于樣本集對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到，所述樣本集包括作為輸入樣本的多個連續(xù)時間點對應(yīng)的分詞樣本、行為樣本、操作意圖樣本、操作安全系數(shù)樣本，以及作為輸出樣本的多個連續(xù)時間點對應(yīng)的行為特征樣本、意圖特征樣本、駕駛特征樣本、車輛運行特征樣本。

46、進(jìn)一步地，所述裝置還包括：

47、所述獲取模塊，還用于獲取不同行為特征、不同意圖特征、不同駕駛特征以及不同車輛運行特征的場景圖像，并獲取所述車輛的車輛圖像；

48、創(chuàng)建模塊，用于啟動所述三維模型組件，并通過所述三維模型組件創(chuàng)建所述場景圖像對應(yīng)的場景構(gòu)件以及所述車輛圖像的基礎(chǔ)構(gòu)件；

49、綁定模塊，用于獲取所述車輛的車內(nèi)關(guān)聯(lián)映射關(guān)系，并按照所述車內(nèi)關(guān)聯(lián)映射關(guān)系將所述場景構(gòu)件與所述基礎(chǔ)構(gòu)件進(jìn)行綁定，所述車內(nèi)關(guān)聯(lián)映射關(guān)系中包括不同場景構(gòu)件處于所述基礎(chǔ)構(gòu)件的車內(nèi)位置；

50、所述配置模塊，具體用于基于所述場景構(gòu)件確定具有綁定關(guān)系的基礎(chǔ)構(gòu)件的車內(nèi)位置，并將所述場景構(gòu)件配置于所述車內(nèi)位置上。

51、進(jìn)一步地，所述確定模塊，包括：

52、第二確定單元，用于響應(yīng)于所述車輛的智駕啟動指令，識別所述智駕啟動指令中的模式事件或模式關(guān)鍵詞，并基于所述模式事件或所述模式關(guān)鍵詞確定匹配的預(yù)期智駕模式；

53、獲取單元，用于獲取所述車輛的環(huán)境信息，所述環(huán)境信息用于表征所述車輛行駛過程中預(yù)設(shè)范圍內(nèi)的實時行駛信息；

54、第三確定單元，用于當(dāng)所述環(huán)境信息匹配預(yù)設(shè)避碰條件時，將所述預(yù)期智駕模式確定為所述車輛的智駕模式；

55、當(dāng)所述環(huán)境信息不匹配預(yù)設(shè)避碰條件時，則輸出變更指令，以變更智駕模式。

56、進(jìn)一步地，所述渲染模塊，包括：

57、分色渲染單元，用于響應(yīng)于所述車輛的場景顯示指令，識別所述場景構(gòu)件的類別，并對分類后的所述場景構(gòu)件進(jìn)行分色渲染，以輸出渲染后的所述車內(nèi)場景模型；和/或，

58、輪廓渲染單元，用于響應(yīng)于所述車輛的車內(nèi)監(jiān)控指令，按照所述車內(nèi)監(jiān)控指令中攜帶的監(jiān)控對象確定目標(biāo)場景構(gòu)件，并對所述目標(biāo)場景構(gòu)件進(jìn)行輪廓渲染，以按照渲染后的所述車內(nèi)場景模型進(jìn)行輸出。

59、進(jìn)一步地，所述裝置還包括：

60、所述獲取模塊，還用于當(dāng)檢測到所述智駕模式綁定有監(jiān)控服務(wù)時，則獲取所述監(jiān)控服務(wù)的服務(wù)時長，并按照所述服務(wù)時長獲取多個時刻對應(yīng)的車內(nèi)場景模型組；

61、所述確定模塊，還用于通過所述車內(nèi)場景模型組的場景變更信息、構(gòu)件變更信息結(jié)合所述車輛的運行數(shù)據(jù)確定是否觸發(fā)所述監(jiān)控服務(wù)；

62、發(fā)送模塊，用于若觸發(fā)所述監(jiān)控服務(wù)，則向所述車輛的控制端發(fā)送所述監(jiān)控服務(wù)的服務(wù)控制信息；

63、其中，所述監(jiān)控服務(wù)包括行為監(jiān)控、語義監(jiān)控、車況監(jiān)控。

64、根據(jù)本發(fā)明的又一方面，提供了一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行如上述基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法對應(yīng)的操作。

65、根據(jù)本發(fā)明的再一方面，提供了一種終端，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

66、所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法對應(yīng)的操作。

67、借由上述技術(shù)方案，本發(fā)明實施例提供的技術(shù)方案至少具有下列優(yōu)點：

68、本發(fā)明提供了一種基于多模態(tài)感知的智駕車輛車內(nèi)場景生成方法及裝置，首先獲取通過多模態(tài)傳感器采集到的多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括音頻數(shù)據(jù)、紅外感應(yīng)數(shù)據(jù)、雷達(dá)感應(yīng)數(shù)據(jù)以及操作數(shù)據(jù)；確定車輛的智駕模式，并從所述多模態(tài)數(shù)據(jù)中提取與所述智駕模式匹配的特征信息，所述特征信息包括行為特征、意圖特征、駕駛特征、車輛運行特征中至少一個；基于三維模型組件調(diào)取與所述特征信息匹配的場景構(gòu)件，并將所述場景構(gòu)件配置于所述車輛的基礎(chǔ)構(gòu)件中，得到車內(nèi)場景模型，所述場景構(gòu)件包括角色構(gòu)件、車輛控制構(gòu)件以及非車輛控制構(gòu)件；響應(yīng)于所述車輛的場景顯示指令和/或車內(nèi)監(jiān)控指令，對所述車內(nèi)場景模型進(jìn)行渲染，并輸出渲染后的所述車內(nèi)場景模型。與現(xiàn)有技術(shù)相比，本發(fā)明實施例通過包括音頻數(shù)據(jù)、紅外感應(yīng)數(shù)據(jù)、雷達(dá)感應(yīng)數(shù)據(jù)以及操作數(shù)據(jù)的多模態(tài)數(shù)據(jù)進(jìn)行特征信息提取，能夠在無攝像頭的情況下，準(zhǔn)確且全方位的采集車內(nèi)場景的信息，并通過三維模型的形式呈現(xiàn)車內(nèi)場景，在保障車內(nèi)人員隱私的同時，滿足智駕車輛的駕駛安全性判斷對數(shù)據(jù)的需求，從而提升智駕車輛的運行效果。

69、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。