本發(fā)明涉及一種工程機械的控制系統(tǒng)及方法。更詳細地，涉及用于在諸如輪式裝載機、挖掘機等的工程機械進行作業(yè)或行駛時認知前方障礙物的控制系統(tǒng)及利用其的工程機械的控制方法。

背景技術：

1、挖掘機、輪式裝載機等工程機械廣泛用于在建筑工地進行挖掘并運輸諸如土、沙等裝載物，并裝載到諸如自卸車的貨車的作業(yè)等。這些作業(yè)是通過驅動如鏟斗和動臂等設置在工程機械中的作業(yè)裝置來執(zhí)行的。但是，上述作業(yè)裝置在驅動或行駛過程中可能會遮擋或限制作業(yè)者的前方視野，如上所述的作業(yè)裝置對作業(yè)者前方視野的妨礙可能會成為引發(fā)安全事故的原因。

技術實現(xiàn)思路

1、技術問題

2、本發(fā)明的一課題在于，提供一種能夠改善被作業(yè)裝置限制的前方視野的工程機械的控制系統(tǒng)。

3、本發(fā)明的另一課題在于，提供一種利用上述控制系統(tǒng)的工程機械的控制方法。

4、技術方案

5、用于達成所述本發(fā)明的一課題的示例性的實施例的工程機械的控制系統(tǒng)包括：上部攝像頭，其設置在后方車身的駕駛室上，拍攝所述駕駛室的前方；下部攝像頭，其設置在能夠旋轉地連接于所述后方車身的前方車身上，拍攝所述前方車身的前方；客體識別部，其用于在分別由所述上部攝像頭及所述下部攝像頭拍攝的第一影像及第二影像中識別客體，并決定基于識別的所述客體的位置的警告信息；影像處理部，其用于將所述第一影像及第二影像合成為一個影像，并在合成的所述影像中的透明化處理區(qū)域內對所述第一影像及第二影像中的至少一個影像進行透明化處理，并對所述客體的警告信息進行標簽處理；以及顯示裝置，其用于顯示標記有所述警告信息的合成影像。

6、在示例性的實施例中，所述客體識別部可以包括：第一形狀識別部，其用于在所述第一影像中識別所述客體并決定所述客體的位置；第二形狀識別部，其用于在所述第二影像中識別所述客體并決定所述客體的位置；以及警告信息決定部，其用于基于所述客體的位置決定識別的所述客體的警告信息。

7、在示例性的實施例中，當識別的所述客體位于與所述第一影像中的所述透明化處理區(qū)域相對應的第一區(qū)域外部時，所述警告信息決定部可以以第一標簽決定所述警告信息；當識別的所述客體位于與所述第二影像中的所述透明化處理區(qū)域相對應的第二區(qū)域內部時，所述警告信息決定部可以以第二標簽決定所述警告信息。

8、在示例性的實施例中，當識別的所述客體位于所述第一影像中的所述第一區(qū)域外部時，所述影像處理部可以用第一顏色的邊界框對識別的所述客體進行顯示處理；當識別的所述客體位于所述第二影像中的所述第二區(qū)域內部時，所述影像處理部可以用不同于所述第一顏色的第二顏色的邊界框對識別的所述客體進行顯示處理。

9、在示例性的實施例中，所述影像處理部可以在以所述第一影像為基準對所述第二影像的一部分進行裁切后，將所述第二影像的裁切的影像合成到所述第一影像。

10、在示例性的實施例中，所述影像處理部可以對所述第一影像中對應于所述透明化處理區(qū)域的第一區(qū)域以具有第一透明度的方式進行透明處理；將所述第二影像中對應于所述透明化處理區(qū)域的第二區(qū)域決定為裁切區(qū)域，并對決定的所述第二區(qū)域以具有第二透明度的方式進行透明處理；并且將從所述第二影像提取的裁切影像合成到所述第一影像。

11、在示例性的實施例中，所述第一透明度和所述第二透明度可以被設定得彼此相同或不同。

12、在示例性的實施例中，所述影像處理部可以將所述第一影像的一部分設定為第一合成區(qū)域，將所述第二影像的一部分設定為第二合成區(qū)域，對所述第二影像的所述第二合成區(qū)域進行半透明處理，并將半透明處理的所述第二合成區(qū)域合成到所述第一影像的所述第一合成區(qū)域以制作合成的所述合成影像。

13、在示例性的實施例中，所述工程機械的控制系統(tǒng)還可以包括作業(yè)裝置姿勢檢測部，所述作業(yè)裝置姿勢檢測部用于檢測前方作業(yè)裝置的姿勢，所述影像處理部可以根據(jù)由所述作業(yè)裝置姿勢檢測部檢測的所述前方作業(yè)裝置的姿勢，在所述透明化處理區(qū)域中對所述第一影像及第二影像中的至少一個影像進行透明化處理。

14、在示例性的實施例中，所述影像處理部可以在所述前方作業(yè)裝置的至少一部分侵犯已設定的位置時在所述透明化處理區(qū)域對所述第一影像進行透明化，并且在所述前方作業(yè)裝置未侵犯所述已設定的位置時在所述透明化處理區(qū)域對所述第二影像進行透明化。

15、在示例性的實施例中，所述工程機械的控制系統(tǒng)還可以包括輸入部，所述輸入部用于設定所述影像處理部中的影像處理條件。

16、在示例性的實施例中，所述影像處理條件可以包括所述第一影像及第二影像的透明化轉換時間點或所述透明化處理區(qū)域在所述顯示裝置的整個顯示區(qū)域中所占的面積。

17、在示例性的實施例中，所述影像處理部可以在所述透明化處理區(qū)域中處理為用線或虛線等顯示在所述第一影像或述第二影像中被拍攝并透明化的動臂或鏟斗外觀的輪廓。

18、在示例性的實施例中，透明化的所述動臂或鏟斗的輪廓可以通過對實際在第一影像或第二影像中被拍攝的動臂或鏟斗圖像進行透明化處理來顯示。

19、在示例性的實施例中，所述影像處理部可以在所述透明化處理區(qū)域中對所述第一影像及第二影像中結合于所述前方車身的動臂或鏟斗影像選擇性地進行透明化處理。

20、在用于達成上述本發(fā)明的另一課題的示例性的實施例的工程機械的控制方法中，從設置在后方車身的駕駛室上的上部攝像頭獲取所述駕駛室的前方的第一影像。從設置在能夠旋轉地連接于所述后方車身的前方車身上的下部攝像頭獲取所述前方車身的前方的第二影像。在所述第一影像及所述第二影像中識別客體，并決定基于識別的所述客體的位置的警告信息。將所述第一影像和第二影像合成為一個影像。在合成的所述影像中的透明化處理區(qū)域內對所述第一影像及第二影像中的至少一個影像進行透明化處理，并對所述客體的警告信息進行標簽處理。通過顯示裝置顯示標記有所述警告信息的合成影像。

21、在示例性的實施例中，在所述第一影像及所述第二影像中識別客體，并決定基于識別的所述客體的位置的警告信息的步驟可以包括：在所述第一影像中識別所述客體并決定所述客體的位置；在所述第二影像中識別所述客體并決定所述客體的位置；基于所述客體的位置決定識別的所述客體的警告信息。

22、在示例性的實施例中，基于所述客體的位置決定識別的所述客體的警告信息的步驟可以包括：當識別的所述客體位于與所述第一影像中的所述透明化處理區(qū)域相對應的第一區(qū)域外部時，以第一標簽決定所述警告信息；當識別的所述客體位于與所述第二影像中的所述透明化處理區(qū)域相對應的第二區(qū)域內部時，以第二標簽決定所述警告信息。

23、在示例性的實施例中，對所述客體的警告信息進行標簽處理的步驟可以包括：當識別的所述客體位于所述第一影像中的所述第一區(qū)域外部時，用第一顏色的邊界框對識別的所述客體進行顯示處理；當識別的所述客體位于所述第二影像中的所述第二區(qū)域內部時，用不同于所述第一顏色的第二顏色的邊界框對識別的所述客體進行顯示處理。

24、在示例性的實施例中，對所述第一影像及第二影像中的至少一個影像進行透明化處理的步驟可以包括：在以所述第一影像為基準對所述第二影像的一部分進行裁切后，將所述第二影像的裁切的影像合成到所述第一影像。

25、在示例性的實施例中，對所述第一影像及第二影像中的至少一個影像進行透明化處理的步驟可以包括：對所述第一影像中對應于所述透明化處理區(qū)域的第一區(qū)域以具有第一透明度的方式進行透明處理；將所述第二影像中對應于所述透明化處理區(qū)域的第二區(qū)域決定為裁切區(qū)域，并對決定的所述第二區(qū)域以具有第二透明度的方式進行透明處理；將從所述第二影像提取的裁切影像合成到所述第一影像。

26、在示例性的實施例中，所述工程機械的控制方法還可以包括：檢測前方作業(yè)裝置的姿勢，在所述透明化處理區(qū)域內對所述第一影像及第二影像中的至少一個影像進行透明化處理的步驟可以包括：根據(jù)檢測的所述前方作業(yè)裝置的姿勢對所述第一影像及第二影像中的至少一個影像進行透明化處理。

27、在示例性的實施例中，所述工程機械的控制方法還可以包括：設定使所述第一影像及第二影像透明化的影像處理條件。

28、在示例性的實施例中，所述影像處理條件可以包括所述第一影像及第二影像的透明化轉換時間點或所述透明化處理區(qū)域在所述顯示裝置的整個顯示區(qū)域中所占的面積。

29、發(fā)明的效果

30、根據(jù)示例性的實施例，可以將從設置在輪式裝載機的駕駛室上的上部攝像頭及設置在前方車身上的下部攝像頭拍攝的所述第一影像和所述第二影像合成為一個影像，在透明化處理區(qū)域內對所述第一影像及第二影像中的至少一個影像進行透明化處理，并通過顯示裝置顯示透明化處理的所述影像。

31、與此同時，可以在所述第一影像及所述第二影像中識別客體，并決定識別的所述客體的警告信息?？梢栽谕该骰幚淼乃龊铣捎跋裰袑ψR別的所述客體的警告信息進行標簽處理。當識別的所述客體處于碰撞可能性高的位置時，可以用紅色邊界框對識別的所述客體進行顯示處理。在這樣的碰撞可能性較高的狀況下，可以在合成的所述影像中針對所述透明化處理區(qū)域內部合成紅色圖像，或者以使紅色圖像閃爍的方式進行閃爍處理。

32、因此，作業(yè)者可以通過紅色的邊界框或所述透明化處理區(qū)域內的紅色圖像的閃爍來識別輪式裝載機前方存在碰撞可能性較高的客體。相應地，可以增加作業(yè)者的認知力，確保穩(wěn)定性，從而防安全事故于未然。

33、但是，本發(fā)明的效果并不限于上文中述及的效果，可以在不脫離本發(fā)明的思想和領域的范圍內進行多樣化的擴展。