本技術(shù)涉及工業(yè)自動(dòng)化領(lǐng)域，尤其涉及一種三維建模機(jī)器人視覺(jué)引導(dǎo)方法、系統(tǒng)、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化的快速發(fā)展，工件的裝配精度直接影響了產(chǎn)品的可靠性。為保證裝配精度，需要在裝配過(guò)程中對(duì)工件的空間位置和姿態(tài)進(jìn)行精確引導(dǎo)，這對(duì)裝配引導(dǎo)技術(shù)提出了更高的要求。

2、目前，工業(yè)生產(chǎn)中常用的裝配引導(dǎo)方法主要采用基于激光跟蹤儀的定位引導(dǎo)技術(shù)，即通過(guò)在工件表面安裝反射靶標(biāo)，利用激光跟蹤儀追蹤靶標(biāo)位置，獲取工件的空間坐標(biāo)信息。機(jī)器人根據(jù)空間坐標(biāo)信息，調(diào)整工件位置，直至工件到達(dá)預(yù)期安裝位置。

3、然而，激光跟蹤儀需要在工件表面安裝反射靶標(biāo)，增加了裝配準(zhǔn)備工作量，且靶標(biāo)可能在使用過(guò)程中脫落或損壞，增加了操作復(fù)雜性。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種三維建模機(jī)器人視覺(jué)引導(dǎo)方法、系統(tǒng)、介質(zhì)及產(chǎn)品，用于提高裝配精度和效率。

2、第一方面，本技術(shù)提供了一種三維建模機(jī)器人視覺(jué)引導(dǎo)方法，應(yīng)用于視覺(jué)引導(dǎo)系統(tǒng)，方法包括：獲取雙目相機(jī)采集的工件的第一立體圖像對(duì)，并根據(jù)預(yù)設(shè)標(biāo)定板確定雙目相機(jī)的初始參數(shù)；基于初始參數(shù)標(biāo)定雙目相機(jī)的內(nèi)外參數(shù)，以建立雙目相機(jī)的空間幾何關(guān)系模型；根據(jù)空間幾何關(guān)系模型，對(duì)第一立體圖像對(duì)進(jìn)行畸變校正和極線(xiàn)校正，得到校正后的第二立體圖像對(duì)；將第二立體圖像對(duì)與標(biāo)準(zhǔn)工件三維模型進(jìn)行特征匹配，以提取第二立體圖像對(duì)中的特征點(diǎn)集和標(biāo)準(zhǔn)工件三維模型中的標(biāo)準(zhǔn)特征點(diǎn)集；將特征點(diǎn)集與標(biāo)準(zhǔn)特征點(diǎn)集進(jìn)行三維空間配準(zhǔn)，計(jì)算得到剛體變換矩陣作為實(shí)時(shí)位姿測(cè)量基準(zhǔn)；根據(jù)空間幾何關(guān)系模型、實(shí)時(shí)位姿測(cè)量基準(zhǔn)和實(shí)時(shí)采集的環(huán)境溫度數(shù)據(jù)，確定特征點(diǎn)集進(jìn)行熱補(bǔ)償后的工件實(shí)時(shí)位置數(shù)據(jù)，工件實(shí)時(shí)位置數(shù)據(jù)用于表示工件在裝配過(guò)程中的實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)；將工件實(shí)時(shí)位置數(shù)據(jù)與預(yù)設(shè)工件位置數(shù)據(jù)進(jìn)行比對(duì)，計(jì)算工件的空間位置偏差值和姿態(tài)偏差值，預(yù)設(shè)工件位置數(shù)據(jù)用于表示工件在裝配過(guò)程中的目標(biāo)位置和目標(biāo)姿態(tài)；基于空間位置偏差值和姿態(tài)偏差值，生成最優(yōu)調(diào)整路徑，并將最優(yōu)調(diào)整路徑轉(zhuǎn)換為包含平移分量和旋轉(zhuǎn)分量的空間引導(dǎo)矢量，平移分量用于指示工件的線(xiàn)性移動(dòng)方向和距離，旋轉(zhuǎn)分量用于指示工件的角度調(diào)整方向和幅度，最優(yōu)調(diào)整路徑用于將工件從實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)調(diào)整至目標(biāo)位置和目標(biāo)姿態(tài)；在視覺(jué)引導(dǎo)界面上實(shí)時(shí)顯示空間引導(dǎo)矢量。

3、通過(guò)采用上述技術(shù)方案，實(shí)現(xiàn)了對(duì)工件實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)的精確測(cè)量，視覺(jué)引導(dǎo)系統(tǒng)自動(dòng)計(jì)算工件實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)與目標(biāo)位置和目標(biāo)姿態(tài)的空間位置偏差值和姿態(tài)偏差值，從而生成最優(yōu)調(diào)整路徑，并將其轉(zhuǎn)換為直觀(guān)的空間引導(dǎo)矢量顯示在視覺(jué)引導(dǎo)界面上。這種無(wú)接觸式的視覺(jué)引導(dǎo)方式，避免了在工件表面安裝靶標(biāo)等標(biāo)識(shí)物，減少了裝配準(zhǔn)備工作量，同時(shí)提高了裝配精度和效率。

4、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，基于初始參數(shù)標(biāo)定雙目相機(jī)的內(nèi)外參數(shù)，以建立雙目相機(jī)的空間幾何關(guān)系模型，具體包括：采集預(yù)設(shè)數(shù)量的標(biāo)定板圖像對(duì)，每個(gè)標(biāo)定板圖像對(duì)包括左相機(jī)圖像和右相機(jī)圖像；提取左相機(jī)圖像和右相機(jī)圖像中的角點(diǎn)特征，以建立世界坐標(biāo)系與圖像坐標(biāo)系之間的對(duì)應(yīng)關(guān)系；基于初始參數(shù)和對(duì)應(yīng)關(guān)系，迭代優(yōu)化雙目相機(jī)的焦距、主點(diǎn)坐標(biāo)和鏡頭畸變系數(shù)，得到雙目相機(jī)的內(nèi)參數(shù)；基于內(nèi)參數(shù)和對(duì)應(yīng)關(guān)系，計(jì)算左相機(jī)與右相機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，得到雙目相機(jī)的外參數(shù)；根據(jù)內(nèi)參數(shù)和外參數(shù)，構(gòu)建基礎(chǔ)矩陣和本質(zhì)矩陣，并建立雙目相機(jī)的空間幾何關(guān)系模型。

5、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)采集預(yù)設(shè)數(shù)量的標(biāo)定板圖像對(duì)并提取角點(diǎn)特征，建立了世界坐標(biāo)系與圖像坐標(biāo)系之間的精確對(duì)應(yīng)關(guān)系。視覺(jué)引導(dǎo)系統(tǒng)迭代優(yōu)化雙目相機(jī)的焦距、主點(diǎn)坐標(biāo)和鏡頭畸變系數(shù)，得到雙目相機(jī)的內(nèi)參數(shù)，計(jì)算左右相機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，得到雙目相機(jī)的外參數(shù)，最終構(gòu)建基礎(chǔ)矩陣和本質(zhì)矩陣，形成完整的空間幾何關(guān)系模型。這種系統(tǒng)性的相機(jī)標(biāo)定流程確保了后續(xù)三維重建和位置測(cè)量的準(zhǔn)確性，為整個(gè)視覺(jué)引導(dǎo)系統(tǒng)奠定了可靠的基礎(chǔ)。

6、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，將特征點(diǎn)集與標(biāo)準(zhǔn)特征點(diǎn)集進(jìn)行三維空間配準(zhǔn)，計(jì)算得到剛體變換矩陣作為實(shí)時(shí)位姿測(cè)量基準(zhǔn)，具體包括：計(jì)算特征點(diǎn)集的第一中心點(diǎn)坐標(biāo)和標(biāo)準(zhǔn)特征點(diǎn)集的第二中心點(diǎn)坐標(biāo)；將特征點(diǎn)集平移，使得第一中心點(diǎn)坐標(biāo)與第二中心點(diǎn)坐標(biāo)重合，以確定平移參數(shù)；計(jì)算平移后的特征點(diǎn)集相對(duì)于標(biāo)準(zhǔn)特征點(diǎn)集的旋轉(zhuǎn)角度；根據(jù)旋轉(zhuǎn)角度和平移參數(shù)，生成剛體變換矩陣，作為實(shí)時(shí)位姿測(cè)量基準(zhǔn)。

7、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)采用了基于中心點(diǎn)對(duì)齊的三維空間配準(zhǔn)技術(shù)。首先，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算特征點(diǎn)集與標(biāo)準(zhǔn)特征點(diǎn)集的中心點(diǎn)坐標(biāo)并使其重合，確定平移參數(shù)。然后，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算配準(zhǔn)后的特征點(diǎn)集相對(duì)于標(biāo)準(zhǔn)特征點(diǎn)集的旋轉(zhuǎn)角度。最終，視覺(jué)引導(dǎo)系統(tǒng)根據(jù)旋轉(zhuǎn)角度和平移參數(shù)生成剛體變換矩陣。這種配準(zhǔn)方法能夠快速準(zhǔn)確地建立工件當(dāng)前位姿與標(biāo)準(zhǔn)位姿之間的空間變換關(guān)系，為實(shí)時(shí)位姿測(cè)量提供了可靠的基準(zhǔn)，有效提升了視覺(jué)引導(dǎo)系統(tǒng)的測(cè)量精度和實(shí)時(shí)性。

8、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，在根據(jù)空間幾何關(guān)系模型、實(shí)時(shí)位姿測(cè)量基準(zhǔn)和實(shí)時(shí)采集的環(huán)境溫度數(shù)據(jù)，確定特征點(diǎn)集進(jìn)行熱補(bǔ)償后的工件實(shí)時(shí)位置數(shù)據(jù)的步驟之前，方法還包括：獲取工件在標(biāo)準(zhǔn)工作溫度下的標(biāo)準(zhǔn)特征點(diǎn)位置和在歷史環(huán)境溫度數(shù)據(jù)下的歷史特征點(diǎn)位置；基于歷史環(huán)境溫度數(shù)據(jù)和標(biāo)準(zhǔn)工作溫度，確定歷史溫度差值；基于歷史特征點(diǎn)位置和標(biāo)準(zhǔn)特征點(diǎn)位置，確定歷史特征點(diǎn)位置差值；將歷史溫度差值作為輸入，將歷史特征點(diǎn)位置差值作為輸出，對(duì)預(yù)設(shè)模型進(jìn)行訓(xùn)練，得到熱變形預(yù)測(cè)模型，熱變形預(yù)測(cè)模型用于表示溫度變化對(duì)工件的形狀和尺寸的影響。

9、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)基于工件在標(biāo)準(zhǔn)工作溫度和歷史不同溫度下的特征點(diǎn)位置，量化溫度變化與特征點(diǎn)位置變化的關(guān)系，將其作為輸入輸出訓(xùn)練預(yù)設(shè)模型得到熱變形預(yù)測(cè)模型。熱變形預(yù)測(cè)模型因基于工件自身豐富真實(shí)的歷史數(shù)據(jù)訓(xùn)練，對(duì)特定工件適應(yīng)性強(qiáng)，能精準(zhǔn)表示溫度對(duì)工件形狀和尺寸的影響，從而在實(shí)際生產(chǎn)中可依據(jù)實(shí)時(shí)溫度提前預(yù)測(cè)變形，提前干預(yù)補(bǔ)償，減少加工誤差，提高加工精度。

10、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，根據(jù)空間幾何關(guān)系模型、實(shí)時(shí)位姿測(cè)量基準(zhǔn)和實(shí)時(shí)采集的環(huán)境溫度數(shù)據(jù)，確定特征點(diǎn)集進(jìn)行熱補(bǔ)償后的工件實(shí)時(shí)位置數(shù)據(jù)，具體包括：計(jì)算環(huán)境溫度數(shù)據(jù)與標(biāo)準(zhǔn)工作溫度的溫度差值；將溫度差值輸入至熱變形預(yù)測(cè)模型，得到特征點(diǎn)集的熱變形位移；將熱變形位移疊加到特征點(diǎn)集的原始坐標(biāo)上，得到熱補(bǔ)償后的特征點(diǎn)集；根據(jù)空間幾何關(guān)系模型和實(shí)時(shí)位姿測(cè)量基準(zhǔn)，將熱補(bǔ)償后的特征點(diǎn)集轉(zhuǎn)換為工件實(shí)時(shí)位置數(shù)據(jù)。

11、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算出環(huán)境溫度數(shù)據(jù)與標(biāo)準(zhǔn)工作溫度的溫度差值，以此溫度差值作為熱變形預(yù)測(cè)模型的輸入，精準(zhǔn)獲取特征點(diǎn)集的熱變形位移，將其疊加到特征點(diǎn)集的原始坐標(biāo)上，實(shí)現(xiàn)對(duì)特征點(diǎn)集的熱補(bǔ)償。視覺(jué)引導(dǎo)系統(tǒng)依據(jù)空間幾何關(guān)系模型和實(shí)時(shí)位姿測(cè)量基準(zhǔn)，把熱補(bǔ)償后的特征點(diǎn)集成功轉(zhuǎn)換為工件實(shí)時(shí)位置數(shù)據(jù)。這一系列操作有效考慮了環(huán)境溫度變化對(duì)工件位置變化的影響，極大提高了工件實(shí)時(shí)位置數(shù)據(jù)的準(zhǔn)確性，能幫助機(jī)器人精確掌握工件狀態(tài)，減少因熱變形導(dǎo)致的加工誤差，提升產(chǎn)品加工精度與生產(chǎn)質(zhì)量。

12、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，在將工件實(shí)時(shí)位置數(shù)據(jù)與預(yù)設(shè)工件位置數(shù)據(jù)進(jìn)行比對(duì)，計(jì)算工件的空間位置偏差值和姿態(tài)偏差值的步驟之后，方法還包括：當(dāng)空間位置偏差值小于預(yù)設(shè)第一閾值且姿態(tài)偏差值小于預(yù)設(shè)第二閾值時(shí)，觸發(fā)工件到位確認(rèn)信號(hào)；在視覺(jué)引導(dǎo)界面顯示工件到位指示信息。

13、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)基于空間位置偏差值和姿態(tài)偏差值，精準(zhǔn)判定工件是否到位，在滿(mǎn)足條件時(shí)觸發(fā)到位確認(rèn)信號(hào)，不僅能及時(shí)啟動(dòng)后續(xù)工序，提升生產(chǎn)效率，還能在視覺(jué)引導(dǎo)界面直觀(guān)呈現(xiàn)到位指示信息，幫助機(jī)器人明確工件已到位。

14、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，在視覺(jué)引導(dǎo)界面上實(shí)時(shí)顯示空間引導(dǎo)矢量，具體包括：將平移分量轉(zhuǎn)換為三個(gè)正交方向的位移箭頭，位移箭頭的長(zhǎng)度與位移距離成正比；將旋轉(zhuǎn)分量轉(zhuǎn)換為三個(gè)正交軸向的旋轉(zhuǎn)箭頭，旋轉(zhuǎn)箭頭的弧度與旋轉(zhuǎn)角度成正比；在視覺(jué)引導(dǎo)界面的三維顯示區(qū)域中疊加顯示位移箭頭和旋轉(zhuǎn)箭頭；實(shí)時(shí)更新位移箭頭和旋轉(zhuǎn)箭頭的方向和大小。

15、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)將抽象的空間引導(dǎo)矢量具象化呈現(xiàn)：把平移分量轉(zhuǎn)化為三個(gè)正交方向上長(zhǎng)度與位移距離成正比的位移箭頭，把旋轉(zhuǎn)分量轉(zhuǎn)化為弧度與旋轉(zhuǎn)角度成正比的旋轉(zhuǎn)箭頭，并在視覺(jué)引導(dǎo)界面三維區(qū)域疊加顯示，且實(shí)時(shí)更新其方向和大小。這種方法使得機(jī)器人從視覺(jué)上獲取工件在空間中的平移信息和旋轉(zhuǎn)信息，清晰把握工件實(shí)時(shí)動(dòng)態(tài)，極大提高操作準(zhǔn)確性與效率，有效減少因?qū)臻g矢量理解偏差導(dǎo)致的操作失誤，助力生產(chǎn)流程順暢進(jìn)行。

16、第二方面，本技術(shù)實(shí)施例提供了一種視覺(jué)引導(dǎo)系統(tǒng)，該視覺(jué)引導(dǎo)系統(tǒng)包括：一個(gè)或多個(gè)處理器和存儲(chǔ)器；該存儲(chǔ)器與該一個(gè)或多個(gè)處理器耦合，該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，該一個(gè)或多個(gè)處理器調(diào)用該計(jì)算機(jī)指令以使得該視覺(jué)引導(dǎo)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

17、第三方面，本技術(shù)實(shí)施例提供一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)上述計(jì)算機(jī)程序產(chǎn)品在視覺(jué)引導(dǎo)系統(tǒng)上運(yùn)行時(shí)，使得上述視覺(jué)引導(dǎo)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

18、第四方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，當(dāng)上述指令在視覺(jué)引導(dǎo)系統(tǒng)上運(yùn)行時(shí)，使得上述視覺(jué)引導(dǎo)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

19、可以理解地，上述第二方面提供的視覺(jué)引導(dǎo)系統(tǒng)，第三方面提供的計(jì)算機(jī)程序產(chǎn)品和第四方面提供的計(jì)算機(jī)存儲(chǔ)介質(zhì)均用于執(zhí)行本技術(shù)實(shí)施例所提供的方法。因此，其所能達(dá)到的有益效果可參考對(duì)應(yīng)方法中的有益效果，此處不再贅述。

20、本技術(shù)實(shí)施例中提供的一個(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

21、1、通過(guò)采用上述技術(shù)方案，實(shí)現(xiàn)了對(duì)工件實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)的精確測(cè)量，視覺(jué)引導(dǎo)系統(tǒng)自動(dòng)計(jì)算工件實(shí)時(shí)位置和實(shí)時(shí)姿態(tài)與目標(biāo)位置和目標(biāo)姿態(tài)的空間位置偏差值和姿態(tài)偏差值，從而生成最優(yōu)調(diào)整路徑，并將其轉(zhuǎn)換為直觀(guān)的空間引導(dǎo)矢量顯示在機(jī)器人的視覺(jué)引導(dǎo)界面上。這種無(wú)接觸式的視覺(jué)引導(dǎo)方式，避免了在工件表面安裝靶標(biāo)等標(biāo)識(shí)物，減少了裝配準(zhǔn)備工作量，同時(shí)提高了裝配精度和效率。

22、2、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)采用了基于中心點(diǎn)對(duì)齊的三維空間配準(zhǔn)技術(shù)。首先，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算特征點(diǎn)集與標(biāo)準(zhǔn)特征點(diǎn)集的中心點(diǎn)坐標(biāo)并使其重合，確定平移參數(shù)。然后，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算配準(zhǔn)后的特征點(diǎn)集相對(duì)于標(biāo)準(zhǔn)特征點(diǎn)集的旋轉(zhuǎn)角度。最終，視覺(jué)引導(dǎo)系統(tǒng)根據(jù)旋轉(zhuǎn)角度和平移參數(shù)生成剛體變換矩陣。這種配準(zhǔn)方法能夠快速準(zhǔn)確地建立工件當(dāng)前位姿與標(biāo)準(zhǔn)位姿之間的空間變換關(guān)系，為實(shí)時(shí)位姿測(cè)量提供了可靠的基準(zhǔn)，有效提升了視覺(jué)引導(dǎo)系統(tǒng)的測(cè)量精度和實(shí)時(shí)性。

23、3、通過(guò)采用上述技術(shù)方案，視覺(jué)引導(dǎo)系統(tǒng)計(jì)算出環(huán)境溫度數(shù)據(jù)與標(biāo)準(zhǔn)工作溫度的溫度差值，以此溫度差值作為熱變形預(yù)測(cè)模型的輸入，精準(zhǔn)獲取特征點(diǎn)集的熱變形位移，將其疊加到特征點(diǎn)集的原始坐標(biāo)上，實(shí)現(xiàn)對(duì)特征點(diǎn)集的熱補(bǔ)償。視覺(jué)引導(dǎo)系統(tǒng)依據(jù)空間幾何關(guān)系模型和實(shí)時(shí)位姿測(cè)量基準(zhǔn)，把熱補(bǔ)償后的特征點(diǎn)集成功轉(zhuǎn)換為工件實(shí)時(shí)位置數(shù)據(jù)。這一系列操作有效考慮了環(huán)境溫度變化對(duì)工件位置變化的影響，極大提高了工件實(shí)時(shí)位置數(shù)據(jù)的準(zhǔn)確性，能幫助機(jī)器人精確掌握工件狀態(tài)，減少因熱變形導(dǎo)致的加工誤差，提升產(chǎn)品加工精度與生產(chǎn)質(zhì)量。