本公開的各種實(shí)施方案整體涉及外科系統(tǒng)，并且更具體地涉及校準(zhǔn)一個(gè)或多個(gè)相機(jī)的外科系統(tǒng)。
背景技術(shù)：
1、微創(chuàng)外科手術(shù)(mis)諸如腹腔鏡手術(shù)使用旨在在外科規(guī)程期間減少組織損傷的技術(shù)。腹腔鏡規(guī)程通常需要在患者體內(nèi)(例如，在腹部中)形成多個(gè)小切口，然后通過這些小切口將若干外科工具(諸如內(nèi)窺鏡、刀、抓持器和針)插入到患者體內(nèi)。將氣體注入到腹部中，其對腹部進(jìn)行充氣，從而在工具的末端周圍提供更多空間，使得外科醫(yī)生更容易看到(經(jīng)由內(nèi)窺鏡)和操縱外科部位處的組織。可使用外科機(jī)器人系統(tǒng)更快地執(zhí)行mis且使外科醫(yī)生疲勞更少，在該外科機(jī)器人系統(tǒng)中，外科工具可操作地附接到機(jī)器人臂的遠(yuǎn)側(cè)端部，并且控制系統(tǒng)致動(dòng)該臂及其附接工具。當(dāng)外科醫(yī)生操縱手持用戶輸入設(shè)備(uid)時(shí)，工具的末端將模擬其位置和取向運(yùn)動(dòng)。外科機(jī)器人系統(tǒng)可以具有多個(gè)外科臂，其中一個(gè)或多個(gè)外科臂具有附接的內(nèi)窺鏡，并且其他外科臂具有附接的用于執(zhí)行某些外科動(dòng)作的外科器械。
2、經(jīng)由一個(gè)或多個(gè)用戶輸入設(shè)備捕獲來自用戶(例如，外科醫(yī)生或其他操作者)的控制輸入并且然后將其轉(zhuǎn)化成對機(jī)器人系統(tǒng)的控制。例如，當(dāng)外科工具定位在患者的外科部位處時(shí)，具有一個(gè)或多個(gè)馬達(dá)的工具驅(qū)動(dòng)器可響應(yīng)于用戶命令而致動(dòng)外科工具的一個(gè)或多個(gè)自由度。
技術(shù)實(shí)現(xiàn)思路
1、越來越多的應(yīng)用可受益于圖像(例如，由多個(gè)圖像傳感器(諸如攝像機(jī)和深度相機(jī))捕獲的視頻)的使用。此類應(yīng)用的示例可包括遠(yuǎn)程呈現(xiàn)、出于各種計(jì)算機(jī)訓(xùn)練目的(例如，訓(xùn)練自主車輛的運(yùn)動(dòng)控制器)的數(shù)據(jù)收集，以及在外科規(guī)程期間在手術(shù)室中的事件檢測。例如，可在醫(yī)院設(shè)施(諸如手術(shù)室)內(nèi)部使用多個(gè)攝像機(jī)，以便在外科規(guī)程期間監(jiān)測事件和外科工作流程(例如，監(jiān)測由外科醫(yī)生執(zhí)行的外科任務(wù))。這種環(huán)境內(nèi)的相機(jī)可用于監(jiān)測活動(dòng)、檢測感興趣的事件以及分析效率，以實(shí)現(xiàn)訓(xùn)練和改進(jìn)目的。例如，除了檢測進(jìn)入通過相機(jī)觀察的房間或空間的人或?qū)ο笾猓到y(tǒng)還可能夠通過多個(gè)相機(jī)跟蹤對象的移動(dòng)，諸如輪床從一個(gè)房間到另一房間的移動(dòng)。由于最大化了此類大房間的可觀察范圍，一些相機(jī)可能沒有重疊的視場(fov)，其中一個(gè)相機(jī)可能指向門，而另一相機(jī)可能指向與門相反的方向。
2、當(dāng)從多個(gè)相機(jī)收集視頻數(shù)據(jù)時(shí)，可能期望將這些相機(jī)的空間信息(例如，在空間中相對于彼此的位置和取向)關(guān)聯(lián)，以更好地實(shí)現(xiàn)對視頻數(shù)據(jù)的分析，從而執(zhí)行操作，諸如檢測活動(dòng)或事件。例如，當(dāng)檢測到對象(諸如患者的床或輪床)在手術(shù)室內(nèi)的移動(dòng)時(shí)，該對象可能移出一個(gè)相機(jī)的fov并進(jìn)入另一相機(jī)的fov。然后，使用指示兩個(gè)相機(jī)之間的關(guān)系的空間信息，以便在對象在fov之間移動(dòng)時(shí)保持對該對象的持續(xù)跟蹤。這提供了對檢測到的事件的有意義的推斷和分析。
3、為了將空間信息關(guān)聯(lián)，可通過計(jì)算相機(jī)的內(nèi)部參數(shù)和外部參數(shù)(或特性)來對相機(jī)進(jìn)行空間校準(zhǔn)。內(nèi)部參數(shù)可包括與特定相機(jī)相關(guān)聯(lián)的特性，諸如相機(jī)的物理屬性。內(nèi)部特性的示例可包括相機(jī)(例如，相機(jī)的鏡頭)的焦距、相機(jī)(例如，相機(jī)的鏡頭)的主點(diǎn)(或光學(xué)中心)、相機(jī)的偏斜和相機(jī)的鏡頭的畸變中的至少一者。這些內(nèi)部特性可表示從二維(2d)圖像坐標(biāo)系(例如，2d的被捕獲圖像中的像素坐標(biāo))到相機(jī)的三維(3d)空間的3d坐標(biāo)系(相對于作為原點(diǎn)的相機(jī))的變換。外部參數(shù)可表示(或包括)從相機(jī)的3d坐標(biāo)到全局(或世界)坐標(biāo)系的變換(例如，位置和/或取向)。具體地，外部參數(shù)可表示兩個(gè)相機(jī)之間的相對空間變換(或位姿)。估計(jì)相機(jī)相對于另一相機(jī)的位姿的過程可通過空間外部校準(zhǔn)來執(zhí)行。常規(guī)校準(zhǔn)方法要求多個(gè)相機(jī)具有至少部分重疊的fov，其中該重疊部分包括公共參考點(diǎn)。然而，這些方法可能無法準(zhǔn)確地校準(zhǔn)具有非重疊視場的相機(jī)，尤其是對于作為靜態(tài)(例如，不可移動(dòng))圖像傳感器設(shè)置的一部分的此類相機(jī)。因此，需要一種被配置為校準(zhǔn)既具有重疊的fov又具有非重疊的fov的(例如，靜態(tài))圖像傳感器的外科系統(tǒng)。
4、本公開提供了一種外科系統(tǒng)，該外科系統(tǒng)包括位于一個(gè)或多個(gè)手術(shù)室內(nèi)的第一相機(jī)、第二相機(jī)和跟蹤相機(jī)，并且被配置為在這些相機(jī)之間執(zhí)行空間校準(zhǔn)。例如，兩個(gè)相機(jī)可位于房間內(nèi)(例如，安裝在單獨(dú)的墻壁上)，并且可用于手術(shù)室內(nèi)的事件檢測。具體地，該系統(tǒng)接收由該第一相機(jī)捕獲的第一圖像，該第一圖像表示該第一相機(jī)的第一fov，該第一fov具有在手術(shù)室中的第一位置處的對象，諸如校準(zhǔn)圖案。該系統(tǒng)接收由該跟蹤相機(jī)捕獲的具有在該第一位置處的該對象的第二圖像，并且基于該第一圖像和該第二圖像來確定該第一相機(jī)的第一位姿。具體地，該第一相機(jī)的該位姿可以是相對于該跟蹤相機(jī)的，使得該第一相機(jī)的位置和/或取向在該跟蹤相機(jī)的坐標(biāo)系內(nèi)。該系統(tǒng)接收由該第二相機(jī)捕獲的第三圖像，其中該第三圖像表示該第二相機(jī)的不與該第一fov重疊的第二fov并且具有在該手術(shù)室中的第二位置處的該對象。該系統(tǒng)接收由該跟蹤相機(jī)捕獲的第四圖像，其中該第四圖像具有在該第二位置處的該對象，并且基于該第三圖像和該第四圖像來確定該第二相機(jī)的第二位姿。因此，該第一相機(jī)的位姿和該第二相機(jī)的位姿兩者都在該跟蹤相機(jī)的該坐標(biāo)系內(nèi)。該系統(tǒng)基于該第一位姿和該第二位姿來確定該第一相機(jī)與該第二相機(jī)之間的相對空間變換，例如位姿。因此，該系統(tǒng)能夠知道這兩個(gè)相機(jī)之間的相對空間信息，這允許即使當(dāng)相機(jī)被設(shè)置為使得它們覆蓋不同的房間位置并且不具有重疊的fov時(shí)，該系統(tǒng)也能通過這些相機(jī)之間的所有觀察來有效地跟蹤移動(dòng)。
5、在一個(gè)實(shí)施方案中，該跟蹤相機(jī)包括第三fov，該第三fov包括該第一位置和該第二位置兩者。例如，該跟蹤相機(jī)可定位在手術(shù)室天花板上，并且包括廣角鏡頭以便看到該手術(shù)室的內(nèi)部。在一個(gè)實(shí)施方案中，該跟蹤相機(jī)是靜止的，而該對象從該第一位置移動(dòng)到該第二位置。在另一實(shí)施方案中，在該第一相機(jī)和該跟蹤相機(jī)分別捕獲該第一圖像和該第二圖像之前，該第二相機(jī)和該跟蹤相機(jī)分別捕獲該第三圖像和該第四圖像。在一個(gè)實(shí)施方案中，該第一相機(jī)和該跟蹤相機(jī)同時(shí)分別捕獲該第一圖像和該第二圖像，并且該第三相機(jī)和該跟蹤相機(jī)同時(shí)分別捕獲該第三圖像和該第二圖像。
6、在一個(gè)實(shí)施方案中，當(dāng)該第一相機(jī)和該跟蹤相機(jī)分別捕獲該第一圖像和該第二圖像時(shí)，該對象在該第一位置處保持靜止，并且當(dāng)該第三相機(jī)和該跟蹤相機(jī)分別捕獲該第三圖像和該第四圖像時(shí)，該對象在該第二位置處保持靜止。在另一實(shí)施方案中，該對象不附接到該第一相機(jī)、該第二相機(jī)和該跟蹤相機(jī)中的任一者。
7、在一個(gè)實(shí)施方案中，基于該第一圖像和該第二圖像來確定該第一相機(jī)的該第一位姿包括：使用該第一圖像來確定該第一相機(jī)相對于在該第一位置處的該對象的第三位姿；以及使用該第二圖像來確定該跟蹤相機(jī)相對于在該第一位置處的該對象的第四位姿。在另一實(shí)施方案中，該相對空間變換指示該第二相機(jī)相對于該第一相機(jī)的位置和取向。在一個(gè)實(shí)施方案中，該對象包括校準(zhǔn)圖案，該校準(zhǔn)圖案由用戶在該手術(shù)室內(nèi)從該第一位置移動(dòng)到該第二位置，同時(shí)該第一相機(jī)、該第二相機(jī)和該跟蹤相機(jī)保持原位。
8、本公開提供了一種外科系統(tǒng)，該外科系統(tǒng)包括該第一相機(jī)、該第二相機(jī)和手術(shù)室內(nèi)的用于校準(zhǔn)這兩個(gè)相機(jī)的(例如，跟蹤)標(biāo)記。具體地，該系統(tǒng)接收由該第一相機(jī)捕獲的第一圖像，該第一圖像表示該第一相機(jī)的第一fov，該第一fov包括在該手術(shù)室中的第一位置處的標(biāo)記，并且該系統(tǒng)基于該第一圖像和該標(biāo)記的該第一位置來確定該第一相機(jī)的第一位姿。該系統(tǒng)接收由該第二相機(jī)捕獲的第二圖像，該第二圖像表示該第二相機(jī)的不與該第一fov重疊的第二fov并且包括在該手術(shù)室中的第二位置處的該標(biāo)記，并且該系統(tǒng)基于該第二圖像和該標(biāo)記的該第二位置來確定該第二相機(jī)的第二位姿。該系統(tǒng)基于該第一位姿和該第二位姿來確定該第一相機(jī)與該第二相機(jī)之間的相對空間變換，其中當(dāng)該標(biāo)記從該第一位置移動(dòng)到該第二位置時(shí)，該第一相機(jī)和該第二相機(jī)保持靜止。
9、在一個(gè)實(shí)施方案中，該標(biāo)記固定地耦接到包括校準(zhǔn)圖案的對象，其中該對象處于該第一圖像和該第二圖像中捕獲的該第一位置處。該系統(tǒng)使用跟蹤設(shè)備來確定該標(biāo)記固定地耦接到該校準(zhǔn)對象的第三位置，其中確定該第一相機(jī)的該第一位姿包括：確定當(dāng)該對象處于該第一位置時(shí)，該第一相機(jī)相對于該校準(zhǔn)圖案的第三位姿；以及使用該標(biāo)記的該第三位置來確定該跟蹤設(shè)備相對于該校準(zhǔn)圖案的第四位姿。在另一實(shí)施方案中，確定該跟蹤設(shè)備的該第四位姿包括：根據(jù)該標(biāo)記的該第三位置來確定該跟蹤設(shè)備相對于該標(biāo)記的第五位姿；檢索該標(biāo)記相對于該校準(zhǔn)圖案的第六位姿(例如，從該外科系統(tǒng)的存儲(chǔ)器中檢索)；以及根據(jù)該第六位姿來調(diào)整該第五位姿。在一個(gè)實(shí)施方案中，該標(biāo)記和該校準(zhǔn)圖案是一個(gè)一體式單元。在另一實(shí)施方案中，該跟蹤設(shè)備是紅外傳感器，并且該標(biāo)記是紅外標(biāo)簽。在另一實(shí)施方案中，該跟蹤設(shè)備是相機(jī)，并且該標(biāo)記是可見圖案。
10、本公開提供了一種外科系統(tǒng)，該外科系統(tǒng)包括在手術(shù)室內(nèi)的第一相機(jī)和第二相機(jī)，其中該系統(tǒng)接收由該第一相機(jī)捕獲的第一圖像，該第一圖像表示第一fov，該第一fov包括在該手術(shù)室中的第一位置處的對象，并且該系統(tǒng)基于該第一圖像和該手術(shù)室內(nèi)(諸如設(shè)置在該手術(shù)室的天花板上)的該跟蹤標(biāo)記來確定該第一相機(jī)的第一位姿。該系統(tǒng)接收由該第二相機(jī)捕獲的第二圖像，該第二圖像表示該第二相機(jī)的不與該第一fov重疊的第二fov并且具有在該手術(shù)室中的第二位置處的該對象，并且該系統(tǒng)基于該第二圖像和該跟蹤標(biāo)記來確定該第二相機(jī)的第二位姿。該系統(tǒng)基于該第一位姿和該第二位姿來確定該第一相機(jī)與該第二相機(jī)之間的相對空間變換。
11、在一個(gè)實(shí)施方案中，對象包括跟蹤設(shè)備。該方法使用該跟蹤設(shè)備在該對象處于該第一位置時(shí)檢測該跟蹤標(biāo)記，該第一位姿基于當(dāng)該對象處于該第一位置時(shí)對該跟蹤標(biāo)記的該檢測來確定；以及使用該跟蹤設(shè)備在該對象處于該第二位置時(shí)檢測該跟蹤標(biāo)記，該第二位姿基于當(dāng)該對象處于該第二位置時(shí)對該跟蹤標(biāo)記的該檢測來確定。
12、在一個(gè)實(shí)施方案中，該方法包括：使用該跟蹤設(shè)備來跟蹤該對象從該第一位置到該第二位置的移動(dòng)，其中該第二位姿基于該對象的所跟蹤的移動(dòng)來確定。在另一實(shí)施方案中，該跟蹤設(shè)備和該對象是一個(gè)一體式單元。在另一實(shí)施方案中，該系統(tǒng)進(jìn)一步進(jìn)行以下操作：基于當(dāng)該對象處于該第一位置時(shí)對該跟蹤標(biāo)記的該檢測來確定該跟蹤標(biāo)記相對于該對象的第三位姿；以及基于該第一圖像來確定該第一相機(jī)相對于該對象的第四位姿，其中該第一相機(jī)的該第一位姿是基于該第三位姿和該第四位姿的。在一個(gè)實(shí)施方案中，確定該跟蹤標(biāo)記的該第三位姿包括：基于對該跟蹤標(biāo)記的該檢測來確定該跟蹤標(biāo)記相對于該跟蹤設(shè)備的第五位姿；接收該跟蹤設(shè)備相對于該對象的第六位姿；以及根據(jù)該第六位姿來調(diào)整該第五位姿。
13、在一個(gè)實(shí)施方案中，該跟蹤設(shè)備是跟蹤相機(jī)，其中當(dāng)該對象處于該第一位置時(shí)檢測該跟蹤標(biāo)記包括接收由該跟蹤相機(jī)捕獲的第三圖像，該第三圖像表示該跟蹤相機(jī)的第三fov并且包括該跟蹤標(biāo)記。在一個(gè)實(shí)施方案中，該跟蹤標(biāo)記是紅外(ir)標(biāo)簽，并且該跟蹤設(shè)備是ir傳感器。在另一實(shí)施方案中，該跟蹤標(biāo)記是射頻(rf)標(biāo)簽，并且該跟蹤設(shè)備是rf傳感器。在一個(gè)實(shí)施方案中，該對象包括校準(zhǔn)圖案，該校準(zhǔn)圖案由用戶或自主機(jī)器人在該手術(shù)室內(nèi)從該第一位置移動(dòng)到該第二位置，同時(shí)該第一相機(jī)和該第二相機(jī)保持原位。
14、上述
技術(shù)實(shí)現(xiàn)要素：
不包括本公開的所有實(shí)施方案的詳盡列表。可設(shè)想的是，本公開包括所有系統(tǒng)和方法，該系統(tǒng)和方法可由上文概述的各種實(shí)施方案的所有合適組合以及下文具體實(shí)施方式中公開并且在權(quán)利要求中特別指出的那些來實(shí)施。此類組合可具有未在上述發(fā)明內(nèi)容中具體敘述的特定優(yōu)點(diǎn)。