Tof成像中的參數在線校準和補償的制作方法
【專利摘要】TOF成像中的參數在線校準和補償。設備和技術的典型實施方式提供用于成像設備和系統的擺動誤差的自適應校準和補償。在各種實施方式中，使用所識別參數對擺動誤差進行建模。例如，使用模型來估計擺動誤差的參數（或系數）。在實施方式中，成像系統在運行時間期間使用導出的模型來自適應地補償擺動誤差。
【專利說明】TOF成像中的參數在線校準和補償
【背景技術】
[0001 ]基于光波的成像系統正在變得被更廣泛地用于對象檢測，因為半導體工藝已經變 得更快W支持此類系統。某些成像系統能夠每秒提供許多圖像，使得此類系統對對象檢測 和/或跟蹤也有用。由于其潛在的小外形因數和潛在的高信號保真度，某些成像系統很適合 于在許多類型的運載工具(汽車、公交車、火車等）中的應用。另外，某些成像系統很適合于 許多類型的消費設備(例如，電視、計算機、平板電腦、智能電話等）中的手勢控制等。雖然此 類成像系統的分辨率可改變，但是使用運些系統的應用能夠利用其操作的速度。
[0002] 例如，諸如汽車之類的移動運載工具可使用成像系統來檢測運載工具路徑中的對 象(例如，行人），w避免撞到對象。例如，可在運載工具的前面、后面和/或（多個)側面采用 成像系統W檢測在運載工具的正前或反向路徑中、在運載工具側面或在運載工具盲點中的 對象。
[0003] 例如，飛行時間（To巧照相機可使用成像設備來測量對象與照相機的距離。還可使 用使用多個像素的成像設備，其中，與單個像素相關聯的光信號可提供用于對象上的離散 點的距離測量，形成Ξ維"距離圖像"。運可W用例如反射離開離散點的光信號而成為可能。
[0004] 無論是部署在運載工具應用、消費設備應用還是其它類型的應用中，都期望在保 持或改善性能并使誤差最小化的同時增加成像系統的準確度。例如，當距離測量的準確度 或清晰度易于出錯或者另外不可靠時，應用于運載工具、移動設備等的成像系統的有用性 可W被降低。
【附圖說明】
[0005] 參考附圖來闡述本詳細描述。在圖中，參考數字的（多個)最左數位識別該參考數 字首先出現在其中的圖。相同參考數字在不同圖中的使用指示類似或相同項目。
[0006] 為了本討論，圖中所示的設備和系統被示為具有許多部件。如本文所述的設備和/ 或系統的各種實施方式可包括較少的部件且仍然在本公開的范圍內。替換地，設備和/或系 統的其它實施方式可包括附加部件或所述部件的各種組合，并且仍然在本公開的范圍內。
[0007] 圖1是根據實施方式的其中可采用所述設備和技術的示例應用環境的圖示。
[000引圖2是根據實施方式的示例性成像系統部件的框圖。
[0009] 圖3是示出了根據實施方式的示例性成像系統的部件(包括包含多個像素的傳感 器模塊)的某些細節的框圖。
[0010] 圖4示出了根據各種實施方式的示例性傳感器響應函數波形的圖示W及圖示出 "擺動誤差(wiggling error)"的示例的相量圖（phasor diagram)和波形。
[0011] 圖5和6是示出了根據各種實施方式的擺動誤差的參數在線校準和補償的示例性 結果的圖形說明。
[0012] 圖7是圖示出根據實施方式的由成像系統進行擺動誤差的參數在線校準和補償的 示例性過程的流程圖。
【具體實施方式】
[0013] 概述 本公^對成像系統(例如，使用發射電磁(EM)福射的成像系統），其被布置成在相對 于成像系統的預定區域中對對象和/或手勢進行檢測、成像、識別和/或跟蹤。例如，可使用 與運載工具相關聯的成像系統來檢測在運載工具路徑中或在運載工具附近的區域中的對 象。另外，成像系統可跟蹤對象或提供對象的圖像(諸如Ξ維圖像）。在其它示例中，可使用 成像系統來檢測和識別例如在計算設備附近的區域中的對象或人手的手勢。成像系統可識 別對象或手何時作出手勢，并跟蹤手勢組合作為用于鼠標或到計算設備的其它輸入的替 換。
[0014] 在各種實施方式中，成像系統使用飛行時間原理，諸如反射EM發射（即，電磁福射） 的距離計算，來例如對對象進行檢測、成像、識別和/或跟蹤。飛行時間距離計算可基于接收 發射EM("光"）福射的反射，因為光福射被反射離開預定區域中的對象。例如，在一個情況 下，距離計算可基于光速和反射光福射的行進時間。
[0015] 在大多數情況下，EM福射并不是完美的正弦曲線，而是包括高頻分量。距離測量誤 差（"擺動誤差"）可W由運些高頻分量引起，因為成像系統嘗試根據EM福射的相位信息來確 定距離信息。
[0016] 設備和技術的典型實施方式提供用于成像設備和系統的擺動誤差的自適應校準 和補償。在此類實施方式中，確立擺動誤差的模型。此模型可關于數學公式和/或計算算法 來表達擺動誤差。此外，在某些實施方式中，模型并不是靜態的，而是包括定義模型的基本 傳遞特性的一組參數(或系數）。可在運行時間期間估計并更新運些參數。在成功地估計和/ 或更新參數時，可采用擺動誤差的模型W便自適應地補償錯誤的距離信息。與可基于離線、 基于查找表校準的現有技術方法相比，運個方法在靈活性、效率、記憶W及時間消耗方面是 優越的。
[0017] 在某些實施方式中，成像系統包括多相位采樣。例如，成像系統在等距離采樣點處 用多個樣本對成像系統的傳感器的輸出進行采樣。在一個實施方式中，成像系統包括交替 或移位采樣相位偏移。在實施方式中，使用復平面中的相量對擺動誤差進行建模。
[0018] 在實施方式中，成像系統可W使用來自多個圖像帖的信息來估計擺動誤差的參 數。在一個示例中，成像系統使用來自至少兩個連續圖像帖的信息，具有移位(例如，相移） 采樣點。在另一實施方式中，一旦成像系統已估計擺動誤差的參數，則成像系統可W補償單 個捕捉帖中的擺動誤差。
[0019] 在本公開中討論用于成像系統、設備W及技術的各種實施方式和布置。參考圖中 所示的示例性基于光的成像系統和設備來討論技術和設備。然而，運并不意圖是限制性的， 并且是為了便于討論和說明方便。所討論的技術和設備可被應用到各種成像設備設計、結 構等中的任何一個(例如，基于福射、基于聲速發射、基于粒子發射等），并且仍然在本公開 的范圍內。
[0020] 下面使用多個示例來更詳細地解釋實施方式。盡管在運里和下面討論了各種實施 方式和示例，但是可W通過將各個實施方式和示例的特征和元件組合來使更多實施方式和 示例是可能的。
[0021] 示例性成像系統環境 圖1是根據實施方式的其中可采用所述設備和技術的示例性應用環境100的圖示。如圖 中所示，可W與例如運載工具1〇4(例如，汽車、公交車、火車、飛行器等）來應用成像系統 102。在各種其它實施方式中，可將成像系統102與其它系統、設備等(例如，機器人技術、自 動化、監控系統、可訪問性設備、安全系統等)來應用。
[0022] 在另外的實施方式中，可將成像系統102與移動設備或其它計算設備(諸如膝上型 電腦或筆記本計算機、手持式計算設備、平板計算設備、上網本計算設備、個人數字助理 (PDA)設備、閱讀器設備、智能電話、移動電話、媒體播放器、可穿戴計算設備、固定計算機、 個人或桌上型計算機、電視、機頂盒、游戲控制器、音頻/視頻系統、器械等)來應用。
[0023] 本公開的范圍并不意圖被限制到所列的示例。為了方便起見，在本公開內對運載 工具104的提及指代采用如上所述的成像系統102等的所有應用。
[0024] 在各種實施方式中，成像系統102可與運載工具104集成，或者可具有與運載工具 104分離或遠離的某些部件。例如，用于成像系統102的某些處理可被遠程地定位(例如，云、 網絡等）。在另一示例中，可在遠程設備上或在遠程位置處發射、顯示或呈現來自成像系統 102的某些輸出。
[0025] 成像系統102可被用來檢測預選區域108中的對象106,例如諸如行人。在各種實施 方式中，成像系統102可被布置成檢測、識別和/或跟蹤對象106的移動。在一個實施方式中， 成像設備被布置成輸出對象106的圖像(例如，二維或Ξ維圖像）。在示例性實施方式中，可 例如在顯示設備(例如，移動計算設備、智能電話、運載工具信息系統等)上呈現或顯示成像 系統102的輸出。
[00%] 示例性對象106可包括成像系統102可被布置成檢測、識別、跟蹤等的任何項目。此 類項目可包括例如人或動物。對象106的其它示例可包括障礙物、目標部件、另一運載工具 等。在各種實施方式中，還可將成像系統102布置成檢測、識別和/或跟蹤對象106的手勢或 配置。手勢或配置可包括表達思想的對象106的任何移動或位置。例如，手勢或配置可包括 將對象106定位于一定的取向和/或對象106 W-定圖案的移動(例如，在楠圓形運動中、在 基本上線性運動中等）。在一個示例中，可使用成像系統102來檢測人手的移動（例如，手 勢），例如作為針對鼠標或用于計算設備、移動設備等的其它輸入設備的替換。
[0027] 可將成像系統102布置成檢測、識別和/或跟蹤相對于成像系統102在預選區域108 內的對象106。可將預選區域108選擇成例如涵蓋對象106可W在其之內的區域。在一個情況 下，預選區域108可涵蓋表示用于運載工具104的緊接或遠離的正向或反向路徑的區域。此 區域108還可W在例如成像系統102的前面、側面或周圍。
[0028] 圖1的圖示將預選區域108示為在運載工具104前面的類似多邊形區域。運是出于 說明和討論的目的，并且并不意圖是限制性的。預選區域108可W是任何形狀或尺寸，可位 于運載工具104的前面、背面、（多個)側面、頂部和/或底部，并且可被選擇成使得其將一般 地涵蓋期望對象（當其存在時），但是可不涵蓋非期望對象(例如，并不意圖被檢測、識別、跟 蹤等的其它項目）。在各種實施方式中，預選區域108可包括各種形狀和尺寸。在某些實施方 式中，預選區域108的形狀和尺寸取決于成像設備102的當前應用。
[0029] 如上文所討論的，在本文中相對于成像系統102的技術、部件W及設備不限于圖1 中的圖示，并且在不脫離本公開的范圍的情況下可將其應用于其它成像系統和設備設計 和/或應用。在某些情況下，可使用附加或替換部件來實現本文所述的技術。應理解的是可 將成像系統102實現為獨立系統或設備，或者作為另一系統的一部分(例如，與其它部件、系 統等集成）。
[0030] 示例性成像系統 圖2是示出了根據實施方式的成像系統102的示例性部件的框圖。如圖2中所示，成像系 統102可包括照明模塊202、調制部件204、傳感器模塊206 W及控制模塊208。在各種實施方 式中，成像系統102可包括較少的、附加或替換部件，并且仍然在本公開的范圍內。可將成像 系統102的一個或多個部件與成像系統102的另一部件并置、組合或者另外集成。例如，在一 個實施方式中，成像系統102可包括成像設備或裝置。此外，成像系統102的一個或多個部件 可與部件中的（多個)其它的遠程地定位。
[0031] 在實施方式中，照明模塊202被布置成發射電磁(EM)福射(例如，光福射）W照亮預 選區域108。例如，照明模塊202可被布置成照亮可存在于區域108中的一個或多個對象106， W檢測對象或者檢測對象106的移動。在各種實施方式中，照明模塊202包括例如諸如光發 射體之類的照明源。在一個實施方式中，照明源包括發光二極管(LED)。在另一實施方式中， 照明源包括激光發射體。在一個實施方式中，照明模塊202用發射的每個光脈沖照亮整個環 境(例如，預選區域108)。在替換實施方式中，照明模塊202分階段或掃描來照亮環境。
[0032] 在各種實施方式中，可從照明模塊202發射不同形式的EM福射。在某些實施方式 中，發射紅外光等。例如，光福射可包括一個或多個已調制光脈沖。可在短間隔內將照明模 塊202接通，允許發射的（多個)光脈沖照亮區域108，包括區域108內的任何對象106。例如， 紅外光向區域108提供對人眼不可見的照明，并且因此不使人分屯、。在其它實施方式中，可 發射提供視覺反饋等的其它類型或頻率的EM福射。如上所述，在替換實施方式中，可由照明 模塊202發射其它能量形式(例如，基于福射、基于聲速發射、基于粒子發射等）。
[0033] 如果被包括在實施方式中，調制部件204可被布置成調制從照明模塊202發射的EM 福射和/或調制傳感器模塊206的一個或多個部件（例如，光敏像素302)。在各種實施方式 中，可將調制部件204布置成在飛行時間操作期間使EM福射的調制與傳感器模塊206的部件 的調制相關(例如諸如，W計算對象106與成像系統102的距離和/或形成對象106的二維或 Ξ維圖像）。
[0034] 在各種實施方式中，如圖2和3中所示，在成像系統102中包括傳感器模塊206。在實 施方式中，傳感器模塊206包括被布置成在帖事件期間（即，在一時間點處的圖像捕捉期間） 從區域108中的一個或多個對象106接收(例如，捕捉)反射光福射的成像傳感器。在一個示 例中，可將傳感器模塊206布置成基于接收到光福射的反射而捕捉區域108或區域108內的 對象106的圖像(例如，二維圖像或Ξ維圖像）。傳感器模塊206可被布置成例如使用飛行時 間原理來捕捉圖像。
[0035] 在另一示例中，傳感器模塊206被布置成提供入射光福射與反射光福射之間的相 移信息W用于距離測量計算。例如，在實施方式中，傳感器模塊206被布置成在帖事件期間 捕捉反射離開區域108中的一個或多個對象106的光福射的一個或多個相位延遲值。該相位 延遲值表示基于行進距離的反射光福射從入射光福射的相移。
[0036] 在實施方式中，如圖3中所示，傳感器模塊206由多個光敏像素器件（"像素"）302構 成。在一個示例中，多個像素302中的每一個可充當單個圖像傳感器。在此類示例中，從傳感 器模塊206所得到的多維圖像(例如諸如Ξ維"距離圖像"）是在多個單個像素302處接收到 的光福射的組合。
[0037] 在實施方式中，多個光敏像素302中的每一個被布置成捕捉反射離開區域108中的 一個或多個對象106的光福射。在各種實施方式中，由各個像素302在帖事件期間捕捉到的 光福射可在控制模塊208內被處理，例如W確定從區域108中的（多個)對象106到各個像素 302的各個距離。可將與各個像素302相關聯的距離組合W形成（多個)對象106和/或區域 108的Ξ維距離圖像。
[0038] 當被包括在實施方式中時，控制模塊208可被布置成向成像系統102提供控制和/ 或處理。例如，控制模塊208可控制成像系統102的操作，控制其它模塊(202、204、206)中的 一個或多個的操作和/或處理由其它模塊(202、204、206)中的一個或多個輸出的信號和信 息。在各種實施方式中，控制模塊208被布置成與照明模塊202、調制部件204W及傳感器模 塊206中的一個或多個通信。在某些實施方式中，可將控制模塊208集成到其它模塊（202、 204、206)中的一個或多個中，或者遠離模塊(202、204、206)。
[0039] 在一個實施方式中，控制模塊208被布置成基于從傳感器模塊206接收到的信息檢 巧。、識別和/或跟蹤區域108內的對象106。在各種實施方式中，可將控制模塊208編程為識別 某些對象106和/或手勢并且排除其它的。
[0040] 在各種實施方式中，控制模塊208被布置成在一個或多個帖事件期間基于由傳感 器模塊206(例如，像素302)捕捉的光福射的一個或多個相位延遲值來計算從一個或多個對 象106到傳感器模塊206的距離。在一個示例中，相位延遲值是相關函數的樣本，其為像素 302的模擬輸出。
[0041] 例如，在實施方式中，可基于入射光相對于反射光的相位變化來估計從對象106到 傳感器模塊206的距離。所捕捉的相位延遲值指示光在帖事件期間被從照明模塊202發射、 反射離開對象106W及被傳感器模塊206捕捉時其行進的距離。
[0042] 在一個實施方式中，如圖3中所示，在傳感器模塊206由多個像素302構成的情況 下，控制模塊208被布置成計算從區域108內的一個或多個對象106到多個像素302的各個像 素302的距離。在實施方式中，距離計算是基于由各個像素302捕捉的一個或多個相位延遲 值。所捕捉的每組相位延遲值可被控制模塊208用來估計從(多個)對象106到捕捉該組的單 個像素302的距離。
[0043] 在某些實施方式中，可將兩個、Ξ個、四個或另一數量的相位延遲值用于每個像素 的距離估計，W改善估計的準確度。因此，針對帖事件執行的距離計算的數目（每個像素 302)可基于包括傳感器模塊208的像素302的數量（即，傳感器模塊208的分辨率)和每個像 素302捕捉的相位延遲值的數量。
[0044] 在實施方式中，相位延遲值可對應于處于參考相位的采樣點。例如，一組參考相位 可包括相對于光福射被用作索引值(例如，采樣點）W示出反射光中的相移的一個或多個相 角。在一個示例中，每組參考相位包括Ξ個或更多等間距相角（例如，0°、90°、180° W及 270°)，并且相位延遲值包括相對于每個參考相角的相移的相應數量。相對于其關聯參考相 位的相應相移指示光福射在從光發射體202橫過(traverse)、被反射離開對象106 W及被圖 像傳感器206捕捉的同時所行進的距離。
[0045] 在實施方式中，控制模塊208可包括至少一個或多個處理部件（"處理器"）和一個 或多個存儲器存儲設備。在各種實施方式中，處理器可包括計算設備、控制器、邏輯部件等。 在實施方式中，處理器被布置成基于在帖事件期間捕捉到的光福射的一個或多個相位延遲 值來計算從一個或多個對象106到成像傳感器206(例如，傳感器模塊)的距離。
[0046] 在實施方式中，相位延遲值W及其它信息可被存儲在存儲器中并被處理器訪問。 在實施方式中，存儲器包括能夠存儲被諸如處理器之類的處理部件可訪問的數字信息（電、 光、磁等)的任何存儲器存儲設備(集成或與處理器分離的硬件）。
[0047] 在一個實施方式中，控制模塊208被布置成輸出計算的距離和/或對象106的Ξ維 圖像。例如，成像系統102可被布置成將距離、所檢測的對象106的Ξ維圖像、對象106的跟蹤 坐標等輸出到顯示設備、被布置成處理信息的另一系統等。
[0048] 在各種實施方式中，成像系統102基于發射(和反射)光束的傳播延遲測量來使用 飛行時間（ToF)3D成像技術，如上所述。例如，可在某個頻率?<χ? (例如20 MHz)下用調制部件 204來調制發射光(來自照明模塊202)。在返回到傳感器模塊206時，可W由控制模塊208經 由光速根據其相移來重構所覆蓋距離。在實施方式中，通過使入射信號與其忍片上未延遲 配對信號(pendant)相關來估計相移。在某些實施方式中，每個單個成像像素302的輸出是 圖4中所示的相關函數波形的排(例如，3、4、6、8等）個等距離樣本，稱為傳感器響應函數 (SRF)o
[0049] SRF的形狀可W取決于調制頻率在Ξ角形與正弦曲線之間改變。在某些成像系統 102中，距離估計算法計算SRF的基波的相位并且可W根據此值來重構距離信息。圖4圖示出 SRF波形的典型形狀并指代表示成像系統102的距離測量的距離BdSRF波形上的四個等距離 點指示傳感器206的輸出處的示例離散樣本(例如，在等距離采樣點處獲取）。
[0050] 如上面提到的，成像系統102的發射信號可W不是完美的正弦曲線，而是可W包 含高頻分量。在各種應用中，高頻分量的存在可W在嘗試基于SRF的基波的相位的距離重構 時導致系統的距離誤差(例如，擺動誤差）。擺動誤差的振幅取決于高頻分量的相對振幅，并 且是確定性的。高頻分量可W引起高達幾度/厘米的測量方面的偏差。在系統的距離誤差的 上下文中，擺動誤差可W對距離估計的準確度具有最高影響中的一個。
[0051 ] 示例性實施方式 在實施方式中，成像系統102如下面本文所述地生成擺動誤差的參數模型。在另一實施 方式中，成像系統102基于生成的模型來執行在線(例如，自適應、動態、在運行時間期間）參 數估計并基于建模擺動誤差來執行誤差補償。
[0052] 為了討論的目的，考慮下面的示例性實施方式(在替換示例中，具有其它特性的實 施方式在本公開的范圍內）:在實施方式中，成像系統102是基于四倍采樣，即在每個成像帖 處，用成像系統1〇2(例如，用控制模塊208,基于來自傳感器模塊206的信息)對SRF波形的四 個等距離獲取值進行采樣。在每隔一個帖處，采樣點被移位采樣距離的一半，即 ?帖η采樣點： 〇°(〇) 90° (31/2) 180° (31) 270°(33i/2) ?帖n+1 采樣點：45°(3i/4) 135° (331/4) 225° 巧3i/4) 315°(73i/4)。
[0053] 在實施方式中，發射的EM信號（例如，由照明模塊202發射)和因此的SRF波形包含 基波和一個主導的Ξ階諧波。
[0054] 在實施方式中，由于基波的相位是用于ToF距離估計的基礎，所W例如由控制模塊 208來評估4點離散傅立葉變換(DFT)的第一倉(bin)。換言之，將SRF波形的前四個等距離樣 本轉換到頻域。由于運些值一般地是復數值，所W可W將其視為復平面中的相量，如圖4的 下曲線圖中所示。在帖η處，可W將某個像素302處觀察到的相量表示為
其中，Ai和A3分別地指代基波和立次諧波的振幅。fd表示基波的相位，其對應于(直至 任意偏移)實際距離。Δ聲3是Ξ次諧波與基波之間的相位偏移。如果底層信號形狀未改變， 則此相位偏移獨立于距離且并未隨時間推移而改變。Ξ次諧波的復共輛和相應相位項的表 達是ToF成像系統的上下文中的傅立葉分析和頻譜混疊理論的結果。
[0化5]在實施方式中，成像系統102已被進行偏移校準，即基波的相位取1直接地指代實際 距離。在替換實施方式中，預先不需要此偏移校準，但是其簡化下面的推導。
[0化6] 參考圖4,在實施方式中，如果鴻滿.義，貝柯W示出下面的關系式：
在實施方式中，如果（當)兩個系數和Δ艱3是已知的，則擺動誤差模型完成，并且補償 是可能的。在一個示例中，通過將兩個連續圖像帖與移位采樣點組合來估計運些參數(系數 ?和Δφ3)。請注意，使采樣點移位?r/4指代相同量的虛擬距離移位，在帖n+1處獲得的觀察 相量評估成
[0058] 在實施方式中，基于等式(2)的重新公式化來執行誤差補償，即，
[0059] 請注意:在實施方式中，等式(7)將把實際距離'祭奔視作自變量(argument)。然而， 只有當觀察到的（且因此錯誤的）距離#可用時，其也可被使用，因為可W表明附加誤差是 非常小的。無論如何，在某些替換實施方式中，可W使用迭代評估來增強性能并使附加誤差 最小化。
[0060] 在各種實施方式中，基于上文導出的模型，如果捕捉到包含可忽略移動(例如，小 于移動的預定義闊值量）的兩個圖像帖，則可W基于等式（5、6)來估計擺動誤差模型的系 數。在實施方式中，對用偏移采樣點采樣的圖像帖（例如，每隔一個帖，在前面的推導中用η +1來表示)施加補償移位€-挪'4。
[0061] 本文所述技術是基于像素的。在替換實施方式中，由于已知在整個像素陣列（例 如，傳感器模塊206)上擺動誤差是相等/類似的，所W可在估計階段中將多個像素302組合 W便減小估計誤差。
[0062] 本文所述的技術還假定擺動誤差是恒定的。然而，在替換實施方式中，擺動誤差并 不是恒定的，并且兩個參數k和法舉.3可W在像素302位置上和/或相比于場景（106,108)變 化而示出潛在的變化。在替換實施方式中，可動態地(例如，周期性地、規則地或恒定地)更 新模型參數k和Δ祭3?允許像素302位置上的系數變化。在任一種情況下，一旦確定了兩個 系數k和么與3，就可W根據等式(7)來執行擺動誤差補償。
[00創在實施方式中，一旦確定(例如，估計）了包括兩個系數k和a警3:的參數集，則使用 一個獲取圖像帖的擺動誤差的補償是可能的，獨立于先前的帖。因此，在帖之間不存在可W 導致對例如運動偽像(motion adifact)的更高敏感度的相關性。
[0064] 在各種實施方式中，可使用附加或替換部件來實現公開的技術和布置。
[0065] 圖5和6是示出了根據各種實施方式的擺動誤差的參數在線校準和補償的示例性 結果的圖形說明。該圖形說明是如下所述的各種模擬的結果。模擬是用下面的條件執行的：
請注意： ?在貌似合理的范圍內相對于解;神持取馬釣，:邸起毎嶺心來將該模擬隨機化 ?執行一百萬次試驗 ?項泣襄和貸計及帖上的擺動誤差的不一致性。 ?結雜是由于?觀而引起的預期振幅變化。 ?向玄添加附加噪聲項W便近似現實環境。
[0066] 模擬下面的情形： ?圖5，上曲線圖集:無噪聲、擺動誤差一致（ΔΑ·=化6 ^ ο)[概念驗證] ?圖5,下曲線圖集:無噪聲，擺動誤差不一致(10%的參數變化） ?圖6,上曲線圖集:SNR = 66地（11位準確度，即13位ADC+2位噪聲），擺動誤差一致（ 沒化蘭化《^ 0 ) ?圖6,下曲線圖集:SNR = 66地（11位準確度，即，13位ADC + 2位噪聲），擺動誤差不一 致(10%的參數變化）[最壞情況情形]。
[0067]如圖5和6中所示，在全部的四個概述情形中，提出的算法對補償擺動誤差表現很 好。請注意，在圖6中所示的情形中，可W實現基于求平均/像素聚類等的附加性能增加(例 如，通過將來自多個圖像帖和/或來自多個像素302的信息組合）。
[006引典型過程 圖7圖示出用于自適應地校準和補償成像系統(諸如成像系統102)處的擺動誤差并因 此確定對象(例如，諸如對象106)與成像系統的正確距離測量的典型過程700。過程700描述 使用參數模型來自適應地補償擺動誤差。參考圖1-6來描述過程700。
[0069] 描述過程所采用的順序并不意圖被解釋為限制，并且可按照任何順序將任何數目 的所述過程塊組合W實現過程或替換過程。另外，在不脫離本文所述的主題的精神和范圍 的情況下，可將單個塊從過程刪除。此外，在不脫離本文所述主題的范圍的情況下，可W用 任何適當材料或其組合來實現過程。
[0070] 在一個示例中，可由包括例如Lm)或激光發射體的發射體(諸如照明模塊202等)發 射光福射。在某些實施方式中，光福射可W是已調制光。例如，可使用調制部件(諸如調制部 件204)來調制光，并且可與成像設備的一個或多個光敏像素(例如，諸如像素302)的調制相 關地調制光。
[0071] 在塊702處，該過程包括用成像傳感器(例如，諸如傳感器模塊206和/或像素302) 在至少一個帖事件（即，一時間點處的圖像捕捉）期間捕捉反射離開區域(例如，諸如區域 108)內的一個或多個對象(例如，諸如對象106)的光福射。成像傳感器可例如由一個或多個 光敏像素(諸如像素302)構成。該光反射可被成像傳感器經由例如光學件、接收機、天線等 接收到。
[0072] 在實施方式中，用于進一步處理的數據輸出可包括用于每個帖事件的一組數值， 指代基于所捕捉光的波形的信號的多個等距離樣本(即，先前定義的傳感器響應函數(SRF) 的樣本)。
[0073] 在實施方式中，該過程包括在兩個或更多帖事件期間對SRF進行采樣，其中，在一 個帖中，一組的多個等距離樣本的采樣位置可W具有從另一帖中捕捉的另一組的多個等距 離樣本的采樣位置的一定的偏移。在另一示例中，其它多個等距離采樣點的采樣位置從第 一多個等距離采樣點的采樣位置移位采樣距離的一半。在又一示例中，該過程包括隨著每 個連續的帖事件在第一多個等距離采樣點的采樣位置處并且在其它多個等距離采樣點的 采樣位置處交替地對SRF進行采樣。
[0074] 在塊704處，該過程包括可選地確定用于擺動誤差的模型的一個或多個參數中的 每一個的值。在實施方式中，一個或多個參數中的一個包括Ξ次諧波與捕捉光福射的基波 波形之間的相位偏移，并且一個或多個參數中的另一個包括表示Ξ次諧波的振幅與基波的 振幅的比的因數。
[0075] 在實施方式中，該過程包括通過將來自兩個或更多連續帖事件的數據組合來估計 用于一個或多個參數中的每一個的值。在另一實施方式中，該過程包括將來自兩個或更多 連續圖像帖的數據組合，其中，等距離采樣點的兩個或更多集合的相應采樣位置相互偏移。 在另一實施方式中，該過程包括通過將來自成像系統的兩個或更多像素的數據組合來估計 用于所述一個或多個參數中的每一個的值。
[0076] 在塊706處，該過程包括補償擺動誤差W闡明光福射內的距離信息。在實施方式 中，該過程包括一旦確定了用于所述一個或多個參數中的每一個的值就補償在單個帖事件 期間捕捉到的光福射的擺動誤差。在各種實施方式中，該過程包括在成像系統的運行時間 期間補償擺動誤差。
[0077] 在塊708處，該過程包括基于在所述至少一個帖事件期間捕捉到的光福射的闡明 距離信息來計算從一個或多個對象到成像傳感器的距離。例如，在實施方式中，該過程包括 計算從一個或多個對象到成像傳感器的每個像素的距離。
[0078] 在實施方式中，該過程還包括飛行時間技術，諸如測量從發射光福射到接收到光 福射的反射的時間并基于該測量時間來計算對象的距離。在各種實施方式中，該過程包括 將圖像或手勢信息輸出到計算設備W用于輸入控制等。另外，該過程可包括向顯示設備、向 被布置成處理信息的另一系統等輸出成像信息，諸如距離、檢測到的對象的Ξ維圖像、對象 的跟蹤坐t不等。
[0079] 在替換實施方式中，可各種組合在過程中包括其它技術，并且其仍然在本公 開的范圍內。
[0080] 結論 盡管^用對結構特征和/或方法動作特定的語言描述了本公開的實施方式，但是應 理解的是實施方式不一定被限制到所述的特定特征或動作。更確切地說，該特定特征和動 作是作為實現示例性設備和技術的典型形式而公開的。
【主權項】
1. 一種裝置，包括： 成像傳感器，其被布置成在一個或多個幀事件期間捕捉反射離開區域中的一個或多個 對象的光福射;以及 處理部件，其被布置成基于確定用于在一個或多個幀事件期間捕捉到的光輻射的擺動 誤差的模型的一個或多個參數中的每一個的值并補償該擺動誤差來計算從一個或多個對 象到成像傳感器的距離。2. 權利要求1的裝置， 其中，所述處理部件被布置成基于復平面中的相量來生成擺動誤差的模型。3. 權利要求1的裝置， 其中，所述處理部件被布置成基于所捕捉光輻射的基波和高階諧波來估計用于一個或 多個參數中的每一個的值。4. 權利要求3的裝置， 其中，所述處理部件被布置成估計所捕捉光輻射的高階諧波和基波之間的相位偏移及 表示高階諧波的振幅與基波的振幅的比的因數。5. 權利要求1的裝置， 其中，所述處理部件被布置成自適應地補償在單個幀事件期間或在多個幀事件期間捕 捉的光輻射的擺動誤差，包括動態地確定用于一個或多個參數中的每一個的已更新值。6. 權利要求1的裝置， 其中，所述處理部件被布置成在多個等距離采樣點處基于所捕捉光輻射的波形對信號 進行采樣，每個采樣點位于波形上的預定相位處。7. 權利要求1的裝置， 其中，所述處理部件被布置成在第一多個等距離采樣點處基于所捕捉光輻射的波形對 信號進行采樣，并且隨著連續的幀事件，在從第一多個等距離采樣點移位預定角偏移的其 它多個等距離采樣點處基于所捕捉光輻射的波形對信號進行采樣。8. 權利要求1的裝置， 其中，所述成像傳感器由多個像素器件構成，并且其中，所述處理部件被布置成基于通 過將來自由成像系統的兩個或更多像素捕捉的光輻射的信息組合來估計用于所述一個或 多個參數中的每一個的值而計算從一個或多個對象到成像傳感器的每個像素器件的距離。9. 權利要求1的裝置， 其中，所述成像傳感器被布置成在一個或多個幀事件期間使用飛行時間原理來捕捉區 域的三維圖像，并在運行時間期間補償所捕捉光輻射的擺動誤差。10. -種系統，包括： 照明模塊，其被布置成發射光輻射以照亮區域； 傳感器模塊，其包括被布置成在一個或多個幀事件期間捕捉反射離開該區域中的一個 或多個對象的光輻射的多個像素；以及 控制模塊，其被布置成確定用于在所述一個或多個幀事件期間捕捉的光輻射的擺動誤 差的模型的一個或多個參數中的每一個的值，以在運行時間期間補償擺動誤差，并基于由 單個像素捕捉并被針對擺動誤差進行補償的光輻射來計算從一個或多個對象到所述多個 像素中的單個像素的距離。11. 權利要求10的系統， 所述控制模塊進一步被布置成在所述多個像素中的單個像素上或者隨著區域場景改 變而在所述區域上隨著擺動誤差的特性隨時間推移改變而動態地估計和/或更新用于模型 的所述一個或多個參數中的每一個的值。12. 權利要求10的系統， 所述控制模塊進一步被布置成補償擺動誤差并獨立于先前的幀且在幀事件之間沒有 互相關性的情況下基于使用一個所獲取幀事件來計算從一個或多個對象到各個像素的距 離。13. 權利要求10的系統， 其中，所述多個像素中的單個像素的輸出包括具有疊加在其上面的高頻分量的基波， 所述控制模塊進一步被布置成適應性地補償高頻分量并闡明由傳感器模塊捕捉的距離信 息。14. 一種方法，包括： 用成像傳感器在至少一個幀事件期間捕捉反射離開區域內的一個或多個對象的光輻 射； 基于擺動誤差的模型來確定用于一個或多個參數的值； 補償擺動誤差以闡明光輻射內的距離信息；以及 基于在所述至少一個幀事件期間捕捉到的光輻射的闡明距離信息來計算從一個或多 個對象到成像傳感器的距離。15. 權利要求14的方法， 還包括參考所捕捉光輻射的基波和高階諧波來使用復平面中的相量對擺動誤差進行 建模。16. 權利要求14的方法， 其中，所述一個或多個參數中的一個包括所捕捉光輻射的高階諧波和基波之間的相位 偏移，并且所述一個或多個參數中的另一個包括表示高階諧波的振幅與基波的振幅的比的 因數。17. 權利要求14的方法， 還包括生成包括用于每個幀事件的一組數值的數據，該數值基于所捕捉光的波形來表 示信號的多個等距離樣本。18. 權利要求17的方法， 還包括在兩個或更多幀事件期間對信號進行采樣，其中，在第一幀事件期間捕捉到的 第一組的多個等距離樣本的采樣位置具有從在另一幀事件期間捕捉到的另一組的多個等 距離樣本的采樣位置的偏移。19. 權利要求18的方法， 其中，所述另一組的多個等距離樣本的采樣位置從所述第一組的多個等距離樣本的采 樣位置移位采樣距離的一半。20. 權利要求18的方法， 還包括隨著每個連續幀事件在第一組的多個等距離樣本的采樣位置處且在另一組的 多個等距離樣本的采樣位置處交替地對信號進行采樣。21. 權利要求14的方法， 還包括將來自兩個或更多連續幀事件的數據組合，其中，在兩個或更多連續幀事件期 間捕捉到的等距離樣本的兩個或更多集合的相應采樣位置相互偏移。22. 權利要求14的方法， 還包括通過將來自兩個或更多連續幀事件的數據組合來估計用于所述一個或多個參 數中的每一個的值。23. 權利要求14的方法， 還包括通過將來自成像系統的兩個或更多像素的數據組合來估計用于所述一個或多 個參數中的每一個的值。24. 權利要求14的方法， 還包括一旦確定了用于所述一個或多個參數中的每一個的值就補償在單個幀事件期 間捕捉到的光輻射的擺動誤差。25. 權利要求14的方法， 還包括在成像系統的運行時間期間補償擺動誤差。26. -種三維成像設備，包括： 成像傳感器，其被布置成基于飛行時間原理來捕捉區域的三維圖像，該成像傳感器包 括被布置成在一個或多個幀事件期間捕捉反射離開區域中的一個或多個對象的光輻射的 多個像素，該光輻射包括距離信息和高階諧波，其在距離估計時導致擺動誤差；以及 處理部件，其被布置成基于闡明在一個或多個幀事件期間捕捉的光輻射的距離信息來 計算從一個或多個對象到圖像傳感器的各個像素的距離，該處理部件被布置成估計用于擺 動誤差的基于相量的模型的兩個參數中的每一個的值，并在運行時間期間補償擺動誤差， 所述兩個參數中的第一個包括所捕捉光輻射的高階諧波和基波之間的相位偏移，并且 兩個參數中的第二個包括表示高階諧波的振幅與基波的振幅的比的因數。
【文檔編號】G06K9/00GK106066987SQ201610249674
【公開日】2016年11月2日
【申請日】2016年4月21日 公開號201610249674.4, CN 106066987 A, CN 106066987A, CN 201610249674, CN-A-106066987, CN106066987 A, CN106066987A, CN201610249674, CN201610249674.4
【發明人】J.格倫瓦爾德
【申請人】英飛凌科技股份有限公司