本發明涉及計算機,尤其涉及一種標注方法、碎屏識別模型的構建方法和碎屏識別方法。
背景技術:
1、隨著智能手機技術的發展和提升,社會活動、工作任務都離不開手機,但在日常使用過程中,由于意外跌落、物理沖擊等原因,手機屏幕可能會發生破碎,在破損手機維修流程中,快遞公司和修理廠家都會對手機屏幕進行拍照留證,用于明確損壞程度與責任歸屬。
2、目前,主要采用深度學習神經網絡對碎屏進行檢測,由于碎屏裂紋密度和延伸長度、延伸方向存在很大區別,而簡單的矩形標注框標注可能會包含大面積的無關區域,造成深度學習神經網絡的學習過程收斂慢,也存在過擬合的風險,并且經過深度學習后的神經網絡容易存在碎屏誤檢、漏檢等問題。
技術實現思路
1、本發明提供了一種標注方法、碎屏識別模型的構建方法和碎屏識別方法,以解決現有技術中碎屏標注框的范圍太大,容易導致深度學習神經網絡的學習過程收斂慢,進而導致網絡模型檢測碎屏的準確性低、誤差大的技術問題。
2、為了解決上述技術問題,本發明實施例提供了一種標注方法,包括:
3、獲取標注有第一標注框和第二標注框的屏幕圖像;其中,所述第一標注框包括屏幕的碎屏延伸區域,所述第二標注框包括屏幕的碎屏核心區域;
4、根據所述第一標注框和所述第二標注框的邊框之間的距離關系,采樣得到初始學習標注框的概率分布;
5、根據所述初始學習標注框的概率分布,計算得到最終的學習標注框,并標注在所述屏幕圖像上。
6、作為優選方案,所述根據所述第一標注框和所述第二標注框的邊框之間的距離關系,采樣得到初始學習標注框的概率分布,包括:
7、獲取所述第二標注框中的一橫邊和一豎邊分別在所述屏幕圖像中所占像素值的行數和列數,并將該行數作為第一均值,將該列數作為第二均值;
8、根據所述第一標注框和所述第二標注框在所述屏幕圖像的位置,計算出所述第二標注框所有的邊分別平移延伸至所述第一標注框對應的邊的距離;其中,所述第二標注框所覆蓋的屏幕圖像區域在所述第一標注框所覆蓋的屏幕圖像區域之中,所述第二標注框的每一個邊均與所述第一標注框中的一個邊相對應;
9、對所有邊分別延伸的距離按照預設比例進行縮放,作為對應該邊的方差;其中,每一個邊對應有一個方差;
10、根據所述第一均值、第二均值和每條邊對應的方差,生成初始學習標注框每個邊的概率分布。
11、作為優選方案,
12、所述初始學習標注框包括第一邊、第二邊、第三邊和第四邊;所述第一邊和所述第二邊分別為所述初始學習標注框中構成一個角的橫邊與豎邊,所述第三邊和所述第四邊分別為所述初始學習標注框構成另一對角的橫邊與豎邊;
13、所述第一邊的長度大于所述第一均值,所述第二邊的長度大于所述第二均值,所述第三邊的長度小于所述第一均值,所述第四邊的長度小于所述第二均值。
14、作為優選方案,所述根據所述初始學習標注框的概率分布,計算得到最終的學習標注框,并標注在所述屏幕圖像上,包括:
15、根據所述初始學習標注框每個邊的概率分布,計算得到最終的學習標注框的中心點位置概率、長度概率和寬度概率;
16、根據所述中心點位置概率、長度概率和寬度概率,得到最終的學習標注框,并將最終的學習標注框標注于所述屏幕圖像上。
17、相應地,本發明還提供一種碎屏識別模型的構建方法,方法包括:
18、獲取訓練樣本;其中,所述訓練樣本包括至少一個原始屏幕圖像,以及至少一個與原始屏幕圖像對應的標注有學習標注框的標注圖像;所述標注有學習標注框的標注圖像是通過上述任一項所述的標注方法得到的;
19、構建預設的神經網絡,并將所述訓練樣本輸入至所述神經網絡中進行訓練,從而得到碎屏識別模型。
20、作為優選方案,所述構建預設的神經網絡,并將所述訓練樣本輸入至所述神經網絡中進行訓練,從而得到碎屏識別模型,具體為:
21、構建預設的神經網絡;
22、根據所述訓練樣本中標注有學習標注框的標注圖像,得到所述學習標注框的中心點位置和長寬信息;
23、根據每一標注圖像的學習標注框的中心點位置和長寬信息,計算得到每一標注圖像對應的損失函數;
24、將所述訓練樣本輸入至所述神經網絡中,并結合每一標注圖像對應的損失函數,從而訓練得到碎屏識別模型。
25、相應地,本發明還提供一種碎屏識別方法,方法包括:
26、獲取待識別屏圖像;
27、將所述待識別屏圖像輸入至碎屏識別模型中,以使所述碎屏識別模型對所述待識別屏圖像進行碎屏識別;所述碎屏識別模型是通過上述任一項所述的碎屏識別模型的構建方法得到的;
28、在識別到碎屏時,在所述待識別屏圖像上生成標注有碎屏區域的標注框。
29、相應地,本發明還提供一種標注裝置,包括:屏幕圖像模塊、采樣模塊和標注模塊;
30、所述屏幕圖像模塊,用于獲取標注有第一標注框和第二標注框的屏幕圖像;其中,所述第一標注框包括屏幕的碎屏延伸區域,所述第二標注框包括屏幕的碎屏核心區域;
31、所述采樣模塊,用于根據所述第一標注框和所述第二標注框之間的距離關系,采樣得到初始學習標注框的概率分布;
32、所述標注模塊,用于根據所述初始學習標注框的概率分布,計算得到最終的學習標注框,并標注在所述屏幕圖像上。
33、相應地,本發明還提供一種碎屏識別模型的構建裝置,包括:樣本模塊和訓練模塊;
34、所述樣本模塊,用于獲取訓練樣本;其中,所述訓練樣本包括至少一個原始屏幕圖像,以及至少一個與原始屏幕圖像對應的標注有學習標注框的標注圖像;
35、所述訓練模塊,用于構建預設的神經網絡,并將所述訓練樣本輸入至所述神經網絡中進行訓練,從而得到碎屏識別模型;
36、其中,所述碎屏識別模型的構建方法中的訓練樣本的標注圖像由上任意一項所述的標注方法得到。
37、相應地,本發明還提供一種碎屏識別裝置,包括:屏圖像模塊、識別模塊和輸出模塊;
38、所述屏圖像模塊,用于獲取待識別屏圖像;
39、所述識別模塊,用于將所述待識別屏圖像輸入至碎屏識別模型中,以使所述碎屏識別模型對所述待識別屏圖像進行碎屏識別;
40、所述輸出模塊,用于在識別到碎屏時,在所述待識別屏圖像上生成標注有碎屏區域的標注框;
41、其中,所述碎屏識別模型由任意一項所述的碎屏識別模型的構建方法所構建得到,所述碎屏識別模型的構建方法中的訓練樣本的標注圖像由任意一項所述的標注方法得到。
42、相應地,本發明還提供一種終端設備,包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序,所述處理器執行所述計算機程序時實現如上任意一項所述的標注方法、如上任意一項所述的碎屏識別模型的構建方法或如上所述的碎屏識別方法。
43、相應地,本發明還提供一種計算機可讀存儲介質,所述計算機可讀存儲介質包括存儲的計算機程序,其中,在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行如上任意一項所述的標注方法、如上任意一項所述的碎屏識別模型的構建方法或如上所述的碎屏識別方法。
44、相比于現有技術,本發明實施例具有如下有益效果:
45、本發明的技術方案通過標注有第一標注框和第二標注框之間距離關系的屏幕圖像,使得能夠可以快速定位到碎屏延伸區域和碎屏核心區域,并采樣得到初始學習標注框的概率分布,進而計算得到最終的學習標注框,標注在屏幕圖像上,而碎屏延伸區域和碎屏核心區域的標注,能夠從中采樣和計算得到學習標注框的真實值,從而實現對標注框的數據增強,使得采樣結果在一定范圍內小幅擾動,以提高標注數據的準確性,避免了用于模型訓練的學習標注框誤差較大的問題。
46、進一步地,通過數據增強后的學習標注框,能夠實現碎屏識別模型在對標注有學習標注框的屏幕圖像進行訓練時結果不收斂的情況,同時也可有效減低傳統范圍過大、標注不準確的矩形標注框框所帶來神經網絡模型的過擬合風險。