本技術(shù)屬于缺陷檢測(cè)，具體涉及一種基于msfe-yolo的禽類種蛋外殼缺陷檢測(cè)方法及系統(tǒng)。
背景技術(shù)：
1、禽類種蛋外殼是種蛋孵化的首要屏障，具有維持蛋內(nèi)物質(zhì)穩(wěn)定性、阻隔外界微生物入侵、確保營養(yǎng)成分完整等重要功能。蛋殼裂紋、污斑、鈣化不均等表面缺陷直接關(guān)聯(lián)蛋品存儲(chǔ)安全性與商業(yè)流通合格率。目前，傳統(tǒng)缺陷篩選方法主要依賴于人工觀察，不僅效率低下，且易受主觀因素影響。開發(fā)自動(dòng)化缺陷檢測(cè)技術(shù)為禽類養(yǎng)殖企業(yè)提供實(shí)時(shí)質(zhì)量監(jiān)控方案，以減少農(nóng)產(chǎn)品損耗，具有重要的民生價(jià)值與經(jīng)濟(jì)意義。當(dāng)前，基于圖像識(shí)別的蛋殼缺陷無損檢測(cè)技術(shù)已成為學(xué)者們研究的熱點(diǎn)方向。
2、常見的禽類種蛋外殼缺陷主要包括裂紋、裂縫以及破損等，缺陷占整體像素比例較小，屬于典型的小目標(biāo)檢測(cè)問題。yolov8采用的pan-fpn結(jié)構(gòu)結(jié)合了特征金字塔網(wǎng)絡(luò)（fpn）和路徑聚合網(wǎng)絡(luò)（panet）的優(yōu)勢(shì)。fpn通過自頂向下的策略整合多層級(jí)特征，增強(qiáng)了上下文信息捕捉能力，而panet進(jìn)一步引入自底向上的路徑聚合機(jī)制，提升了淺層特征的利用效率，在小目標(biāo)數(shù)據(jù)集上展現(xiàn)出良好的檢測(cè)性能。
3、yolov8算法根據(jù)其骨干網(wǎng)絡(luò)的設(shè)計(jì)深度和寬度，分為n、s、m、l、x多個(gè)版本，可以通過調(diào)節(jié)參數(shù)切換模型大小。隨著深度和寬度的提高，算法的檢測(cè)精度也會(huì)隨之提升，但與此同時(shí)帶來的巨大參數(shù)量以及計(jì)算開銷同樣不容忽視。yolov8s為yolov8算法參數(shù)倒數(shù)第二小的版本，yolov8s算法的參數(shù)量較小，適合實(shí)際部署應(yīng)用，但其在禽類種蛋缺陷數(shù)據(jù)集上的檢測(cè)精度仍需進(jìn)一步提升。
4、因此研發(fā)一種在檢測(cè)精度與計(jì)算開銷之間具有較好的平衡，并能夠在種蛋缺陷檢測(cè)任務(wù)中取得較好效果的方法很有市場(chǎng)前景。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的是為了解決現(xiàn)有技術(shù)的問題，提供了一種基于msfe-yolo的禽類種蛋外殼缺陷檢測(cè)方法及系統(tǒng)，該系統(tǒng)將深度學(xué)習(xí)算法與嵌入式設(shè)備相結(jié)合，實(shí)現(xiàn)從圖像獲取到缺陷識(shí)別的一體化檢測(cè)，適用于針對(duì)禽類種蛋外殼缺陷的小目標(biāo)檢測(cè)場(chǎng)景，兼顧檢測(cè)精度及計(jì)算開銷，在禽類種蛋篩選場(chǎng)景中獲得了良好的檢測(cè)效果。
2、為了解決技術(shù)問題，本技術(shù)的技術(shù)方案是：一種基于msfe-yolo的禽類種蛋外殼缺陷檢測(cè)方法，包括以下步驟：
3、步驟1：采集禽類種蛋外殼缺陷圖像，包括裂紋、裂縫以及破損缺陷；
4、步驟2：對(duì)采集到的禽類種蛋外殼缺陷圖像進(jìn)行預(yù)處理及數(shù)據(jù)標(biāo)注，得到最終的禽類種蛋外殼缺陷數(shù)據(jù)集；
5、步驟3：將禽類種蛋外殼缺陷數(shù)據(jù)集輸入到改進(jìn)msfe-yolo網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，通過損失函數(shù)對(duì)改進(jìn)msfe-yolo網(wǎng)絡(luò)模型的參數(shù)進(jìn)行優(yōu)化，得到訓(xùn)練好的缺陷檢測(cè)模型；
6、所述改進(jìn)msfe-yolo網(wǎng)絡(luò)模型包括骨干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和檢測(cè)頭，骨干網(wǎng)絡(luò)的特征提取流程依次為第一cbs、第二cbs、第一c2f-adem、第三cbs、第二c2f-adem、第四cbs、第三c2f-adem、第五cbs、第四c2f-adem和sppf，特征融合網(wǎng)絡(luò)為改進(jìn)mffn特征融合網(wǎng)絡(luò)，改進(jìn)mffn特征融合網(wǎng)絡(luò)中的spdconv連接第二cbs的輸出，spdconv的輸出連接第二concat，第二c2f-adem的輸出也連接第二concat，sppf的輸出連接第一upsample，第一upsample的輸出連接第一concat；第三c2f-adem的輸出也連接第一concat，第一concat通過第五c2f-adem和第二upsample的輸出連接第二concat，第二concat的輸出連接大尺度卷積層conv，第五c2f-adem的輸出連接第三concat，sppf的輸出還連接第四concat，大尺度卷積層conv、第三concat和第四concat的輸出分別連接檢測(cè)頭；
7、步驟4：利用訓(xùn)練好的缺陷檢測(cè)模型對(duì)待檢測(cè)禽類種蛋外殼圖像進(jìn)行檢測(cè)，檢測(cè)是否存在相關(guān)缺陷，得出檢測(cè)結(jié)果；
8、步驟5：根據(jù)檢測(cè)結(jié)果，利用二指夾爪夾取缺陷種蛋，實(shí)現(xiàn)缺陷種蛋與完好種蛋的實(shí)時(shí)分流。
9、優(yōu)選的，所述步驟1具體為：利用攜帶環(huán)形lcd光源模組的高清相機(jī)獲取高質(zhì)量禽類種蛋外殼缺陷圖像，調(diào)整高清相機(jī)位姿，使高清相機(jī)的光軸與光源入射角呈諾曼系數(shù)關(guān)系，規(guī)避鏡面反射。
10、優(yōu)選的，所述步驟2中預(yù)處理包括幾何校正、去噪和均衡，具體過程為：首先對(duì)禽類種蛋外殼缺陷圖像進(jìn)行幾何校正，以消除拍攝角度導(dǎo)致的形變；其次采用高斯濾波或中值濾波進(jìn)行去噪處理，減少高頻噪聲對(duì)改進(jìn)msfe-yolo網(wǎng)絡(luò)模型學(xué)習(xí)的干擾；最后將禽類種蛋外殼缺陷圖像統(tǒng)一縮放至改進(jìn)msfe-yolo網(wǎng)絡(luò)模型的輸入尺寸，并進(jìn)行歸一化處理。
11、優(yōu)選的，所述步驟3中第一c2f-adem、第二c2f-adem、第三c2f-adem和第四c2f-adem的模塊結(jié)構(gòu)相同，均是將輸入特征通過1×1cbs卷積層，隨后將輸出特征在通道維度上分割為兩部分，其中一部分經(jīng)過adem模塊，另一部分保持原有特征，隨后將兩條分支輸出結(jié)果在通道維度上進(jìn)行拼接，最后通過1×1cbs卷積層后輸出特征。
12、優(yōu)選的，所述adem模塊將輸入特征首先輸入條件卷積，隨后通過通道分割為兩部分，其中一部分通過細(xì)節(jié)增強(qiáng)卷積和逐點(diǎn)卷積，隨后與另一部分直接在特征維度進(jìn)行特征拼接，最后通過通道混洗后輸出特征。
13、優(yōu)選的，所述步驟3中檢測(cè)頭采用anchor-free檢測(cè)機(jī)制，由三個(gè)檢測(cè)頭分別在三個(gè)不同尺度的特征圖上進(jìn)行檢測(cè)，輸出五個(gè)物理量：預(yù)測(cè)類別、預(yù)測(cè)框中心點(diǎn)x、y坐標(biāo)、預(yù)測(cè)框的寬和高。
14、優(yōu)選的，所述步驟3中將禽類種蛋外殼缺陷數(shù)據(jù)集按照7:2:1的比例劃分為訓(xùn)練集、驗(yàn)證集以及測(cè)試集，輸入到改進(jìn)msfe-yolo網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。
15、優(yōu)選的，所述步驟3中損失函數(shù)包括分類損失函數(shù)、邊界框損失函數(shù)以及置信度損失函數(shù)三部分；
16、所述邊界框損失函數(shù)采用 n-ciou損失函數(shù)， n-ciou損失函數(shù)的表達(dá)式為：
17、；
18、其中：
19、 l n-ciou表示 n-ciou損失；
20、 niou表示 n-iou所提出的交并比損失；
21、表示 ciou的邊界框損失；其中表示預(yù)測(cè)框和真實(shí)框中心點(diǎn)之間的歐幾里得距離的平方，用于衡量兩個(gè)框中心點(diǎn)的位置差異； a作為平衡因子用于調(diào)整形狀相似懲罰項(xiàng)的權(quán)重； v表示預(yù)測(cè)框和真實(shí)框的長寬比差異的度量；
22、所述 n-ciou所提出的交并比損失 niou表達(dá)式為：
23、；
24、其中：
25、 inter表示真實(shí)框與預(yù)測(cè)框區(qū)域間的并集；
26、 union表示真實(shí)框與預(yù)測(cè)框區(qū)域間的交集；
27、 n表示可調(diào)參數(shù)。
28、優(yōu)選的，一種基于msfe-yolo的禽類種蛋外殼缺陷檢測(cè)系統(tǒng)，該系統(tǒng)包括：
29、圖像采集裝置，通過高清相機(jī)獲取高質(zhì)量禽類種蛋外殼缺陷圖像；
30、光照增強(qiáng)裝置，通過環(huán)形lcd對(duì)禽類種蛋外殼補(bǔ)光，增強(qiáng)禽類種蛋外殼缺陷圖像的可識(shí)別性；
31、數(shù)據(jù)傳輸模塊，通過wi-fi傳輸實(shí)現(xiàn)高清相機(jī)與嵌入式設(shè)備間的禽類種蛋外殼缺陷圖像傳輸；
32、缺陷檢測(cè)模塊，通過在嵌入式設(shè)備內(nèi)部署改進(jìn)msfe-yolo網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)輸入待檢測(cè)禽類種蛋外殼圖像的自動(dòng)檢測(cè)；
33、種蛋夾取裝置，利用二指夾爪夾取缺陷種蛋，實(shí)現(xiàn)種蛋實(shí)時(shí)分類。
34、與現(xiàn)有技術(shù)相比，本技術(shù)的優(yōu)點(diǎn)在于：
35、（1）本技術(shù)提出了一種基于msfe-yolo的禽類種蛋外殼缺陷檢測(cè)方法及系統(tǒng)，通過圖像采集裝置、光照增強(qiáng)裝置、數(shù)據(jù)傳輸模塊以及缺陷檢測(cè)模塊構(gòu)成完整的檢測(cè)系統(tǒng)，實(shí)現(xiàn)從圖像獲取到缺陷識(shí)別的一體化檢測(cè)，在禽類種蛋外殼缺陷檢測(cè)應(yīng)用中可有效代替現(xiàn)有的人工檢測(cè)方法，提高禽類種蛋質(zhì)量篩選的自動(dòng)化水平；
36、（2）本技術(shù)改進(jìn)msfe-yolo網(wǎng)絡(luò)模型中的adem模塊通過引入條件卷積與細(xì)節(jié)增強(qiáng)卷積為每個(gè)輸入特征生成條件向量，并利用該向量動(dòng)態(tài)調(diào)整多個(gè)基礎(chǔ)卷積核的權(quán)重組合，使cbs卷積層能夠適應(yīng)不同禽類種蛋外殼缺陷樣本的特征需求，提升模型的靈活性和表達(dá)能力；
37、（3）本技術(shù)改進(jìn)msfe-yolo網(wǎng)絡(luò)模型中的mffn特征融合網(wǎng)絡(luò)基于pan-fpn架構(gòu)對(duì)yolov8特征融合網(wǎng)絡(luò)進(jìn)行改進(jìn)，采用spdconv對(duì)第二cbs的輸出進(jìn)行下采樣，將輸出結(jié)果與p3層進(jìn)行融合，以增強(qiáng)對(duì)大尺度特征圖中細(xì)節(jié)信息的關(guān)注；
38、（4）本技術(shù)改進(jìn)msfe-yolo網(wǎng)絡(luò)模型設(shè)計(jì)了c2f-adem模塊，并構(gòu)建了mffn多尺度特征融合網(wǎng)絡(luò)，提升特征提取和特征融合效果的同時(shí)極大地降低了參數(shù)量，可在檢測(cè)精度與計(jì)算開銷之間取得了較好的平衡。