本申請涉及數據壓縮,尤其涉及數據管理方法、裝置、設備及介質。
背景技術:
1、目前全閃存儲成本較高,且存在擦寫次數有限的問題,通過壓縮技術,可以減少數據占用空間,節省存儲成本,提高存儲效率,且通過壓縮后使得落盤數據更少,能夠有效減少io(input/output,輸入/輸出)操作,降低寫放大,提升整體吞吐量,大幅度減少了相同體量的數據在落盤時的擦寫次數,從而減少閃存磨損,延長ssd(solid?state?drive,固態硬盤)的使用壽命。
2、相關技術中,通過外插qat(quick?assist?technology,快速輔助技術)壓縮卡實現壓縮功能,這種借助于壓縮卡的壓縮,通常通過在存儲系統的主機io路徑上增加一個特定模塊,用于與壓縮卡進行交互,例如,存儲系統在接收到主機下發的寫io后,經過一系列處理到達與壓縮卡交互的模塊,由該模塊提交給壓縮卡,等待io被壓縮卡處理完,再返回到存儲系統的主機io流程,進行后續處理,直至數據落盤,然而,這種方式對壓縮卡的依賴性極強,屬于實時壓縮,一旦壓縮卡發生故障,則無法進行數據壓縮。
3、因此,如何在數據壓縮過程中降低存儲設備對硬件壓縮卡的依賴是當前亟需解決的問題。
技術實現思路
1、本申請提供了一種數據管理方法、裝置、設備及介質,以至少解決相關技術中在數據壓縮過程中降低存儲設備對硬件壓縮卡的依賴的問題。
2、本申請提供了一種數據管理方法,所述方法包括:
3、響應于主機發送的數據寫入請求,判斷所述數據寫入請求的待寫入數據是否符合在線壓縮條件;
4、若所述待寫入數據符合在線壓縮條件,則對所述待寫入數據進行在線壓縮處理,獲取第一壓縮數據,并將所述第一壓縮數據寫入磁盤;
5、若所述待寫入數據不符合在線壓縮條件,則將所述待寫入數據寫入磁盤,以及當觸發后臺數據壓縮時,對所述待寫入數據進行后臺壓縮處理,獲取第二壓縮數據,將所述待寫入數據更新為第二壓縮數據。
6、本申請還提供了一種數據管理裝置,所述裝置包括:
7、條件判斷模塊,用于響應于主機發送的數據寫入請求,判斷所述數據寫入請求的待寫入數據是否符合在線壓縮條件;
8、在線壓縮模塊,用于若所述待寫入數據符合在線壓縮條件,則對所述待寫入數據進行在線壓縮處理,獲取第一壓縮數據,并將所述第一壓縮數據寫入磁盤;
9、后臺壓縮模塊,用于若所述待寫入數據不符合在線壓縮條件,則將所述待寫入數據寫入磁盤,以及當觸發后臺數據壓縮時,對所述待寫入數據進行后臺壓縮處理,獲取第二壓縮數據,將所述待寫入數據更新為第二壓縮數據。
10、本申請還提供了一種電子設備,包括:存儲器,用于存儲計算機程序;處理器,用于執行計算機程序時實現上述任一種數據管理方法的步驟。
11、本申請還提供了一種計算機可讀存儲介質,計算機可讀存儲介質中存儲有計算機程序,其中,計算機程序被處理器執行時實現上述任一種數據管理方法的步驟。
12、本申請還提供了一種計算機程序產品,包括計算機程序,計算機程序被處理器執行時實現上述任一種數據管理方法的步驟。
13、通過本申請,通過判斷待寫入數據是否符合在線壓縮條件,對于符合壓縮條件的數據,進行在線壓縮處理,對于不符合壓縮條件的數據,直接將該數據寫入磁盤,并在后臺進行壓縮處理,可以避免在線壓縮帶來的額外延遲。通過在線壓縮和后臺壓縮的結合,使得存儲設備能夠在實時性能和存儲效率之間取得動態平衡,且,通過在線壓縮和后臺壓縮相配合的方式,將壓縮功能與主機io流程的耦合關系進行弱化,消除了對硬件壓縮卡的依賴。
1.一種數據管理方法,其特征在于,所述方法包括:
2.根據權利要求1所述的數據管理方法,其特征在于,所述方法還包括:
3.根據權利要求2所述的數據管理方法,其特征在于,所述當觸發后臺數據壓縮時,對所述待寫入數據進行后臺壓縮處理,包括:
4.根據權利要求1所述的數據管理方法,其特征在于,所述對所述待寫入數據進行后臺壓縮處理,獲取第二壓縮數據,包括:
5.根據權利要求1所述的數據管理方法,其特征在于,所述判斷所述數據寫入請求的待寫入數據是否符合在線壓縮條件,包括:
6.根據權利要求1所述的數據管理方法,其特征在于,所述方法還包括:
7.根據權利要求6所述的數據管理方法,其特征在于,所述對所述待讀取數據進行解壓縮處理,包括:
8.一種數據管理裝置,其特征在于,所述裝置包括:
9.一種電子設備,其特征在于,包括:
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質中存儲有計算機程序,其中,所述計算機程序被處理器執行時實現如權利要求1至7任一項所述數據管理方法的步驟。