本公開總體涉及場所的物品搜索服務,以及具體地,涉及利用一個或更多個物聯網(iot)相機實施的場所的物品搜索服務。
背景技術:
1、保持跟蹤場所內的物品可能具有挑戰性,特別是如果物品相對較小且經常被移動時。例如,在家中,例如皮夾、錢包、包、鑰匙、智能手機、膝上型電腦或遙控器等必要物品或重要物品很容易被放錯地方,需要物品所有者在整個家中進行人工搜索以找回物品。這種人工搜索可能是不方便的、耗時的和有壓力的。
2、存在一些幫助用戶找回丟失或放錯地方的物品的技術。例如,存在電池供電的藍牙跟蹤設備,其可以被附接到物品上,然后用于跟蹤物品的位置。然而,藍牙跟蹤設備的一些顯著缺點包括但不限于:必須為用戶可能希望跟蹤的每個物品都購買單獨的藍牙跟蹤設備,這可能是昂貴的;一些藍牙跟蹤設備不允許更換電池,這意味著當電池耗盡時,用戶必須購買全新的跟蹤設備;對于能夠更換電池的藍牙跟蹤設備,必須定期更換電池可能是昂貴的且不方便;藍牙跟蹤設備僅能夠用于跟蹤具有使跟蹤設備可以附著在其上的外形要素的物品;藍牙跟蹤設備與物品之間的連接裝置可能會失效或損壞;該物品只有在另一個藍牙設備的范圍內才是可定位的;如果藍牙跟蹤設備小到足以被吞咽,或者如果跟蹤設備使用紐扣電池或硬幣電池,并且設備外殼不牢固,則藍牙跟蹤設備可能對兒童構成危險;以及藍牙跟蹤設備可能被濫用來鎖定和跟蹤用戶并監控用戶的位置。
3、作為可以幫助用戶找回丟失或放錯地方的物品的技術的另一個示例,一些智能手機可能被配置為利用內置的基于gps和/或基于wifi的跟蹤技術來幫助用戶定位智能手機。然而,這種解決方案非常有限,因為其只適用于包括內置位置跟蹤技術的非常狹窄的物品類別。
技術實現思路
1、本公開提供了用于為包括一組iot相機的場所提供物品搜索服務的系統、裝置、制品、方法和/或計算機程序產品實施例,和/或其組合和子組合。示例實施例執行操作,該操作包括:經由物品搜索服務的用戶接口接收關于感興趣的物品的第一用戶輸入,其中,第一用戶輸入包括語音輸入或文本輸入中的一個或更多個;訪問由該組iot相機捕獲的場所的多個圖像;執行機器學習模型,以至少基于第一用戶輸入來標識多個圖像中包括感興趣物品的一個或更多個圖像,基于標識的一個或更多個圖像生成物品搜索結果,以及經由物品搜索服務的用戶接口提供物品搜索結果。
2、在一些方面,第一用戶輸入包括自然語言輸入,并且機器學習模型包括在一組圖像和分別與該組圖像中的每個圖像相關聯的自然語言文本上訓練得到的多模態機器學習模型。
3、在一些方面,該操作還包括經由物品搜索服務的用戶接口接收第二用戶輸入,該第二用戶輸入指定感興趣物品的圖像和由用戶分配給感興趣物品的標簽,以及利用感興趣物品的圖像和分配給該感興趣物品的標簽來訓練機器學習模型。
4、在一些方面,由位于場所內的一個或更多個設備進行接收、訪問、執行、生成和提供操作。
5、在一些方面,操作還包括從多個不同的機器學習模型中選擇機器學習模型,其中,多個不同機器學習模型中的每個機器學習模型針對特定場所類型或特定人口統計中的一個進行訓練或微調。
6、在一些方面,操作還包括認證物品搜索服務的用戶,并且基于該認證確定該用戶是物品搜索服務的授權用戶,以及響應于所確定的用戶是物品搜索服務的授權用戶而進行接收、訪問、執行、生成和提供操作中的一個或更多個。
7、在一些方面,操作還包括經由物品搜索服務的用戶接口接收第二用戶輸入,該第二用戶輸入指定不應是可搜索的物品,并且響應于接收第二用戶輸入,應用內容過濾器,該內容過濾器阻止物品搜索服務搜索不應是可搜索的物品,或者阻止物品搜索服務返回不應是可搜索的物品的物品搜索結果。
8、在一些方面,操作還包括確定物品搜索服務的用戶的身份,并且執行機器學習模型包括,執行機器學習模型,以至少基于第一用戶輸入和用戶的身份來標識多個圖像中包括感興趣物品的一個或更多個圖像。
9、在一些方面,基于標識的一個或更多個圖像生成物品搜索結果包括以下操作中的一項或更多項:基于標識的一個或更多個圖像,生成感興趣物品的位置的語音或文本描述,或者基于標識的一個或更多個圖像來生成顯示感興趣物品的位置的圖像。
1.一種用于為包括一組物聯網(iot)相機的場所提供物品搜索服務的計算機實現的方法,包括:
2.根據權利要求1所述的計算機實現的方法,其中,所述第一用戶輸入包括自然語言輸入,并且其中,所述機器學習模型包括在一組圖像和分別與所述一組圖像中的每個圖像相關聯的自然語言文本上訓練得到的多模態機器學習模型。
3.根據權利要求1所述的計算機實現的方法,還包括:
4.根據權利要求1所述的計算機實現的方法,還包括:
5.根據權利要求1所述的計算機實現的方法,還包括:
6.根據權利要求1所述的計算機實現的方法,還包括:
7.根據權利要求1所述的計算機實現的方法,還包括:
8.根據權利要求1所述的計算機實現的方法,還包括:
9.根據權利要求1所述的計算機實現的方法,其中,基于所述標識的一個或更多個圖像生成所述物品搜索結果包括以下操作中的一個或更多個:
10.一種用于為包括一組物聯網(iot)相機的場所提供物品搜索服務的系統,包括:
11.根據權利要求10所述的系統,其中,所述第一用戶輸入包括自然語言輸入,并且其中,所述機器學習模型包括在一組圖像和分別與所述一組圖像中的每個圖像相關聯的自然語言文本上訓練得到的多模態機器學習模型。
12.根據權利要求10所述的系統,其中,所述操作還包括:
13.根據權利要求10所述的系統,其中,所述操作還包括:
14.根據權利要求10所述的系統,其中,所述操作還包括:
15.根據權利要求10所述的系統,其中,所述操作還包括:
16.根據權利要求10所述的系統,其中,所述操作還包括:
17.根據權利要求10所述的系統,其中,基于所述標識的一個或更多個圖像生成所述物品搜索結果包括以下操作中的一個或更多個:
18.一種非暫時性計算機可讀介質,其上存儲有指令,當由至少一個計算設備執行所述指令時,所述指令使所述至少一個計算設備進行用于為包括一組物聯網(iot)相機的場所提供物品搜索服務的操作,所述操作包括:
19.根據權利要求18所述的非暫時性計算機可讀介質,其中,所述第一用戶輸入包括自然語言輸入,并且其中,所述機器學習模型包括在一組圖像和分別與所述一組圖像中的每個圖像相關聯的自然語言文本上訓練得到的多模態機器學習模型。
20.根據權利要求18所述的非暫時性計算機可讀介質,其中,所述操作還包括: