【OpenVINO】京東星鏈-邊緣端實時推薦商品
加入技術交流群
在線上商城日趨智能化數字化的發展中，如何推進線下零售場景中的智能化轉變？伴隨著物聯網應用進一步演進，越來越多實際場景要求數據本地存儲、隱私保護、低傳輸時延、低成本，邊緣計算技術因此迅猛發展。在2021 EdgeX中國挑戰賽中，京東星鏈團隊基于算法和邊緣計算技術，推出了邊緣端實時推薦商品應用方案，本方案獲得OpenVINO開源組件特別獎。
本方案能夠幫助打造門店數字化智能營銷，同時提升用戶購物體驗和趣味性，豐富門店的商品數量，提高營銷轉化率。整個方案基于EdgeX API開發平臺，并使用開源工具OpenVINO進行視覺圖像處理，不僅極大地降低了開發過程的預算成本和時間成本，同時帶來高精度的識別率。下面簡單介紹本方案使用到的模塊和算法。
基于EdgeX API開發邊緣推薦系統
?采用前后端分離技術開發，前端使用vue，后端使用golang開發。
?基于edgeX2.0進行開發。
?使用openvino 2021.4.582版本上，進行人臉檢測模型，人臉屬性模型（人臉特征、年齡、性別、口罩）的開發。檢測加處理27ms以內。
?開發后臺系統配置標簽功能，錄入SKU，和對應的tag標簽，做ElasticSearch搜索和推薦，完成相關流程梳理和設計。
利用OpenVINO部署算法模型
模型選擇與優化
?輕量的人臉檢測模型UltraFace
?基于ghostnet自研人臉屬性模型，實現單模型預測人臉特征、年齡、性別以及口罩，運算效率提高3倍。
模型移植與推理
?CPU&GPU：i7-7700HQ&HD Graphic 630
?模型轉換精度：FP32
?人臉檢測模型推理速度：10ms/張
?人臉屬性模型推理速度：10ms/張
?FP16與FP32速度基本一致
邊緣端-商品管理，支持離線推薦
在線下門店場景中，店員可以維護相關商品信息：
1.為了提高應用響應速度，使用ElasticSearch存儲，Skuid，圖片信息，價格，商品名稱，匹配標簽性別，年齡段信息。
2.支持商品批量導入，單獨增加，刪除功能。
3.提供本地查詢，推薦接口，供前端H5頁面進行訪問。
4.接受算法推送消息，并做更新判斷邏輯處理。
隱私協議-授權后采集并推薦
根據國家政策提供隱私協議授權：
采集人臉信息是為了方便推薦適合的商品信息，提升用戶的購物體驗。在獲得用戶的同意下，僅會用作本地實時推薦，不會存儲用戶的任何信息，不會上報到云端。
本地推薦刷新接口代碼
模型推理，metadata設備注冊
京東星鏈團隊帶來的邊緣端實時推薦方案，利用物聯網、人工智能、計算機視覺等先進技術，在靠近用戶側實現本地識別與云端算法推薦相結合，終端及云端協議適配、工作負載本地整合等功能，有效化解線下零售在數字化轉型過程中的困難與挑戰，幫助商家充分解決邊緣計算及物聯網平臺的技術難題。
評論