基于視覺的智能電子寵物

　　摘要：本項目將當前熱門的感知計算技術應用到電子玩具這一領域，開創性地設計了一個可以與主人進行豐富多樣的感性交流的電子寵物。以Intel 3D攝像頭和Baytrail平臺為核心，偵測主人的表情、手勢、語音等，實現了與主人進行感性互動的交流，為用戶帶來了簡單方便、人性貼心的全新體驗。

　　1 創意來源

　　隨著電子技術的進一步發展，電子寵物逐漸走入人們的家庭生活中，目前市面上相對成熟的電子寵物主要有兩大類：一類是生活在電子設備中的虛擬寵物，沒有任何的機械結構，純粹通過電子設備與之進行交互;另一類是具有一定機械機構的電子寵物，具有觸覺等功能，但由于其與逼真寵物外形想像的特性，交互方式也相對缺乏。

　　如今感知計算技術大為盛行，它重新定義了人與設備的溝通方式，通過更適合人類的溝通方式比如語言、表情、動作等，讓設備感知人類的意圖，智能分析人類的行為。

　　我們的作品，就是基于這一熱門技術，將感知計算應用到電子寵物身上，充分利用了感知計算的先進特性，實現了一個通過手勢、表情、語言與使用者進行感性互動的智能型電子寵物。具有如此豐富、生動交互方式的電子寵物，無疑會給使用者帶來全新的體驗。可以想象，一個比真實寵物更加方便、衛生、更加懂主人意思的智能電子寵物，無疑會引起廣大寵物愛好者的極大興趣，成為我們現代化家庭的重要一員。

　　2 關鍵技術

　　2.1 視覺處理程序

　　我們的項目采用的是Intel Creative Senz3D攝像頭，Creative Senz3D是Intel公司為感知計算技術開發的3D景深攝像頭。我們用3D攝像頭作為寵物的眼睛，是整個系統最核心的部分，實現與周圍環境的交互，支持人臉識別，表情識別和手勢識別。我們借用了配套的Intel perceptual computing SDK中提供的一些表情識別、手勢識別、人臉識別等模塊，用線程來分別管理。當3D攝像頭捕捉到圖像數據后會分析然后開啟線程執行上述三個模塊中的一個，然后把識別結果返回給服務器，讓服務器完成接下去的工作。

　　2.2 服務器

　　我們把服務器放在了Baytrail開發板上。服務器作為與每個子模塊溝通的橋梁，它的主要作用是一個數據中樞，它接收攝像頭的識別結果，然后根據情況選擇通過socket發送給手機，或用串口發送給Arduino開發板，協調各個部分的工作。同時，服務器要求具有一定的魯棒性，它需要能夠檢測各個部分是否正常工作并進行糾正。

　　2.3 Android移動應用

　　手機APP顯示的是寵物的臉，它承載的是寵物向用戶做出表情以及聲音的輸出，它會根據服務器發來的指令變換自己的表情，與用戶所做的表情同步，與用戶進行交互，同時用戶做的表情會對寵物自身的心情值產生影響，當心情值足夠高時，即使沒有外界刺激，寵物也會做出開心的表情。這一部分的主要實現方式是Android套接字(Socket)編程和異步消息處理機制，實現與服務器Baytrail開發板的通信，接收服務器發來的控制命令并返回反饋數據。表情切換用Android活動的切換來實現，表情顯示用Android Canvas類進行圖片播放來實現。