智能硬件大模型語音交互流程自定義編排(基礎篇)
本篇文章主要講解怎么在聆思大模型平臺LSPlatform上實現自定義大模型應用開發,包含云端節點的輸入輸出,以及怎樣在實際應用落地的時候怎么做調試、debug和錯誤捕獲。
如果想了解有哪些現成示例可以使用,可以參考之前分享的文章。
左邊側邊欄的節點模塊是編排應用需要用到的一些節點,這些節點封裝了對應功能,例如提示詞節點,它的作用是將輸入通過該節點處理后組裝成所需的prompt提示詞進行輸出。
中間是流程編排區,新建或對導入的模塊進行自定義修改就在此區域進行。
在編排區點擊對應的節點,會在右側彈出編輯框,可以進行對應功能的編輯。
如下圖所示,每個節點通常包含幾個方面:首先是節點屬性欄,其中包括節點的各種操作設置;其次是幫助信息部分,每個節點都會提供相應的幫助說明,明確該節點所需輸入數據格式以及輸出內容將包含在哪個JSON文件中。
以提示詞節點為例,根據節點幫助信息的指導,需要在輸入時構造相應格式的數據,并將其存放在message.payload中。假設需要調試一個包含"a"和"b"鍵的提示詞,可以在此創建一個包含"a"和"b"值的JSON作為輸入,連接到提示詞節點的輸入端。
對于其他封裝節點,我們可以通過點擊節點查看其相關屬性,并通過幫助信息了解節點輸入輸出詳細格式,這對于后續編寫復雜鏈路和數據獲取至關重要。例如知識庫問答節點打開后按照項目名填入對應信息即可加入鏈路使用。
在調試過程中,我們可以使用【inject】觸發輸入進行測試。如下圖所示,部署后,可以直接點擊時間戳前面的方框觸發鏈路編排,激活從某一節點開始,經過配置的節點,最終到達提示詞節點。
成功請求后,若需查看輸出結果,可以在調試階段引入一個debug節點,然后再次部署并觸發,以查看鏈路執行結果。
在右側側邊欄的debug部分,可查看所添加的debug節點輸出的信息,它會將上游節點的輸出作為自身輸入,并將其內容記錄在日志中。這里顯示的日志內容包括msg.payload中的JSON,即經過提示詞節點模板渲染后的輸出結果。
最小業務流搭建先參考下圖把對應節點拉入編排區
打開【function】節點在模擬調試時,我們需要對數據進行處理,根據【星火大模型】調用節點的輸入要求準備數據。打開星火大模型節點的幫助文件,可以看到輸入為帶messages數組的JSON格式,而輸出則為標準模型對話格式。
例如使用“1+2等于多少”作為示例數據,打開【function 1】節點配置,隨后利用debug節點觀察輸出結果,這有助于應用開發過程中的調試工作。
如下圖觸發后,可以看到debug節點接收到多幀數據,這表明節點配置了流式返回。在debug節點中可以觀察到流式返回的內容。
若不需要流式返回,可關閉此選項再次觸發,此時debug節點展示的輸出為標準對話輸出格式。從中可以觀察到msg.payload中choices 數組的message的content字段包含了模型的實際輸出結果。
我們可以用function節點來改變輸入和輸出。例如在上圖中的【function 2】節點,將模型輸出的content字段復制到massage.payload中作為輸出。
檢查function節點處理后的輸出結果,可以看到輸出已經按照預期改變了結構,直接顯示為模型生成的文本內容。
鏈路應用開發技巧包括使用前置觸發器啟動流程、引入function節點修改數據結構、編寫鏈路,以及使用debug節點逐項檢查每個節點的輸出并進行調試,從而形成完整的工作鏈路。
配套講解視頻【聆思大模型平臺LSPlatform云端節點編排教程上集 —— 基礎節點使用-】 https://b23.tv/x8Dg0jp
*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。