研華AIR-520邊緣AI服務器，以GenAI和LLM為引擎，提升市民服務效率

當市政府推出一項新政策時，通常需要許多客戶服務代表了解政策的具體情況，以解決公眾咨詢。在公民服務熱線中部署生成式AI支持的人機協作系統可以顯著提高效率、可用性、準確性并進一步實現服務個性化。

AI客服技術簡化了資源分配，可擴展以應對不斷增長的需求，并通過數據分析提供有價值的見解。因此，它增強了公民的整體體驗，確保他們收到及時準確的信息，同時讓客服代表騰出時間專注于更復雜的工作任務。

項目挑戰

市政府在采用人工智能技術時面臨著以下幾個困難：

◆ 缺乏技術基礎設施和專業知識： 實施人工智能需要先進的技術基礎設施和技術熟練的人員，而獲取和維護這些設施和人員的成本可能很高，且具有挑戰性。

◆ 反應偏差：LLMs 可能會從其訓練數據中繼承偏差，從而導致有偏差或歧視性的答案反饋。這可能導致誤解和公民投訴，損害信任和信譽。

◆ 持續訓練和更新： 法律顧問需要定期更新和再訓練，以跟上新的政策、法規和新出現的問題。這需要對數據收集和模型改進進行持續投資。

研華解決方案

為了克服這些挑戰，客戶選擇了 AIR-520 LLM 微調解決方案，其中包括以下組件：

◆ 配備 aiDAPTIV+ ai100 AI 固態硬盤的 AIR-520 邊緣 AI 服務器系統： 這款服務器級系統配備了 ai100 固態硬盤和專利中間件，為內部模型訓練和微調提供了簡單而經濟高效的解決方案。

◆ 用于模型微調的無代碼圖形用戶界面： 用戶友好的無代碼圖形用戶界面（GUI）使客戶能夠利用本地數據集對人工智能模型進行微調，從而提高生成內容的質量和準確性。

◆ ISV 合作實現定制化內部部署 LLM：結合 ISV 合作伙伴提供的定制化 LLM 服務，研華通過提供全面的軟件包，幫助客戶消除技術障礙，使其能夠快速進入市場，而不會出現兼容性或集成問題。集成解決方案實現了訓練流程自動化，加快了部署速度，并通過在邊緣收集歷史問答和內容更正，不斷提高服務質量。

方案優勢

通過采用研華解決方案，可以給客戶帶來：

◆ 釋放 80% 的人力資源：通過處理日常查詢，LLMs讓人工客戶服務代表能夠專注于需要人工判斷和需要換位思考的更復雜、高優先級的案例。

◆ 7 x 24小時可用性： 在 AIR-520 上運行的 LLM 提供全天候支持，確保公民可以隨時獲得幫助，即使是在正常辦公時間之外。這提高了可訪問性和響應速度。

◆ 經過驗證的打包解決方案：研華和 ISV 提供了一個集成的端到端解決方案，以確保順利開發、部署和持續改進。

本地大型語言模型（LLM）邊緣AI服務器AIR-520，以其創新的設計理念，提供了一個既經濟又高效的解決方案。該方案不僅支持大型語言模型的微調訓練，而且無需專用機房，可以直接部署在部門使用，大幅降低了企業引入AI技術的門檻。