如何利用 OpenVINO? 在本地運行 Qwen 2.5-VL 系列模型
加入技術交流群
近期阿里通義實驗室在 Hugging Face 和 ModelScope 上開源了 Qwen2.5-VL 的 Base 和 Instruct 模型，包含 3B、7B 和 72B 在內的 3 個模型尺寸。其中，Qwen2.5-VL-7B-Instruct 在多個任務中超越了 GPT-4o-mini，而 Qwen2.5-VL-3B 作為端側 AI 的潛力股，甚至超越了之前版本 的Qwen2-VL 7B 模型。Qwen2.5-VL 增強了模型對時間和空間尺度的感知能力，在空間維度上，Qwen2.5-VL 不僅能夠動態地將不同尺寸的圖像轉換為不同長度的 token，使用圖像的實際尺寸來表示檢測框和點等坐標，這也使得Qwen2.5-VL模型可以直接作為一個視覺 Agent，推理并動態地使用工具，具備了使用電腦和使用手機的能力。
本文將分享如何利用英特爾 OpenVINO? 工具套件在本地加速Qwen2.5-VL系列模型的推理任務。
內容列表
1.環境準備
2.模型下載和轉換
3.加載模型
4.準備模型輸入
5.運行圖像理解任務
1 環境準備
該示例基于Jupyter Notebook編寫，因此我們需要準備好相對應的Python環境。基礎環境可以參考以下鏈接安裝，并根據自己的操作系統進行選擇具體步驟。
https://github.com/openvinotoolkit/openvino_notebooks?tab=readme-ov-file#-getting-started
圖：基礎環境安裝導航頁面
此外本示例將依賴qwen-vl-utils以及optimum-intel組件，其中安裝optimum-intel過程中將自動安裝OpenVINO? runtime, NNCF及Transformers等相關依賴庫。
2 模型下載和轉換
這一步中，我們需要完成將Qwen2.5-VL .safetensor格式模型轉化為OpenVINO? IR格式，并對其進行INT4權重量化，實現對模型體積的壓縮。為了達到這一目的，optimum-intel提供了命令行工具：optimum-cli，基于該工具，我們只需一行命令便可實現上述步驟：
optimum-cli export openvino --model Qwen/Qwen2.5-VL-3B-Instruct Qwen2.5-VL-3B-Instruct/INT4 --weight-format int4
其中“—model”參數后的“Qwen/Qwen2.5-VL-3B-Instruct”為模型在HuggingFace上的model id，這里我們也提前下載原始模型，并將model id替換為原始模型的本地路徑，針對國內開發者，推薦使用ModelScope魔搭社區作為原始模型的下載渠道，具體加載方式可以參考ModelScope官方指南：https://www.modelscope.cn/docs/models/download
3 加載模型
接下來需要完成對模型推理任務的初始化，并將模型載入到指定硬件的內存中，同樣的，我們可以利用optimum-intel封裝好的OpenVINO? 視覺多模態任務對象 OVModelForVisualCausalLM 對象完成該操作。
from optimum.intel.openvino import OVModelForVisualCausalLM model = OVModelForVisualCausalLM.from_pretrained(model_dir, device.value)
如示例代碼所示，通過OVModelForVisualCausalLM的from_pretrained函數接口，可以很方便地根據用戶提供的模型路徑，將模型載入到指定的硬件平臺，完成視覺多模態任務的初始化。
4 準備模型輸入
第四步需要根據Qwen2.5-VL模型要求的prompt template準備模型的輸入數據。數據格式如下：
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": f"file://{example_image_path}",
},
{"type": "text", "text": question},
],
}
]其中:
■ “role“字段用于指定對話角色，包括system, user以及assistant三種類型；
■ "content"字段表示對話角色輸出的內容，其中”type”為內容類別，包含image，video，text三種類型，支持多張image輸入。
接下來可以通過Qwen官方提供的方法將用戶輸入的text和image編碼為模型的輸入tensor。
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) image_inputs, video_inputs = process_vision_info(messages) inputs = processor( text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt", )
5 運行圖像理解任務
最后一步需要調用模型對象的generation函數，進行答案生成，這里可以通過添加TextStreamer迭代器的方式，在命令行中流式輸出文本內容。
from transformers import TextStreamer generated_ids = model.generate(**inputs, max_new_tokens=100, streamer=TextStreamer(processor.tokenizer, skip_prompt=True, skip_special_tokens=True))
根據示例圖片生成生成對話內容如下所示：
Question:
Describe this image.
Answer:
The image depicts a serene beach scene at sunset. A person is sitting on the sandy beach, facing a light-colored dog, likely a Labrador Retriever, which is also sitting and facing the person. The dog appears to be wearing a harness with a leash attached, suggesting that it might be a pet. The person is dressed in a plaid shirt and shorts, and they are smiling, indicating a happy and relaxed moment. The background shows the ocean with gentle waves and the sun setting, casting
圖：Gradio示例界面
6 總結
Qwen2.5-VL 系列模型的發布帶來了更精準的視覺定位，文字理解以及Agent智能體能力。OpenVINO? 則可以以更低的資源占用，高效地在本地運行Qwen2.5-VL視覺多模態模型，激發AIPC異構處理器的潛能。相信構建面向桌面操作系統的本地智能體應用已不再遙遠。
參考示例
https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/qwen2.5-vl
評論