From 6f604758848384f7379e1d6fee48a0eb499d9e46 Mon Sep 17 00:00:00 2001 From: Chenhao Xu <122071158+bucket-xv@users.noreply.github.com> Date: Wed, 16 Jul 2025 12:54:30 +0800 Subject: [PATCH] fix: fix 04-vllm-langchain-tutorial.md Fix broken code blocks --- docs/13-vllm-tutorials/04-vllm-langchain-tutorial.md | 9 +++++---- 1 file changed, 5 insertions(+), 4 deletions(-) diff --git a/docs/13-vllm-tutorials/04-vllm-langchain-tutorial.md b/docs/13-vllm-tutorials/04-vllm-langchain-tutorial.md index a57c12d..b225ad4 100644 --- a/docs/13-vllm-tutorials/04-vllm-langchain-tutorial.md +++ b/docs/13-vllm-tutorials/04-vllm-langchain-tutorial.md @@ -65,15 +65,16 @@ pip install langchain langchain_community -q 本教程已经安装 vllm==0.6.4,只需将 langchain 相关包安装完毕。 -```` -!pip install -U langchain langchain_community -q``` +``` +!pip install -U langchain langchain_community -q +``` ## 2. 配置 vLLM 以与 LangChain 配合使用 现在依赖项已安装完毕,我们可以设置 vLLM 并将其连接到 LangChain。为此,我们将从 LangChain 社区集成中导入 VLLM。下面的示例演示了如何使用 vLLM 库初始化模型并将其与 LangChain 集成。 -```` +``` import gc import ctypes @@ -222,4 +223,4 @@ print(llm_q.invoke("What are the most popular Halloween Costumes?")) 例如,vLLM 的 CUDA 优化内核和连续批处理策略可以显著减少响应时间。 然而,在生产系统中,特别是面向用户的系统(如聊天机器人)中,监控实时推理延迟至关重要。 -``` +