本文以 Ollama 为例，介绍如何在本地部署并运行大模型。内容包括 Ollama 的跨平台安装（Linux/Windows）、模型下载与交互、常用命令速查，以及通过 LangChain 的 ChatOllama 和 init_chat_model() 两种方式调用本地模型，帮助读者快速搭建一套可用的本地大模型开发环境。
1. Ollama的介绍
- LangChain也支持使用 Ollama、vLLM 等框架启动的本地大模型。这里以Ollama为例进行演示。
- Ollama是在Github上的一个开源项目，其项目定位是：一个本地运行大模型的集成框架，可以实现如 Qwen、Deepseek 等主流大模型的下载、启动和本地运行的自动化部署及推理流程。
- Ollama官方地址：https://ollama.com
- 产品定位：
2. Ollama的下载-安装
Ollama项目支持跨平台部署，目前已兼容Mac、Linux和Windows操作系统。
无论使用哪个操作系统，Ollama项目的安装过程都设计得非常简单。
访问 https://ollama.com/download 下载对应系统的安装文件。
1、Linux 系统执行以下命令安装：
|
1 |
curl -fsSL https://ollama.com/install.sh | sh |
- 这行命令的目的是从 https://ollama.com/ 网站读取 install.sh 脚本，并立即通过 sh 执行该脚本，在安装过程中会包含以下几个主要的操作：
- 检查当前服务器的基础环境，如系统版本等；
- 下载Ollama的二进制文件；
- 配置系统服务，包括创建用户和用户组，添加Ollama的配置信息；
- 启动Ollama服务；
2、Windows 系统的安装过程如下
手动创建ollama安装目录：首先在你想安装的路径下创建好一个新文件夹，并把ollama的安装包放在里面。如：E:\Ollama
然后在cmd 窗口输入：
|
1 |
OllamaSetup.exe /DIR=E:\Ollama |
然后 Ollama 就会进入安装，点击 install 后，可以看到 Ollama 的安装路径就变成了指定的目录了。
安装完之后
3. 模型的下载
1、手动设置大模型存储目录：
指明大模型要下载到的本地目录位置
2、模型的下载
方式1：直接在图形化界面位置下载
蓝色的使用在线模型，需要在Ollama平台付费使用
方式2：访问 https://ollama.com/search 可以查看 Ollama 支持的模型。使用命令行可以下载并运行模型，例如运行 deepseek-r1:1.5b 模型：
|
1 |
ollama run deepseek-r1:1.5b |
回到命令行，输入指令开始下载：
下载完即可进行交互：
后续再唤起模型对话，直接输入：
|
1 |
ollama run deepseek-r1:1.5b |
后续也可以在窗口直接对话
4. Ollama常用命令
| 命令 | 一句话说明 |
|---|---|
| ollama pull llama3 | 下载指定模型（例：llama3）。 |
| ollama run llama3 | 启动并进入该模型交互对话。 |
| ollama list | 列出本机已下载的所有模型。 |
| ollama rm llama3 | 删除不再需要的模型以节省磁盘。 |
| ollama cp llama3 my-llama3 | 本地复制/重命名模型。 |
| ollama show llama3 | 查看模型详细信息（参数、大小等）。 |
| ollama create my-model -f Modelfile | 用自定义 Modelfile 构建新模型。 |
| ollama serve | 启动后台服务，供 API 调用。 |
| ollama ps | 查看当前正在运行的模型进程。 |
| ollama stop llama3 | 停止正在运行的模型。 |
| ollama --version | 查看安装的ollama版本 |
5. LangChain调用模型
LangChain整合Ollama调用本地大模型：
|
1 2 3 |
#pip install langchain-ollama pip install -qU langchain-ollama pip install -U ollama |
方式1：使用ChatOllama
|
1 2 3 4 5 6 7 |
from langchain_ollama import ChatOllama model = ChatOllama( model="deepseek-r1:1.5b", # base_url="http://localhost:11434" # 如果Ollama在本地默认端口运行，则可省略 ) print(model.invoke("介绍一下你自己")) |
方式2：使用 init_chat_model()
|
1 2 3 4 5 6 7 |
from langchain.chat_models import init_chat_model model = init_chat_model( model="deepseek-r1:1.5b", model_provider="ollama" # base_url="http://localhost:11434" ) print(model.invoke("介绍一下你自己")) |
