网站首页 收藏本站
广告位联系

APP正在开发中...
返回顶部
您的位置： 主页 > Ai >

收藏
分享到

Ollama本地大模型部署指南:Ollama安装和LangChain调用教程

Ai 来源：互联网 作者：佚名 发布时间：2026-09-15 21:17:38 人浏览
摘要

本文以 Ollama 为例，介绍如何在本地部署并运行大模型。内容包括 Ollama 的跨平台安装（Linux/Windows）、模型下载与交互、常用命令速查，以及通过 LangChain 的ChatOllama和init_chat_model()两种方式调用

本文以 Ollama 为例，介绍如何在本地部署并运行大模型。内容包括 Ollama 的跨平台安装（Linux/Windows）、模型下载与交互、常用命令速查，以及通过 LangChain 的 ChatOllama 和 init_chat_model() 两种方式调用本地模型，帮助读者快速搭建一套可用的本地大模型开发环境。

1. Ollama的介绍

  • LangChain也支持使用 Ollama、vLLM 等框架启动的本地大模型。这里以Ollama为例进行演示。
  • Ollama是在Github上的一个开源项目，其项目定位是：一个本地运行大模型的集成框架，可以实现如 Qwen、Deepseek 等主流大模型的下载、启动和本地运行的自动化部署及推理流程。
  • Ollama官方地址：https://ollama.com
  • 产品定位：

2. Ollama的下载-安装

Ollama项目支持跨平台部署，目前已兼容Mac、Linux和Windows操作系统。

无论使用哪个操作系统，Ollama项目的安装过程都设计得非常简单。

访问 https://ollama.com/download 下载对应系统的安装文件。

1、Linux 系统执行以下命令安装：

1

curl -fsSL https://ollama.com/install.sh | sh
  • 这行命令的目的是从 https://ollama.com/ 网站读取 install.sh 脚本，并立即通过 sh 执行该脚本，在安装过程中会包含以下几个主要的操作：
    • 检查当前服务器的基础环境，如系统版本等；
    • 下载Ollama的二进制文件；
    • 配置系统服务，包括创建用户和用户组，添加Ollama的配置信息；
    • 启动Ollama服务；

2、Windows 系统的安装过程如下

手动创建ollama安装目录：首先在你想安装的路径下创建好一个新文件夹，并把ollama的安装包放在里面。如：E:\Ollama

然后在cmd 窗口输入：

1

OllamaSetup.exe /DIR=E:\Ollama

然后 Ollama 就会进入安装，点击 install 后，可以看到 Ollama 的安装路径就变成了指定的目录了。

安装完之后

3. 模型的下载

1、手动设置大模型存储目录：

指明大模型要下载到的本地目录位置

2、模型的下载

方式1：直接在图形化界面位置下载

蓝色的使用在线模型，需要在Ollama平台付费使用

方式2：访问 https://ollama.com/search 可以查看 Ollama 支持的模型。使用命令行可以下载并运行模型，例如运行 deepseek-r1:1.5b 模型：

1

ollama run deepseek-r1:1.5b

回到命令行，输入指令开始下载：

下载完即可进行交互：

后续再唤起模型对话，直接输入：

1

ollama run deepseek-r1:1.5b

后续也可以在窗口直接对话

4. Ollama常用命令

命令 一句话说明
ollama pull llama3 下载指定模型（例：llama3）。
ollama run llama3 启动并进入该模型交互对话。
ollama list 列出本机已下载的所有模型。
ollama rm llama3 删除不再需要的模型以节省磁盘。
ollama cp llama3 my-llama3 本地复制/重命名模型。
ollama show llama3 查看模型详细信息（参数、大小等）。
ollama create my-model -f Modelfile 用自定义 Modelfile 构建新模型。
ollama serve 启动后台服务，供 API 调用。
ollama ps 查看当前正在运行的模型进程。
ollama stop llama3 停止正在运行的模型。
ollama --version 查看安装的ollama版本

5. LangChain调用模型

LangChain整合Ollama调用本地大模型：

1

2

3

#pip install langchain-ollama

pip install -qU langchain-ollama

pip install -U ollama

方式1：使用ChatOllama

1

2

3

4

5

6

7

from langchain_ollama import ChatOllama

model = ChatOllama(

    model="deepseek-r1:1.5b",

    # base_url="http://localhost:11434"

    # 如果Ollama在本地默认端口运行，则可省略

)

print(model.invoke("介绍一下你自己"))

方式2：使用 init_chat_model()

1

2

3

4

5

6

7

from langchain.chat_models import init_chat_model

model = init_chat_model(

    model="deepseek-r1:1.5b",

    model_provider="ollama"

    # base_url="http://localhost:11434"

)

print(model.invoke("介绍一下你自己"))


版权声明 : 本文内容来源于互联网或用户自行发布贡献，该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权， 违法违规的内容， 请发送邮件至2530232025#qq.cn(#换@)举报，一经查实，本站将立刻删除。

您可能感兴趣的文章 :

原文链接 :
相关文章
推荐阅读
最新更新
友情链接
  • 本站所有内容来源于互联网或用户自行发布，本站仅提供信息存储空间服务，不拥有版权，不承担法律责任。如有侵犯您的权益，请您联系站长处理！
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计