Post

Ollama 安装使用

有多种安装部署方式 Windows / Linux / Docker

这里出于便捷,直接使用 Windows 的安装方式

  1. 官网下载安装

Ollama 官网:https://ollama.com/

Windows 下载安装

  1. 设置模型存储路径

系统变量里新建 OLLAMA_MODELS,

赋值为你设定的模型存储路径,这里我放在 Y:\LLM\Ollama

  1. 查看并拉取 Ollama 中支持的模型到本地

  1. 选定模型,以 qwen2 为例
命令行启动 cmd
ollama serve //启动 ollama
ollama pull qwen2 // 拉取 qwen2, 等待下载完成
ollama run qwen2 // 测试对话效果
// pip install langchain_community

// python 测试 Ollama 代码
from langchain_community.chat_models import ChatOllama
chat_model = ChatOllama(model = "qwen2")
response = chat_model.invoke("introduce yourself")
print("response:",response)
This post is licensed under CC BY 4.0 by the author.