本地部署DeepSeek-R1(Ollama+Docker+OpenWebUI知识库)

news/2025/2/26 1:46:05
aidu_pl">

安装Ollama

打开 Ollama官网 https://ollama.com/下载安装
在这里插入图片描述

Ollama服务默认只允许本机访问,修改允许其它主机访问

OLLAMA_HOST=0.0.0.0 ollama serve

也可以添加系统环境变量
在这里插入图片描述

都知道模型体积很大,顺便也通过环境变量修改模型存放位置,我这里修改到D盘下
在这里插入图片描述

DeepSeek_R1_20">部署DeepSeek R1模型

下载模型,自行选择1.5b、7b、8b、14b、32b、671b在终端输入:

ollama pull deepseek-r1:14b

运行模型

ollama run deepseek-r1:14b

安装Docker

选择匹配自己机器的版本下载安装 https://www.docker.com/

安装之前确认设备虚拟化已启用
在这里插入图片描述

安装Open WebUI

Open WebUI的前身就叫Ollama WebUI,所以它们的兼容性毋庸置疑。

如果Ollama在您的计算机上,请使用以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama位于其他服务器上,请使用以下命令:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持Nvidia GPU的Open WebUI,请使用以下命令:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

通过IP:端口号访问OpenWebUI,默认端口号3000可以自行修改,开始使用
在这里插入图片描述

首次登录创建管理员账户
在这里插入图片描述

进来,点击确认开始使用
在这里插入图片描述

左上角切换模型
在这里插入图片描述

可以直接使用了,直接原生态就支持文件、图片、语音,还可以语音播报和用户控制等等,总的来说OpenWebUI是值得推荐的。
在这里插入图片描述

创建知识库

点击工作空间-知识库-新建一个知识库,命令介绍,可见性是公开还是私密
在这里插入图片描述

在右上角添加文档或目录包括直接新建文本。
在这里插入图片描述

创建模型

知识库建立好,上传文档后,需要新建个模型绑定我们的知识库
在这里插入图片描述

填充创建信息,选择DeepSeek和知识库
在这里插入图片描述

新建一个对话,选择我们刚才绑定知识库创建的模型

在这里插入图片描述


http://www.niftyadmin.cn/n/5867048.html

相关文章

最长递增子序列(贪心算法)思路+源码

文章目录 题目[](https://leetcode.cn/problems/longest-increasing-subsequence/)算法原理源码总结题目 首先,要掌握动态规划加二分查找 算法原理 1.回顾dp的解法 状态表示:dp[i]表示:以i位置的元素为结尾的所有的子序列中,最长递增子序列的长度 状态转移方程:dp[i]= m…

2. MySQL的数据目录(详解讲解)

2. MySQL的数据目录(详解讲解) 文章目录 2. MySQL的数据目录(详解讲解)1. MySQL8 的主要目录结构1.1 相关命令目录1.2 配置文件目录 2. 数据库和文件系统的关系2.1 查看默认数据库2.2 数据库在文件系统中的表示 3. 表在文件系统中的表示3.1 InnoDB存储引擎模式3.2 MyISAM存储引…

【HeadFirst系列之HeadFirstJava】第5天之超强力方法 —— 从战舰游戏到循环控制

编写程序:超强力方法 —— 从战舰游戏到循环控制 在《Head First Java》的第五章节中,作者通过一个简单的战舰游戏示例,深入讲解了如何编写Java程序,并重点介绍了方法和循环控制的使用。这一章节的核心思想是:通过模块…

MySQL 最左前缀原则:原理、应用与优化

目录 引言 什么是复合索引? 什么是最左前缀原则? 示例 最左前缀原则的原理 最左前缀原则的应用场景 1. 等值查询 2. 范围查询 3. 部分列查询 4. 排序和分组 最左前缀原则的优化技巧 1. 合理设计复合索引 2. 避免跳过索引列 3. 覆盖索引 4.…

API技术深度解析:构建高效、安全与可扩展的接口服务

在当今的数字化时代,应用程序接口(API,Application Programming Interface)已成为连接不同软件系统和服务的桥梁,是推动数字化转型的关键技术之一。无论是企业内部系统集成、第三方服务接入,还是面向开发者…

[java基础-JVM篇]2_垃圾收集器与内存分配策略

学习权重30%。 理解问题: 垃圾收集器的特点与 运作原理,JVM自动内存分配与回收的主要规则。 目录 判断对象存活 引用计数法Reference Counting 缺陷 可达性分析(Reachability Analysis)算法 可作为GC Roots的对象 引用的扩展 进行…

CI/CD的定义

CI/CD(持续集成/持续部署)是一种软件开发实践,旨在通过自动化构建、测试和部署过程,提高软件开发的效率和质量。以下是对CI/CD的详细介绍: CI/CD的定义 持续集成(CI)Continuous Integration (…

【javaEE】计算机是如何工作的(基础常识)

1.❤️❤️前言~🥳🎉🎉🎉 Hello, Hello~ 亲爱的朋友们👋👋,这里是E绵绵呀✍️✍️。 如果你喜欢这篇文章,请别吝啬你的点赞❤️❤️和收藏📖📖。如果你对我的…