本地化部署ollama+deepseek,亲测可行
- 前言
最近研究了一下Dify这个AI应用引擎,感觉功能还是很强大的,特别是流程编排、RAG检索、模型管理、知识库维护等,内置了各种国内外的厂商模型,可以根据自己的业务需求来选择模型进行处理,而且模型可以借助Ollama来私有化部署。与其对等的产品还有FastGPT,字节的Coze,不过目前开源的只有Dify和FastGPT,下面来介绍一下Ollama和Dify怎么私有化部署到自己的电脑或服务器。 
- 部署
- 环境准备
首先,确保您的系统是最新的,并安装必要的依赖项: sudo yum update -y sudo yum install -y epel-release yum -y install epel-releasesudo yum install wget make cmake gcc bzip2-devel libffi-devel zlib-devel sqlite-devel yum install docker-ce docker-compose 安装 Python 和 pip 确保安装 Python 3 和 pip: Python 3.11需要openssl1.1.1以上 wget https://github.com/openssl/openssl/releases/download/OpenSSL_1_1_1k/openssl-1.1.1k.tar.gz ./config —prefix=/usr/local/openssl make make install # 备份一下旧版 mv /usr/bin/openssl /usr/bin/openssl.bak # 建立新的软链接 ln -s /usr/local/openssl /usr/bin/openssl # 编辑ld.so.conf,如没有/usr/local/openssl/lib则新增 vi /etc/ld.so.conf # 加载新配置 ldconfig 如出现下述问题 : error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory ln -s /usr/local/openssl/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1 error while loading shared libraries: libcrypto.so.1.1: cannot open shared object file: No such file or directory ln -s /usr/local/openssl/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 安装python3.11.9 wget https://www.python.org/ftp/python/3.11.9/Python-3.11.9.tar.xz ./configure —enable-optimizations make -j$(nproc) make altinstall
- 安装ollma
https://ollama.com/download/linux 手动下载地址 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz vim /etc/systemd/system/ollama.service Environment=“OLLAMA_HOST=0.0.0.0” Environment=“OLLAMA_ORIGINS=*
- 运行ollama 加载deepseek
ollama run deepseek-r1:1.5b
本文出自张佃栋de博客,转载时请注明出处及相应链接。
本文永久链接: https://blog.zhangdd.com/blog/26/
最后编辑: 2025/03/18
©著作权归作者所有