Deploy Ollama and DIFY in Win11

首先，应该创建一个要使用的 llama.cpp 目录，例如，使用以下命令创建一个 llama-cpp 目录并输入它。

mkdir llama-cpp cd llama-cpp 

请在 cmd 中以管理员权限运行以下命令。

init-llama-cpp.bat 

init-llama-cpp 将创建llama.cpp可执行文件到当前目录的软链接，如果你想在其他地方使用这些可执行文件，不要忘记再次运行上面的命令。

请在 Anaconda Prompt 中以管理员权限运行以下命令。

conda activate ollama-dify init-ollama.bat 

初始化完毕之后目录是这样的

前置条件先安装安装oneAPI

为确保模型的所有层都在 Intel GPU 上运行

创建run.bat

内容如下：

set OLLAMA_NUM_GPU=999 set no_proxy=localhost,127.0.0.1 set ZES_ENABLE_SYSMAN=1set SYCL_CACHE_PERSISTENT=1 call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat" ollama serve 

首先去ollama模型库去查看model

网址：https://ollama.com/library

这里以千问的qwen1.5为例子