1、安装显卡驱动、cuda、cudnn

powershell内监视显卡状态

while ($true) {
    cls
    nvidia-smi
    Start-Sleep -Seconds 2
}

2、安装anaconda、建立虚拟环境

3、安装vscode

4、安装ollama，下载模型，设置配置(ollama create <name> -f <Modelfile> )

5、下载litellm（pip install litellm[proxy]）

6、编写代码

        litellm litellm -model ollama/<model> 得到监听端口

        在autoagent内绑定端口

        运行程序