全新服务器安装cuda、Anaconda以及配置llama_factory配置大模型

对于全新仅安装了nvidia驱动的服务器,版本为ubuntu 22.04, 且无图形化界面,详细配置流程如下。

1 硬件网络连接

首先遇到的问题是服务器连接上网线,但依旧不能访问网络,用ip addr查看发现4个端口的均为state down ,如下图,说明没有启用
在这里插入图片描述
作者硬件连接的网口名称为ens5f1,执行 sudo ip link set ens5f1 up即可启动

2 安装cuda

(1) 下载安装包

执行nvidia-smi查看cuda最高可安装版本为12.5
在这里插入图片描述
进入官网直接下载,为保证我们所需安装大多数软件的适配性,我们选择cuda 11.8安装,官网界面点进去选择:
在这里插入图片描述

按照自己系统的要求选择linux、x86_64、Ubuntu、22.04,以及安装类型选择runfile(local),便捷快速,即依次输入下方url

wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run

在这里插入图片描述
在第2步安装程序中,出现该界面为同意条款,输入accept即可
在这里插入图片描述

对于具体安装内容,安装包内自带显卡驱动driver,但我们之前已经安装过了(nvidia-smi成功运行说明驱动成功安装),这里就不再重复安装,CUDA demo suite 和CUDA documentation 为示例和帮助文档文件,根据需要自行选择,作者选择不安装,注意通过空格进行取消选择,选择Install,然后就是漫长的等待
在这里插入图片描述

出现以下界面说明安装完成
在这里插入图片描述

(2)配置环境变量(含vim 操作)

根据提示,还需要配置环境变量,打开终端,执行以下命令打开bashrc文件。该文件保存相关环境变量的设置,由于服务器没有图形化界面,所以使用vim进行编辑,~表示用户目录(即/home/xxx/)

sudo vim ~/.bashrc

若有图形化界面,也可以用以下命令打开,在记事本中编辑,或者在文件系统页面,勾选可见隐藏文件,然后双击即可,但可能由于权限问题为只读,所以还是推荐使用终端命令打开进行编辑

sudo gedit ~/.bashrc

vim编辑操作如下:

按下键盘i进入插入模式,在文档最后加入以下内容,注意路径和版本号是否和安装的一致

export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64\${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

在这里插入图片描述

按Esc退出插入模式,然后输入:wq再回车即可保存并退出

再输入source ~/.bashrc重载入,输入nvcc -V查看出现以下界面即为安装成功
在这里插入图片描述

3 安装Anaconda

(1) 下载安装包

由于国内网络环境,官网下载速度较慢,我们可以进入清华大学开源软件界面下载,根据系统和版本选择,我们选择了较新的Anaconda3-5.0.0
在这里插入图片描述

但由于服务器没有图形化界面,也可以使用命令行安装

wget --user-agent="Mozilla" https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh

若不加--user-agent="Mozilla" 则会报错,如下图,这是由于服务器正在检查引用者,一些 HTTP 请求也会得到错误响应,它们会拒绝不以 Mozilla 开头或不包含 Wget 的用户代理
在这里插入图片描述
下载完成后运行sh Anaconda3-5.0.0-Linux-x86_64.sh按照提示即可

中间报错缺少bunzip2包,如下图,运行sudo apt install -y bzip2安装后重新运行即可
在这里插入图片描述
最后提示是否加入环境变量,输入yes,但此时终端只能source activate,并不能用conda activate
在这里插入图片描述

(2) 配置环境变量

为了能用conda xxx等命令激活环境,需要sudo vim ~/.bashrc打开配置文件,并加入以下内容,注意更改Anaconda的安装位置,作者是在/home/xxx/anaconda3目录下

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/xxx/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/home/xxx/anaconda3/etc/profile.d/conda.sh" ]; then
        . "/home/xxx/anaconda3/etc/profile.d/conda.sh"
    else
        export PATH="/home/xxx/anaconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

到此Anaconda已经安装完成

(3) 更换软件源

但由于国内网络原因无法直接访问anaconda官网,需要进行换源,依次在命令行中输入:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

注意,若输入sudo vim ~/.condarc进入Anaconda的配置文件,输入以下内容

channels:
- defaults
show_channel_urls: true

default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

再conda clean -i清除缓存

进行换源,则有概率出现CondaError:Conda HTTP ErrOr:HTTP 404 NOT FOUND for url https://mirrors.tuna.tsinghu.cn/anaconda/pkgs/main/linux-64/libgcc mutex-0.1-main.tar.bz2>Elapsed: 00:00.482740的报错,找不到对应下载。如下图,所以大家还是命令行吧,作者在这里卡了很久都找不到原因
在这里插入图片描述

(4)更换默认环境和缓存路径

通过conda info查看各项配置
在这里插入图片描述

这里的default env环境路径和package cache路径都需要修改,不然会占用其他地方的内容导致爆满,输入sudo vim ~/.condarc进入Anaconda的配置文件,增加以下内容,位置自定义即可

envs_dirs:
  - /home/xxx/anaconda3/envs
pkgs_dirs:
  - /home/xxx/anaconda3/pkgs

4 安装pytorch 2.4.0

直接官网下载,选择wheel方式,注意需要根据不同的cuda版本选择,作者为11.8
在这里插入图片描述
即为:

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu118

5 安装llama_factory

进入官网查看llamafactory推荐配置,作者选择的各项版本为python 3.10, torch 2.4.0, cuda 11.8
在这里插入图片描述

下载源码git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入文件夹cd LLaMA-Factory

安装依赖pip install -r requirements.txt和pip install -e ".[torch,metrics]"

报错could not create egg-info,如下图,这是由于setuptools 版本过高或过低,查询后作者的为65.0.0,进行了升等级和给文件夹权限两个操作,具体哪个是有效作者也不太清楚
在这里插入图片描述

但最终执行这2条命令后安装成功

pip install --upgrade setuptools

sudo chmod -R 777 LLaMA-Factory/

执行以下命令测试llama_factory:

llamafactory-cli webui

提示如下
在这里插入图片描述

需打开源码,进入LLaMA-Factory/src/llamafactory/webui/interface.py文件内,将run_web_ui()函数内gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]修改为gradio_share = True,如下图
在这里插入图片描述

再次报错提示缺少frpc_linux_amd64_v0.2文件,按照提示下载并重命名、赋予执行权限,放入指定位置即可

https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64

再次运行,即可通过链接进入llama_factory的UI界面
在这里插入图片描述

更多推荐