ubuntu 22.04服务器版本cuda、Anaconda、pytorch环境配置以及安装llama_factory
全新服务器安装cuda、Anaconda以及配置llama_factory配置大模型
对于全新仅安装了nvidia驱动的服务器,版本为ubuntu 22.04, 且无图形化界面,详细配置流程如下。
1 硬件网络连接
首先遇到的问题是服务器连接上网线,但依旧不能访问网络,用ip addr查看发现4个端口的均为state down ,如下图,说明没有启用

作者硬件连接的网口名称为ens5f1,执行 sudo ip link set ens5f1 up即可启动
2 安装cuda
(1) 下载安装包
执行nvidia-smi查看cuda最高可安装版本为12.5

进入官网直接下载,为保证我们所需安装大多数软件的适配性,我们选择cuda 11.8安装,官网界面点进去选择:

按照自己系统的要求选择linux、x86_64、Ubuntu、22.04,以及安装类型选择runfile(local),便捷快速,即依次输入下方url
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run

在第2步安装程序中,出现该界面为同意条款,输入accept即可

对于具体安装内容,安装包内自带显卡驱动driver,但我们之前已经安装过了(nvidia-smi成功运行说明驱动成功安装),这里就不再重复安装,CUDA demo suite 和CUDA documentation 为示例和帮助文档文件,根据需要自行选择,作者选择不安装,注意通过空格进行取消选择,选择Install,然后就是漫长的等待

出现以下界面说明安装完成

(2)配置环境变量(含vim 操作)
根据提示,还需要配置环境变量,打开终端,执行以下命令打开bashrc文件。该文件保存相关环境变量的设置,由于服务器没有图形化界面,所以使用vim进行编辑,~表示用户目录(即/home/xxx/)
sudo vim ~/.bashrc
若有图形化界面,也可以用以下命令打开,在记事本中编辑,或者在文件系统页面,勾选可见隐藏文件,然后双击即可,但可能由于权限问题为只读,所以还是推荐使用终端命令打开进行编辑
sudo gedit ~/.bashrc
vim编辑操作如下:
按下键盘i进入插入模式,在文档最后加入以下内容,注意路径和版本号是否和安装的一致
export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64\${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

按Esc退出插入模式,然后输入:wq再回车即可保存并退出
再输入source ~/.bashrc重载入,输入nvcc -V查看出现以下界面即为安装成功

3 安装Anaconda
(1) 下载安装包
由于国内网络环境,官网下载速度较慢,我们可以进入清华大学开源软件界面下载,根据系统和版本选择,我们选择了较新的Anaconda3-5.0.0

但由于服务器没有图形化界面,也可以使用命令行安装
wget --user-agent="Mozilla" https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh
若不加--user-agent="Mozilla" 则会报错,如下图,这是由于服务器正在检查引用者,一些 HTTP 请求也会得到错误响应,它们会拒绝不以 Mozilla 开头或不包含 Wget 的用户代理

下载完成后运行sh Anaconda3-5.0.0-Linux-x86_64.sh按照提示即可
中间报错缺少bunzip2包,如下图,运行sudo apt install -y bzip2安装后重新运行即可

最后提示是否加入环境变量,输入yes,但此时终端只能source activate,并不能用conda activate

(2) 配置环境变量
为了能用conda xxx等命令激活环境,需要sudo vim ~/.bashrc打开配置文件,并加入以下内容,注意更改Anaconda的安装位置,作者是在/home/xxx/anaconda3目录下
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/xxx/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/home/xxx/anaconda3/etc/profile.d/conda.sh" ]; then
. "/home/xxx/anaconda3/etc/profile.d/conda.sh"
else
export PATH="/home/xxx/anaconda3/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda initialize <<<
到此Anaconda已经安装完成
(3) 更换软件源
但由于国内网络原因无法直接访问anaconda官网,需要进行换源,依次在命令行中输入:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
注意,若输入sudo vim ~/.condarc进入Anaconda的配置文件,输入以下内容
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
再conda clean -i清除缓存
进行换源,则有概率出现CondaError:Conda HTTP ErrOr:HTTP 404 NOT FOUND for url https://mirrors.tuna.tsinghu.cn/anaconda/pkgs/main/linux-64/libgcc mutex-0.1-main.tar.bz2>Elapsed: 00:00.482740的报错,找不到对应下载。如下图,所以大家还是命令行吧,作者在这里卡了很久都找不到原因

(4)更换默认环境和缓存路径
通过conda info查看各项配置

这里的default env环境路径和package cache路径都需要修改,不然会占用其他地方的内容导致爆满,输入sudo vim ~/.condarc进入Anaconda的配置文件,增加以下内容,位置自定义即可
envs_dirs:
- /home/xxx/anaconda3/envs
pkgs_dirs:
- /home/xxx/anaconda3/pkgs
4 安装pytorch 2.4.0
直接官网下载,选择wheel方式,注意需要根据不同的cuda版本选择,作者为11.8

即为:
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu118
5 安装llama_factory
进入官网查看llamafactory推荐配置,作者选择的各项版本为python 3.10, torch 2.4.0, cuda 11.8

下载源码git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
进入文件夹cd LLaMA-Factory
安装依赖pip install -r requirements.txt和pip install -e ".[torch,metrics]"
报错could not create egg-info,如下图,这是由于setuptools 版本过高或过低,查询后作者的为65.0.0,进行了升等级和给文件夹权限两个操作,具体哪个是有效作者也不太清楚

但最终执行这2条命令后安装成功
pip install --upgrade setuptools
sudo chmod -R 777 LLaMA-Factory/
执行以下命令测试llama_factory:
llamafactory-cli webui
提示如下

需打开源码,进入LLaMA-Factory/src/llamafactory/webui/interface.py文件内,将run_web_ui()函数内gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]修改为gradio_share = True,如下图

再次报错提示缺少frpc_linux_amd64_v0.2文件,按照提示下载并重命名、赋予执行权限,放入指定位置即可
https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
再次运行,即可通过链接进入llama_factory的UI界面

更多推荐


所有评论(0)