Docker使用说明

一、安装docker

安装docker，参考零基础入门Docker-cuda练习场_学习赛_赛题与数据_天池大赛-阿里云天池 (aliyun.com)

windows下安装完后启动Docker Desktop，如果能正常启动，进入终端管理员，docker -v能显示版本则安装成功

安装时出现了Hyper -V报错，参考了下面的链接。

https://www.cnblogs.com/qaing123/p/11142563.html

1	bcdedit /set hypervisorlaunchtype auto

二、拉取镜像

可以之间拉取之前我建好的镜像

# 登录仓库
docker login --username=aliyun8860456911 registry.cn-shanghai.aliyuncs.com
# 密码:As123456
# 拉取镜像，刚提交的版本
docker pull registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.5

三、上传镜像

可以按照教程新创一个仓库，创建好仓库之后应该有对应的上传命令

零基础入门Docker-cuda练习场_学习赛_赛题与数据_天池大赛-阿里云天池 (aliyun.com)

docker login --username=XXX registry.cn-shanghai.aliyuncs.com
# 给原来已有的镜像改名
docker tag [ImageId] registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:[镜像版本号]
# 上传镜像
docker push registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:[镜像版本号]

四、常用的Docker命令

# 列举所有镜像
docker image ls
# 列举所有容器
docker container ls
# 执行进入0281a1178cff的工作目录下，如果不加/bin/bash，就是直接执行run.sh了(参考Dockerfile)
docker run -it --rm 0281a1178cff /bin/bash

# 在 Docker 中修改容器的内容并将更改保存到镜像中通常涉及以下几个步骤，下面是一种修改方式：
# container是容器名字，--gpus all代表使用宿主机的GPU
docker run -it --gpus all --name container 0281a1178cff /bin/bash
# 在容器中进行修改，比如安装包
apt-get install nano
exit
# 将刚才修改过的镜像对应的容器转换为新镜像
docker commit container my_modified_image

# 另外一种修改方式就是直接通过Dockerfile修改，这种方法更直观。比如下面就是以本地的1.3作为基础镜像，然后把本地的app和tmp复制到对应的根目录下，并通过build.sh生成新镜像
# Dockerfile
FROM registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.3
COPY app /app
COPY tmp /tmp
# build.sh
docker build -t registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.5 .

五、Dockerfile说明

最初版本的镜像构建，Dockerfile2里

FROM registry.cn-shanghai.aliyuncs.com/tcc-public/pytorch:2.0.0-py3.9.12-cuda11.8.0-u22.04

# 如有安装其他软件的需求
RUN apt-get update && apt-get install -y curl nano dos2unix vim dirmngr ca-certificates software-properties-common apt-transport-https dkms&& \
apt update && \
# 如果安装其他python包的情况
#pip3 install numpy --index-url=http://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
pip install --upgrade pip && \
pip install fuzzywuzzy && \
pip install xlsxwriter && \
pip install json5 && \
pip install jsonschema && \
pip install pypinyin~=0.48.0 && \
pip install jieba && \
pip install openai && \
pip install nltk && \
pip install tqdm && \
pip install openpyxl && \
pip install sentencepiece && \
pip install cpm_kernels && \
pip install sentence_transformers && \
pip install faiss-cpu && \
pip install pymupdf && \
# pip install paddlepaddle==2.4.2 && \
pip install langchain==0.0.174 && \
pip install transformers==4.31.0 && \
pip install accelerate
# 复制代码到镜像仓库
COPY app /app
# COPY tcdata /tcdata
COPY tcdata2 /tcdata2
COPY tmp /tmp
# 指定工作目录
WORKDIR /app

# 容器启动运行命令
CMD ["bash", "run.sh"]

还需要在镜像中装apt-get install nvidia-cuda-toolkit，进入镜像后nvcc --version能显示版本号即可。(1.5版本已经装过了)

六、如何修改

如果想修改代码生成新的仓库，只需要改app和tmp路径下的文件，然后修改Dockerfile和build.sh即可

# Dockerfile
FROM registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.5
COPY app /app
COPY tmp /tmp
# build.sh，新的镜像名
docker build -t registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.6 .

最后执行sh build.sh，即可生成新镜像

程序运行的具体流程可以看日志log_local.txt，使用registry.cn-shanghai.aliyuncs.com/bgm_chatglm/smp_chatglm:1.4本地执行的结果。1.4在本地仿照服务器的路径创建了tcdata，其余的和1.5一样。