前提：cuda环境已安装；llama2 7b模型文件已准备好；python环境就绪

我和小伙伴多次遇到这个问题了，根因在fabricmanager和nvidia driver版本不一致造成的。下面教程比较简单，但是解决CUDA initialization问题非常实用啊！！！

DLRover: An Automatic Distributed Deep Learning System

ps分布式MNIST手写字体识别（修改kubeflow/training-operator/blob/master/examples/tensorflow/dist-mnist/dist_mnist.py的tensorflow1.x项目，能在tensorflow2.14运行）

Transformer代码阅读与问题记录

接口-面向对象编程的思想-实现多态性

基础go语法学习，值得注意的点

记录一些理解的点

规范写法，从环境变量读取路径和模型格式

huggingface->onnx和tf->onnx的分支判断启动脚本

tensorflow(savemodel)->onnx

在Openppl-LLM上部署llama2 7b chat的huggingface模型格式，进行了模型权重格式转换、模型导出，编译，服务端部署和客户端推理测试

环境安装、代码准备、转换、请求测试

当你想向别人的项目提交自己的修改或改进时，可以通过创建一个Pull Request（简称PR）来通知项目所有者并请求他们将你的更改合并到他们的代码库中。

离线环境安装依赖包；contained镜像导入无效;contained的使用(实践出真知)

LMDeploy部署llama2模型实战

Triton部署torch模型测试

第一部分介绍了K8s相关基础；第二部分基于k8s环境编写yaml文件跑作业

Triton部署与测试

.onnx模型格式转换为.plan，Triton推理

超参数整理，暴露值

s3cmd简介，zos服务介绍

tensorboard监控,指定快照输出位置;docker 挂载llama模型文件运行；上传harbor的步骤；llama2的ptuning实现实战

Chinese LLama2的全量微调、P tuning微调

由于LLaMA2预训练预料仅有0.13%的中文语料，所以LLaMA2对中文支持不足。基于此问题，国内github.com/ymcui/Chinese-LLaMA-Alpaca2项目开源了中文LLaMA2的预训练和指令精调脚本，本文根据此项目进行Chinese LLaMA2预训练和指令精调实战。包括离线环境搭建和运行预训练与精调脚本。该实践针对新手也非常友好！！ 本篇给出chinese llama2模型指令精调部分！

由于LLaMA2预训练预料仅有0.13%的中文语料，所以LLaMA2对中文支持不足。基于此问题，国内github.com/ymcui/Chinese-LLaMA-Alpaca2项目开源了中文LLaMA2的预训练和指令精调脚本，本文根据此项目进行Chinese LLaMA2预训练和指令精调实战。包括离线环境搭建和运行预训练与精调脚本。该实践针对新手也非常友好！！ 本篇给出chinese llama2模型预训练的内容，包括中文预训练数据集，中文词表扩充，基于原版llama2训练中文llama2 lora，基于中文llama2 lora，在新的lora上进行二次预训练！

由于LLaMA2预训练预料仅有0.13%的中文语料，所以LLaMA2对中文支持不足。基于此问题，国内github.com/ymcui/Chinese-LLaMA-Alpaca2项目开源了中文LLaMA2的预训练和指令精调脚本，本文根据此项目进行Chinese LLaMA2预训练和指令精调实战。包括离线环境搭建和运行预训练与精调脚本。该实践针对新手也非常友好！！ 本篇给出chinese llama2模型训练前的准备篇详细内容，包括各种依赖包的安装和进行代码的准备工作！

由于LLaMA2预训练预料仅有0.13%的中文语料，所以LLaMA2对中文支持不足。基于此问题，国内Chinese-LLaMA-Alpaca2项目开源了中文LLaMA2的预训练和指令精调脚本，本文根据此项目进行Chinese LLaMA2预训练和指令精调实战。包括离线环境搭建和运行预训练与精调脚本。该实践针对新手也非常友好！！ 本篇给出离线环境搭建的详细内容！