大模型学习一

大模型学习一

环境搭建和测试

​ 1.环境和安装包

• Ubuntu 20

• python 3.10

• 中文模型 这里使用的 Chinese-LLaMA-2-7B

• llama.cpp

本文参考：https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/llamacpp_zh

步骤基本按照这个步骤来。

下载llama.cpp和编译

  
git clone https://github.com/ggerganov/llama.cpp

​ 编译

make

​ 然后就是模型转换

​ 这里需要把下载的 Chinese-LLaMA-2-7B 模型转换成 ggml-model-f16.gguf

  
python convert.py Chinese-LLaMA-2-7B/
./quantize ./Chinese-LLaMA-2-7B/ggml-model-f16.gguf ./Chinese-LLaMA-2-7B/ggml-model-q4_0.gguf q4_0

​ 然后就是启动聊天窗口

chmod +x chat.sh
./chat.sh ../chinese-alpaca-2-7b/ggml-model-q4_0.gguf '中国和美国区别'