AI开源

llama2-webui

一个公共的GitHub代码库,用于在GPU或CPU上从任何地方运行具有gradio用户界面的Llama 2

标签:

llama2-webui是一个公共的GitHub代码库,用于在GPU或CPU上从任何地方运行具有gradio用户界面的Llama 2(一个用于自然语言处理的模型)。它支持Llama-2-7B/13B/70B模型,可以使用8位和4位精度。同时支持GPU推理(6GB VRAM)和CPU推理。

相关导航

暂无评论

暂无评论...