Qwen-14B-Q8_0

这个程序很怪在进行量化时需要60GB的峰值内存。

鸣谢

[阿里云 Qwen-14B])

使用方法

通过运行linux命令启动交互式聊天。

./main -m ./Qwen-14b-Q8_0.bin --tiktoken ./qwen.tiktoken -i 

通过运行Powershell命令启动交互式聊天。 EXE文件在模型文件里 ``` ./main -m C:/Qwen-14b-Q8_0.bin --tiktoken C:/qwen.tiktoken -i