ChatRWKV类似于ChatGPT，但由RWKV（100%RNN）语言模型提供支持，并且是开源的。希望做“大规模语言模型的StableDiffusio”。
目前RWKV有大量模型，对应各种场景、各种语言：Rave模型：适合直接聊天，适合+i指令。有很多种语言的版本，看清楚用哪个。适合聊天、完成任务、写代码。可以作为任务去写文稿、大纲、故事、诗歌等等，但文笔不如testNovel系列模型。Novel-ChEg模型：中英文小说模型，可以用+ge生成世界设定（如果会写prompt，可以控制下文剧情和人物），可以写科幻奇幻。不适合聊天，不适合+i指令。Novel-Ch模型：纯中文网文模型，只能用+ge续写网文（不能生成世界设定等等），但是写网文写得更好（也更小白文，适合写男频女频）。不适合聊天，不适合+i指令。Novel-ChEg-ChPro模型：将ChEg-ChPro在高质量作品微调（名著，科幻，奇幻，古典，翻译，等等）。HuggigFaceGradioDemo(14Bctx8192)：https://huggigface.co/spaces/BlikDL/ChatRWKV-gradioRave (7B在Alpaca等上微调)Demo：https://huggigface.co/spaces/BlikDL/Rave-RWKV-7BRWKVpippackage：https://pypi.org/project/rwkv/ 更新ChatRWKVv2和piprwkv包（0.7.3）：使用v2/covert_model.py将模型转换为策略，以加快加载速度并节省CPU内存。###NoteRWKV_CUDA_ONwillbuildaCUDAkerel("pipistallija"first).###HowtobuildiLiux:settheseadruv2/chat.pyexportPATH=/usr/local/cuda/bi:$PATHexportLD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH###Howtobuildiwi:IstallVS2022buildtools(https://aka.ms/vs/17/release/vs_BuildTools.exeselectDesktopC++).ReistallCUDA11.7(istallVC++extesios).Ruv2/chat.pyi"x64ativetoolscommadprompt".下载RWKV-4权重： https://huggigface.co/BlikDL（使用RWKV-4模型。勿使用RWKV-4a和RWKV-4b模型。）RWKVDiscord https://discord.gg/bDSBUMeFpcTwitter: https://twitter.com/BlikDL_AIRWKVLM: https://github.com/BlikDL/RWKV-LM (解释、微调、训练等)RWKVi150lies (模型、推理、文本生成): https://github.com/BlikDL/ChatRWKV/blob/mai/RWKV_i_150_lies.pyChatRWKVv2：具有"stream"和"split"策略，以及INT8。3GVRAM足以运行RWKV14B https://github.com/BlikDL/ChatRWKV/tree/mai/v2os.eviro["RWKV_JIT_ON"]='1'os.eviro["RWKV_CUDA_ON"]='0'#if'1'theuseCUDAkerelforseqmode(muchfaster)fromrwkv.modelimportRWKV#pipistallrwkvmodel=RWKV(model='/fsx/BlikDL/HF-MODEL/rwkv-4-pile-1b5/RWKV-4-Pile-1B5-20220903-8040',strategy='cudafp16')out,state=model.forward([187,510,1563,310,247],Noe)#use20B_tokeizer.jsoprit(out.detach().cpu().umpy())#getlogitsout,state=model.forward([187,510],Noe)out,state=model.forward([1563],state)#RNNhasstate(usedeepcopyifyouwattocloeit)out,state=model.forward([310,247],state)prit(out.detach().cpu().umpy())#sameresultasabovehttps://huggigface.co/BlikDL/rwkv-4-rave/blob/mai/RWKV-4-Rave-14B-v7-Eg-20230404-ctx4096.pth：
评论