说明文档

RWKV-v4 在浏览器中运行

BlinkDL 的 RWKV-v4 在浏览器中运行。感谢 @AXKuhta 的工作使其得以实现！同时感谢 @johnflux 提供的多项式采样支持。

浏览器演示: https://josephrocca.github.io/rwkv-v4-web/demo
ONNX 转换笔记本: https://colab.research.google.com/github/josephrocca/rwkv-v4-web/blob/main/RWKV_v4_ONNX_conversion.ipynb
Hugging Face 仓库: https://huggingface.co/rocca/rwkv-4-pile-web

更多关于 RWKV-LM 的信息，请查看 @BlinkDL/RWKV-LM 仓库。

本地开发

启动服务

请注意，我们需要 HTML 文件使用以下头部：

Cross-Origin-Embedder-Policy: require-corp // 或: credentialless
Cross-Origin-Opener-Policy: same-origin

遗憾的是，这意味着我们无法使用很多简单的本地 HTML 文件服务方式。目前没有任何 VSCode live-server 扩展可以使用，因为它们在撰写本文时不支持自定义头部。

一种可行的方法是：

# 首先安装 npm。在 Windows 上可以使用 https://github.com/coreybutler/nvm-windows/releases 然后重启 vscode
nvm install 19 && nvm use 19 # 如果你还没有安装 npm
npx servez --shared-array-buffers --local demo

然后打开 http://localhost:8080/

加载模型

如果你过于频繁地访问 HuggingFace 端点，下载请求将会开始失败。

我建议将 onnx 文件（例如 https://huggingface.co/rocca/rwkv-4-pile-web/resolve/main/169m/rwkv-4-pile-169m-uint8.onnx）下载到 demo/ 文件夹中，然后使用 load local copy（加载本地副本）按钮。

运行测试

使用以下命令运行测试：

npx jest

待办事项：

根据 AXKuhta 的建议优化循环：BlinkDL/RWKV-LM#7 (comment)
当代码可用时加速初始状态计算：BlinkDL/RWKV-LM#7 (comment)

rocca/rwkv-4-pile-web

作者 rocca

↓ 0 ♥ 1

创建时间: 2022-08-21 01:04:16+00:00

更新时间: 2023-02-15 09:31:49+00:00

在 Hugging Face 上查看

文件 (18)

.gitattributes

169m/README.md

169m/rwkv-4-pile-169m-uint8.onnx ONNX

169m/rwkv-4-pile-169m-webgl.onnx ONNX

169m/rwkv-4-pile-169m.onnx ONNX

430m/README.md

430m/rwkv-4-pile-430m-uint8.onnx ONNX

430m/rwkv-4-pile-430m-uint8.ort

430m/rwkv-4-pile-430m-uint8.required_operators.config

430m/rwkv-4-pile-430m-uint8.required_operators.with_runtime_opt.config

430m/rwkv-4-pile-430m-uint8.with_runtime_opt.ort

430m/rwkv-4-pile-430m-webgl.onnx ONNX

430m/rwkv-4-pile-430m.onnx ONNX

430m/rwkv-4-pile-430m.ort

430m/rwkv-4-pile-430m.required_operators.config

430m/rwkv-4-pile-430m.required_operators.with_runtime_opt.config

430m/rwkv-4-pile-430m.with_runtime_opt.ort

README.md