在本站中
本站是开源的 dioxus 全栈应用(yuxuetr/rustineverything),没有用 burn,也没有任何机器学习的部分。前几卷的「在本站中」多是读本站已经在用的代码;这一部分和 tauri 卷一样换个问法:如果给文档页加一个「相关文章」列表,用 burn 在服务器上算,要付出什么。实验只读本站代码和私有内容仓库的 docs/,在本地跑,不改站点;页面上只给页面标题和统计,不贴正文。
- 用 burn 算相关文章:705 个文档页、约 900 万字,字的二元组加标识符分词,TF-IDF 加余弦相似度取前 5。同一个计算写三遍:burn 的 Flex、不依赖 burn 的纯 Rust(稀疏向量加倒排表)、burn 的 Metal,三者的前 5 在 705 页上完全一致。burn 没有稀疏张量,词表 5.2 万时稠密矩阵就有 140 MiB,Flex 版峰值内存是纯 Rust 版的近 9 倍、还更慢;Metal 稳定后最快,但首次要编译内核和 autotune,而且服务器没有 GPU。结论是不为这个功能引入 burn:纯 Rust 在启动时或内容更新时算一次就够,真要用 burn 只开
flex。
flowchart TB docs["docs 页面"] --> tok["分词与计数"] tok --> plain["纯 Rust 稀疏"] tok --> flex["burn Flex 稠密"] tok --> metal["burn Metal 稠密"] plain --> top["前 5 相同"] flex --> top metal --> top
本站怎么起服务、文档页怎么取数据,见 dioxus 卷的 在本站中;生产是 docker 里的 Linux release 二进制、开发在 macOS 上,这两者的差别见 mio 卷的 Linux 与 macOS。本部分的数字都是 macOS 上测的。
💬 关联讨论
发起讨论加载中...