一千万条文档向量,用 float32 存要占 31 GB 内存。turbovec 把它压进 4 GB,搜起来还比 FAISS 快。
第一眼像是吹牛。它其实是 Google Research 一篇论文(TurboQuant)的工程落地,作者 Ryan Codrai 用 Rust 实现,配了 Python 绑定。下面先讲清楚它解决什么问题、为什么能做到这个效果,再上手跑一遍。
项目地址:https://github.com/RyanCodrai/turbovec
一千万条文档向量,用 float32 存要占 31 GB 内存。turbovec 把它压进 4 GB,搜起来还比 FAISS 快。
第一眼像是吹牛。它其实是 Google Research 一篇论文(TurboQuant)的工程落地,作者 Ryan Codrai 用 Rust 实现,配了 Python 绑定。下面先讲清楚它解决什么问题、为什么能做到这个效果,再上手跑一遍。
项目地址:https://github.com/RyanCodrai/turbovec
用 Go 写 RDMA,到底能有多简单?又能有多快?这篇带你从零跑到 400 Gb/s。
如果你做过高性能网络,一定听过 RDMA 这个词。它是 AI 训练集群里 GPU 之间狂飙数据的底层、是分布式存储压榨延迟的杀手锏、是金融交易系统微秒必争的武器。
RC(可靠连接,类比 TCP):有序可靠,支持双边和单边操作
UD(不可靠数据报,类比 UDP):无连接,一对多
双边操作(Send/Recv):接收方要先挂好接收请求,双方 CPU 都参与
单边操作(RDMA Write/Read):发起方直接读写对端内存,对端 CPU 完全不参与——这是 RDMA 最"魔法"的地方
原文: Rust tokio task cancellation patterns
我最近一直在尝试重新学习 Rust。开始时进展有些缓慢,但我觉得我终于开始感受到累积效应在起作用了。也许这只是我的大脑在跟我开玩笑,但现在写 Rust 时我感觉比几周前轻松多了。