Celestia 博客拆解 Voyager 架构,解释 2100 万 TPS 如何实现
Scaling Voyager to 21M TPS
Celestia 官方博客发文拆解 Voyager 的架构设计,解释此前宣称的 2100 万 TPS 从何而来:组件之间不相互调用、只通过环形缓冲区协调,状态转换函数(STF)完全单线程运行。
这是 Celestia 官方对 Voyager 此前 2100 万 TPS 宣称的口径拆解,明确标出未完成项与测试边界,可作为后续状态 Merkle 化、恢复与多节点复制进展的对照基准。

正如我们最近宣布的那样,在我们的基准测试中,Voyager 每秒可持续处理超过 2100 万次账户间转账。这个数字代表真实的链上吞吐量,支付会随机发送到一组包含 1 亿个账户的账户集合中。
这是个很大的说法,许多人理所当然地问我们,如此惊人的吞吐量是如何实现的。这篇文章将深入介绍 Voyager 的设计理念和架构,说明它为何能够实现如此高的可扩展性。
设计理念与核心组件
Voyager 背后的关键设计原则是:明确声明组件之间的依赖关系,并尽可能将其降至最低。组件之间从不相互调用,也不共用互斥锁。它们只通过共享的环形缓冲区进行协调。因此,几乎没有协调开销。整个流水线的吞吐量取决于最慢组件的吞吐量。
由于组件彼此解耦,每个组件都可以针对自身处理的工作类型进行优化。
- I/O 密集型组件会批量处理工作,将每次系统调用或网络写入的成本分摊到多个槽位上。
- CPU 密集型组件使用经过精心设计内存布局的数据结构,以充分利用单个核心及其缓存。
Voyager 的核心组件包括:
- 基于 LMAX Disruptor 改造的环形缓冲区
- 闪电般快速的状态转换函数(STF)
- 批量磁盘与网络 I/O
- 当某个阶段落后时,通过背压机制限制内存用量
在这些组件中,Voyager 的 STF 尤其独特。许多其他区块链扩容设计会并行执行,而 Voyager 则在单个线程上运行 STF。通过缓存相关数据并利用乱序执行,这个单线程能够处理相当大的吞吐量。
下面我们详细了解这些组件的架构。
从用户钱包到 Voyager 节点
支付从用户钱包发起,钱包对交易签名后将其发送到入口服务。入口服务会验证交易签名,将有效交易分组成批次,再转发给 Voyager。入口节点是无状态的,因此我们可以随着流量增长增加节点。这使验证能力能够独立于交易执行能力进行扩展。

I/O 批处理与背压的挑战
在 Voyager 内部,交易会被送入内存池进行去重。随后,它们进入“disruptor”——一个协调执行、存储和发布的环形缓冲区。

在 disruptor 中,每个槽位最初都是空的,并按阶段处理。首先,“生产者”任务从内存池中选取下一批交易,并将其写入下一个可用槽位。随后,日志记录器和 STF 开始工作:日志记录器会持久化记录交易,以支持崩溃恢复;STF 则执行这些交易。
执行期间,disruptor slot 会补入交易结果和状态变更列表。执行结束后,数据库写入器会接手,将状态变更保存到远程数据库。与此同时,发布器会将交易数据写入 Celestia Fibre。最后,“pruner”任务会在发布成功后从本地数据库中删除交易。
这些任务各自按顺序处理数据,但整个流程采用流水线方式运行。例如,journal 可能正在记录第 103 批,STF 正在执行第 102 批,而数据库写入器和发布器则分别在处理第 101 批。
批处理与背压
Voyager 在两个层级上对工作进行批处理。每个 ring slot 都包含多笔交易,消费者最多可将 128 个 slot 合并后再刷新处理结果。这样可以将 journal 同步(fsync)、数据库提交和 DA 发布的成本分摊到多笔交易上。可处理的工作较少时,消费者会处理更小的分组。
默认情况下,ring 可容纳 4,096 个 slot,为流水线预留空间,以吸收暂时的处理变慢。如果存储落后于执行,待处理批次就会占用更多 slot。一旦没有可复用的 slot,上游处理就会等待,直到消费者取得进展。这就是背压:较慢的阶段会限制输入工作量,防止内存无限增长。
Ring 容量和分组大小均可配置。增大 ring 可以吸收更长时间的处理变慢,但代价是占用更多内存。
每笔交易背后的工作
disruptor 以极少的数据复制和同步开销协调各阶段,但其运行速度仍受最慢阶段限制。要维持 21 million TPS,每个阶段都必须经过精心设计,以实现最高性能。
Journal:保留用于恢复的输入
journal 会记录交易批次,使 Voyager 能在发生崩溃后重建尚未写入数据库的工作。
写入每笔交易都需要大量磁盘带宽,而等待数据持久化也会增加开销。我们让写入路径保持简单:按顺序追加记录,然后通过 fsync 同步一组记录。只有同步成功后,journal 消费者才会推进,从而将这项成本分摊到多笔交易上。
STF:将交易转换为状态变更
状态转换函数会检查余额、执行转账和费用处理,并生成状态变更。面对不可预测的交易工作负载,如何确保良好的性能,正是区块链性能工程的核心挑战。
过去几年,提高区块链速度的默认方法一直是引入更多并行处理。Voyager 则采取相反做法。Voyager 的执行完全采用单线程……这也是它速度快的重要原因。
Voyager 独特 STF 的核心观察是:CPU 并非 STF 的确切瓶颈,真正的瓶颈在于内存访问。而在从内存加载数据时,增加更多核心实际上可能适得其反。当两个不同的线程同时请求访问同一块内存时,它们都可能遭遇流水线停顿。
不过,得益于乱序执行,单个 CPU 可以并发发出多次内存访问,同时处理已在缓存中的数据。要最大限度地提高 CPU 效率,关键是确保所需数据始终位于缓存中。这需要:
- 让访问保持可预测:所有数据依赖项都能在执行前很久确定。
- 最大限度减少争用:所有状态数据都由单个 STF 线程持有,从而彻底消除了锁开销和缓存一致性流量。
- 尽量缩小工作集: Voyager 的数据结构经过设计,可整齐地装入缓存行,从而最大限度地增加我们能保存在 CPU 附近的有用数据量。
- 提前很久请求数据:Voyager 会预取数据,最远可提前至 CPU 当前执行位置之前的 32 笔交易。
在持续负载下,Voyager 的 STF 单核利用率达到 96–100%。减少不必要的查找和内存停顿,有助于让该核心完成更多有效工作。
DA 发布器:让其他人验证工作
DA 发布器会提供交易输入,以便其他参与者独立重放并验证执行。它将数据上传至 Celestia Fibre,由后者在验证者之间分发经过纠删码处理的 blob 分片。
批量发布批次可将网络请求开销分摊到多笔交易上。发布会等待日志记录完成,随后与执行和数据库写入并行进行。
数据库写入器:持久化生成的余额
数据库写入器会将 STF 的状态变更发送到 Stargazer(我们的定制状态存储引擎)进行持久化。存储的余额可用于查询,并为计划中的恢复路径提供持久可靠的起点。
与 DA 发布器类似,数据库写入器会将提交内容分组以减少网络开销,并等待日志记录和执行都完成后,再发送该批次的变更。
日志清理器:安全回收空间
日志清理器可防止恢复记录占满磁盘。过早删除记录会丢弃下游阶段可能仍需使用的输入。
在允许删除记录之前,它会检查下游使用方的进度、DA 确认状态以及存储持久化水位线。这些检查决定了清理操作可以安全推进到什么程度。
Stargazer 分发存储工作
Stargazer 是我们构建的定制状态存储引擎,在一台独立机器上运行,并通过网络接收状态差异批次。与 Voyager 一样,Stargazer 采用围绕中央 disruptor 构建的架构,以实现最高性能,其中日志阶段之后是并行的数据库分片写入器。

我们通过分片将状态分布到多个 RocksDB 数据库中,每个数据库位于独立的磁盘卷上。每个分片写入器都会读取共享批次,但只应用分配给自身分片的变更。
只有在所有分片都达到相应高度后,Stargazer 才会报告已提交高度。其清理器会等待所有分片写入器完成后再推进。如果存储处理落后,有界环形缓冲区和入口队列会向 Voyager 传递背压。
基准测试
我们在约 1 亿个账户的状态上对 Voyager 进行了基准测试,分多轮运行共处理了 4000 亿笔转账。下方图表来自其中一轮运行的 Grafana 仪表板。
这些基准测试衡量的是 Voyager 节点本身的性能:执行、日志记录、数据发布和存储。负载生成器直接向节点发送交易,绕过了入口层,因此这些数据不包括签名验证。由于入口层可以横向扩展,因此可以独立增加验证能力。交易仍携带完整大小的签名,因此日志和 DA 发布器处理的数据量符合实际情况。



接下来
Voyager 仍在开发中。热路径吞吐量令人鼓舞,但几个重要部分尚未完成。
首先,当前基准测试中我们没有对状态进行 Merkle 化。与 Solana 类似,我们计划以略低于每个区块一次的频率计算状态根。采用这种设计,可以确保状态根计算不会阻塞交易处理,但轻客户端会承担一些额外延迟。
其次,目前我们保留了重放和复制所需的数据,但重启后的恢复逻辑以及向其他节点复制的功能尚未实现。构建并测试这些路径是我们的优先事项。
最后,我们的基准测试使用的工作集仍然足够小,可以放入单台机器的 RAM。我们已经设计好所需逻辑,使其能够扩展到远超 RAM 容量的规模,并确信这不会成为显著瓶颈,但实现工作尚未完成。
由于所有状态都位于一个执行器上,Voyager 底层引擎并不局限于支付。接下来,我们将使执行方式可插拔,让同一条流水线能够运行交易所(LMAX Disruptor 最初就是为此类工作负载构建的)以及许多其他可大规模运行的应用。Voyager 专为支付而建,但后续设计将能够承载各种市场。

超越 21 Million TPS
通过将日志和数据库写入分片到更多磁盘上,存储吞吐量可以提升。Fibre 的基准测试结果约为 3 Tb/s,也表明数据发布还有很大的提升空间。
在单个 CPU 核心上,STF 仍有进一步优化的空间。即使利用率很高,仍有机会减少内存停顿、避免不必要的查找,并减少每笔交易所需的工作量。最后,我们已经为两种方案做好设计:在多个核心之间无争用地分片状态,以及在多个 Voyager 实例之间无缝分配工作。
敬请关注,我们将继续推动 Voyager 投入生产并展示其能力。
来源:Celestia · blog.celestia.org