由 John Doe 十一月 19, 2026
在引入分布式数据库的复杂度之前,先搞清楚:一台优化到位的单节点 PostgreSQL,到底能扛住多大的写入量。
目录
作者:Abul Kalam Azad

扩容 PostgreSQL,未必非要加节点。很多时候,最大的性能提升,来自于把你现有的系统吃透。
引言:一提扩容就想分片的惯性思维
当后端系统开始快速增长,熟悉的剧情总会上演: 流量上涨,数据库 CPU 使用率攀升,写入延迟变得飘忽不定,连接数持续增长。最后,团队里总会有人提出: “我们得给数据库分片了。”
分片确实是解决数据库真实扩容瓶颈的有效方案,但它也会带来极高的架构复杂度。 你必须重新设计数据分布、应用层路由、跨分片事务、外键关系、数据迁移、备份方案与运维监控体系。
问题在于:你真的已经触碰到现有 PostgreSQL 基础设施的极限了吗? 在把数据拆分到多个数据库节点之前,不妨先思考一个更本质的问题: 我们的单节点 PostgreSQL 写入链路,真的已经优化到极致了吗?
PostgreSQL 提供了多种提升写入吞吐量的机制,无需立刻引入分布式数据库架构,包括:
- 异步提交策略
- 预写日志(WAL)优化
- 原生 COPY 协议批量导入
- 高效的索引管理
- 连接池
- 硬件与存储优化
根据负载类型的不同,这些技术可以显著提升吞吐量。 但不存在一套万能配置,能保证实现每秒 10 万次写入。实际性能取决于事务大小、持久性要求、索引数量、存储延迟、硬件水平与应用行为。
下面我们就逐一拆解这些优化方向,并说明单节点 PostgreSQL 最终的性能边界在哪里。
1. 先定位真正的写入瓶颈
数据库优化最大的误区之一,就是还没搞清楚慢在哪里,就先去改配置参数。 高写入负载下的 PostgreSQL,瓶颈可能来自多种不同的资源。
PostgreSQL 常见的写入瓶颈
- WAL 同步延迟 PostgreSQL 会先把数据变更写入预写日志,之后才认为对应的数据页可以被安全恢复。当事务以同步方式提交时,WAL 刷盘会成为事务延迟的主要组成部分。
- 索引维护开销 每插入一行数据,都要同步更新相关索引。一张带有多个索引的表,每行写入的工作量,会远大于只有主键索引的表。
- 连接开销 PostgreSQL 采用进程级的连接架构。并发连接过多会消耗内存,增加调度开销。
- 存储能力上限 存储设备速度慢、IOPS 不足、写入延迟高,都会限制 WAL 吞吐量与检查点性能。
- 锁争用 即便 CPU 和存储资源充足,并发事务争抢同一行数据或数据库对象,也会限制吞吐量。
调优前先做度量
从查看 PostgreSQL 的统计信息开始,例如:
SELECT
datname,
xact_commit,
xact_rollback,
blks_read,
blks_hit,
tup_inserted,
tup_updated,
tup_deleted
FROM pg_stat_database;
查看 WAL 活动:
SELECT
wal_records,
wal_fpi,
wal_bytes,
wal_buffers_full,
stats_reset
FROM pg_stat_wal;
你还应该监控:
- CPU 使用率
- 磁盘读写延迟
- WAL 生成速率
- 检查点频率与耗时
- 活跃连接数
- 事务延迟
- 锁等待
- 复制延迟(如有)
目标很简单: 在做任何改动之前,先明确你的负载是 CPU 瓶颈、存储瓶颈、连接瓶颈,还是争用瓶颈。
2. 异步提交:用持久性保证换更低延迟
PostgreSQL 最值得关注的性能选项之一,就是异步提交。 默认情况下,PostgreSQL 使用同步提交,保证本地事务的持久性。 当应用执行:
COMMIT;
PostgreSQL 通常会等待事务的 WAL 记录刷入持久化存储后,才会返回提交成功的响应。
这提供了一项重要保证:即便数据库服务器随后立刻崩溃,已提交的事务也依然可以被恢复。 但等待 WAL 同步也会带来延迟。
对于可以容忍丢失少量刚提交事务的场景,PostgreSQL 提供了:
SET synchronous_commit = off;
到底发生了什么变化?
关闭synchronous_commit后,PostgreSQL 可以在 WAL 记录刷盘之前,就向客户端确认事务提交成功。 WAL 记录依然会正常生成,并通过 PostgreSQL 常规的 WAL 机制写入磁盘;只是提交操作不再等待刷盘完成,而是异步执行。
这意味着:
- 事务提交延迟可以降低
- 多个事务可以共享更少的同步等待,提升整体效率
- 数据库原有的崩溃恢复机制依然有效
- 操作系统崩溃或断电后,少量刚确认的事务可能会丢失
重点是:这并不会关闭 WAL,也不会取消事务日志。 它改变的,只是 PostgreSQL 确认提交成功的时机。
什么时候适合用异步提交?
适合的负载包括:
- 应用遥测数据
- 非关键事件日志
- 临时分析数据
- 指标采集
- 可重建的中间数据
比如,丢失少量刚采集的应用指标,通常是可以接受的。 但电商订单系统就不一样了:客户下单并收到成功响应后,如果因为断电导致订单丢失,会造成严重的业务问题。 对于金融交易、支付、库存扣减等核心业务操作,持久性要求必须优先于吞吐量。
重要澄清
不存在 “异步提交只会丢失最后 1-2 秒事务” 的绝对保证。 潜在的数据丢失窗口,取决于 WAL 刷盘行为与系统状态。 PostgreSQL 通过 WAL 恢复保证数据库一致性,但无法保证每一个异步确认的事务,都能在意外宕机后幸存。
工程原则:只对明确可以接受持久性取舍的负载,选择性启用异步提交。不要为了跑好看的基准测试,就全局关闭持久性。
官方文档:https://www.postgresql.org/docs/current/wal-async-commit.html
3. 优化预写日志(WAL)
PostgreSQL 依靠预写日志,保证崩溃后可以恢复数据变更。 修改后的数据页写入最终位置之前,对应的 WAL 记录必须先被持久化。 在高写入负载下,WAL 生成与检查点管理会成为影响性能的关键因素。
以下几个 PostgreSQL 配置参数值得重点关注。
3.1 wal_buffers
wal_buffers决定了用于存放尚未写入操作系统的 WAL 数据的共享内存大小,例如:
wal_buffers = 16MB
更大的缓冲区可以帮助部分负载避免等待 WAL 缓冲区可用。 但无限调大也不一定能提升吞吐量。 PostgreSQL 可以自动计算合理的默认值:
wal_buffers = -1
建议从默认值开始,监控 WAL 缓冲区压力后再考虑调大。
3.2 checkpoint_completion_target
PostgreSQL 会定期执行检查点,确保修改后的数据页写入存储。 如果检查点操作造成突发的存储压力,写入延迟就会变得不稳定。 你可以通过参数控制检查点工作在周期内的分布节奏:
checkpoint_completion_target = 0.9
数值越高,检查点写入越均匀,不会集中在短时间内完成。 这有助于减少突发的 I/O 尖峰。
3.3 max_wal_size 与 min_wal_size
参考配置:
max_wal_size = 10GB
min_wal_size = 2GB
max_wal_size会影响 PostgreSQL 因 WAL 累积而触发检查点的时机。 调大它可以降低高写入负载下的检查点频率。 但它是软限制,而非严格上限;实际 WAL 磁盘占用可能会因检查点行为、复制槽、归档等因素超过该值。 更大的 WAL 保留量,也意味着你需要足够的磁盘容量。
3.4 监控检查点活动
不要盲目调优检查点参数。 在支持的 PostgreSQL 版本中,可以通过以下语句查看检查点统计:
SELECT * FROM pg_stat_checkpointer;
不同 PostgreSQL 版本的可用统计信息与视图存在差异,请参考你所部署版本的文档。
重点关注:
- 检查点频率
- 请求触发 vs 定时触发的检查点
- 检查点写入耗时
- 检查点同步耗时
- WAL 生成速率
目标不是消灭检查点,而是避免检查点成为性能不稳定的不必要来源。
官方文档:https://www.postgresql.org/docs/current/wal-configuration.html
4. 别把每一次插入都当成独立操作
假设你的应用需要插入 10 万条事件记录。 最直白的实现,可能是逐条执行 INSERT 语句:
INSERT INTO events (user_id, payload, created_at)
VALUES (1, '{"action":"login"}', NOW());
反复执行这条语句,会引入不必要的开销。 即便使用预编译语句,单次数据库操作依然包含网络通信、执行开销与事务管理。
更好的方式是批量写入。
多行 INSERT
与其一次插一行,不如写成:
INSERT INTO events (user_id, payload, created_at)
VALUES
(1, '{"action":"login"}', NOW()),
(2, '{"action":"logout"}', NOW()),
(3, '{"action":"purchase"}', NOW());
这样可以减少数据库往返次数。 但对于超大规模的数据导入,PostgreSQL 还有更高效的机制。
5. PostgreSQL COPY 的强大能力
PostgreSQL 原生的COPY命令,就是为高效批量加载数据设计的。 应用不再发送成千上万条独立的 INSERT 语句,而是通过 COPY 协议流式写入数据,例如:
COPY events (user_id, payload, created_at) FROM STDIN;
COPY 协议规避了大量单条 INSERT 所附带的语句级开销。 它尤其适合:
- 大规模数据导入
- 事件采集
- 历史数据迁移
- 批量同步
- 分析数据管道
为什么用二进制 COPY?
PostgreSQL 支持文本与二进制两种 COPY 格式。 当应用侧已经有正确类型的数据时,二进制 COPY 可以减少文本解析与类型转换开销。 但二进制 COPY 并非在所有场景下都一定更快,它还要求兼容的二进制表示,以及对 PostgreSQL 数据类型的正确处理。
Python asyncpg 示例
假设有一个按批次接收数据的事件采集管道:
import asyncpg
async def insert_events(pool, records):
async with pool.acquire() as connection:
async with connection.transaction():
await connection.copy_records_to_table(
'events',
records=records,
columns=[
'user_id',
'payload',
'created_at'
],
format='binary'
)
其中records是一组类型正确的元组,例如:
records = [
(1, '{"action":"login"}', datetime_value),
(2, '{"action":"logout"}', datetime_value),
(3, '{"action":"purchase"}', datetime_value),
]
你可以按批次处理流入的数据,而不是每条事件都单独发一次请求。
几千条记录的批次大小,适合作为初步测试的起点;最优值取决于行宽、内存占用、事务时长与应用延迟要求。
一个重要限制
COPY 并不会绕开 PostgreSQL 的存储引擎,也不会消除所有数据库内部工作。 数据库依然要维护索引、执行约束校验、触发相关触发器。 它是优化后的导入机制,而不是直接把任意字节写入数据库存储文件的捷径。
官方文档:https://www.postgresql.org/docs/current/sql-copy.html
6. 索引:高写入量背后的隐性成本
索引能加速数据库读取,但每多一个索引,数据修改时就要多做一份工作。
假设有一张以追加写入为主的事件表:
CREATE TABLE events (
id BIGSERIAL PRIMARY KEY,
user_id BIGINT NOT NULL,
event_type VARCHAR(100),
payload JSONB,
created_at TIMESTAMPTZ DEFAULT NOW()
);
如果这张表建了这些索引:
user_idevent_typecreated_atpayload- 还有多个组合字段
每插入一行,可能就需要修改多个索引结构。 写入量越大,这份维护开销就越可观。
实用的索引优化策略
- 删除无用索引 排查很少被使用的索引。PostgreSQL 提供了统计信息,可以帮你识别未使用或高频访问的索引:
SELECT
indexrelname,
idx_scan,
idx_tup_read,
idx_tup_fetch
FROM pg_stat_user_indexes
ORDER BY idx_scan ASC;
解读这些统计信息要谨慎:扫描次数少的索引,依然可能是偶尔出现的关键查询或约束所必需的。
- 不要什么都建索引 只给真正支撑业务查询的字段建索引。 比如一张事件表主要按用户和时间查询,那一个组合索引可能就够用了:
CREATE INDEX idx_events_user_created ON events (user_id, created_at DESC);
这比建一堆零散的单字段索引更有价值。
- 批量加载后再建索引(合适的场景下) 对于大规模历史数据导入,先加载数据、再建索引往往效率更高。 先执行 COPY 导入,再执行
CREATE INDEX。 这套策略在可控的批量加载场景中非常有效。 但从正在使用的生产表中删除索引,绝不是随手就能做的优化,它会影响查询性能、唯一性保证与应用行为。
并发建索引呢?
对于写入不能中断的现有生产表,PostgreSQL 支持:
CREATE INDEX CONCURRENTLY idx_events_user_id ON events(user_id);
在索引构建的大部分阶段,正常的 INSERT、UPDATE、DELETE 操作都可以继续执行。 但它需要额外的工作量,并且不能在事务块内执行,也不是零成本操作。
官方文档:https://www.postgresql.org/docs/current/sql-createindex.html
7. 连接池:避免连接开销拖垮性能
另一个常见的性能误区,是让每个应用请求都建立独立的 PostgreSQL 连接。 PostgreSQL 采用进程级连接架构,每个连接都会占用服务端资源。
假设一个应用有:
- 50 个应用实例
- 每个实例 50 个工作进程
- 每个工作进程持有多条数据库连接
潜在的数据库连接数会快速膨胀。 数千条并发连接会造成内存压力、调度开销与连接管理问题。
PgBouncer 登场
PgBouncer 是一款轻量级连接池工具,专门用于高效管理 PostgreSQL 连接。 它不再让每个应用客户端都独占一条服务端连接,而是用更少的 PostgreSQL 连接,多路复用大量客户端连接。 其中的 事务池模式 ,尤其适合大量短事务的应用。
架构示例
应用层
|
+-----------+-----------+
| | |
API服务 API服务 工作进程
| | |
+-----------+-----------+
|
PgBouncer
|
PostgreSQL连接池
|
PostgreSQL
为什么用事务池?
在事务池模式下,一条 PostgreSQL 服务端连接,只会在一个事务执行期间分配给客户端使用。 事务结束后,这条连接可以立刻被另一个客户端复用。 这可以大幅减少所需的 PostgreSQL 后端连接数。
重要注意事项
事务池模式存在局限性,依赖会话级状态的应用代码可能出现异常,例如:
- 会话级临时表
- 会话级咨询锁
- 非事务级的会话配置
- 部分预编译语句行为(取决于 PgBouncer 配置与版本)
启用事务池之前,请务必验证应用兼容性。
官方文档:https://www.pgbouncer.org/features.html
8. 内存与存储:硬件依然是硬门槛
软件优化终究无法无限弥补硬件的不足。 高吞吐写入负载,高度依赖存储延迟、CPU 性能、内存容量与持续 I/O 能力。
8.1 使用高速存储
高写入负载下,存储性能至关重要。 NVMe 固态硬盘的延迟与吞吐量,会远优于传统机械硬盘和许多中低性能存储设备。 但原始顺序写入速度,并不是唯一重要的指标,还要评估:
- 持续写入性能
- 随机写入 IOPS
- fsync 延迟
- 存储持久性
- 并发 I/O 下的表现
- 可用容量
短时间基准测试表现优异的存储,在持续生产负载下的表现可能完全不同。
8.2 shared_buffers
shared_buffers控制 PostgreSQL 共享缓冲区缓存的内存大小。 对于专用数据库服务器,常用的起始值约为系统可用内存的 25%,例如:
shared_buffers = 8GB
合理值取决于总内存、负载、操作系统缓存与 PostgreSQL 其他内存需求。 调大它并不会自动提升写入吞吐量。
8.3 effective_cache_size
参考配置:
effective_cache_size = 24GB
这个参数经常被误解。 它并不会分配 24GB 内存,而是向查询优化器提供估算:PostgreSQL 共享缓冲区 + 操作系统文件缓存,合计大约有多少内存可用于缓存数据。 准确的估算可以帮助 PostgreSQL 做出更优的查询规划决策。
8.4 work_mem
work_mem控制排序、哈希等查询操作可用的内存量,超过阈值就会溢出到临时文件,例如:
work_mem = 16MB
调大时要谨慎:它不是单服务器级的总内存分配。并发查询中的多个操作,都会各自占用这份内存。 数值设得太高,再加上大量并发查询,可能造成严重的内存压力。
8.5 maintenance_work_mem
该参数控制 VACUUM、索引创建等维护操作的可用内存,例如:
maintenance_work_mem = 1GB
它对部分维护操作(尤其是索引构建)有帮助,但取值要结合可用内存与预期的维护并发度来定。
关键结论:PostgreSQL 的内存参数应当整体设计,而非逐个独立优化。
官方文档:https://www.postgresql.org/docs/current/runtime-config-resource.html
9. 基准测试:用数据验证数据库承载力
很多数据库性能讨论之所以有误导性,原因就在这里。 一个 “每秒插入 10 万行” 的基准测试,并不等于 PostgreSQL 每秒能处理 10 万个独立事务。 这是完全不同的两个度量维度。
比如:
- 1 个事务插入 10 万行
- 100 个批量事务插入 10 万行
- 10 万个独立事务插入 10 万行
三种负载给数据库造成的压力天差地别。
使用 pgbench
PostgreSQL 自带pgbench基准测试工具,用于模拟并发数据库负载。 基础初始化:
pgbench -i -s 100 my_database
运行并发客户端测试:
pgbench -c 100 -j 8 -T 60 my_database
其中:
-c 100创建 100 个并发客户端-j 8使用 8 个工作线程-T 60运行 60 秒
这只是起点,并不是完整的写入吞吐量基准测试。 默认负载混合了多种数据库操作。如果要测试导入性能,应该编写自定义基准脚本,或者搭建专门的测试框架,来模拟你真实的应用负载。
应该度量什么?
不要只盯着每秒事务数。 同时测量:
表格
| 指标 | 意义 |
|---|---|
| 每秒行数 | 真实的数据导入吞吐量 |
| 每秒事务数 | 事务处理能力 |
| p50 延迟 | 典型事务延迟 |
| p95 延迟 | 慢事务的表现 |
| p99 延迟 | 负载下的尾部延迟 |
| 每秒 WAL 字节数 | WAL 生成压力 |
| CPU 使用率 | 计算瓶颈 |
| 磁盘延迟 | 存储瓶颈 |
| 检查点活动 | 写放大与 I/O 压力 |
测试真实场景
分别对以下场景做基准测试:
- 单条 INSERT 语句
- 多行 INSERT 操作
- 批量 INSERT 操作
- 文本格式 COPY
- 二进制格式 COPY
- 不同并发级别
- 不同索引配置
同时要用真实的行大小、约束、触发器、索引与持久性设置来测试。 关掉重要生产级保障跑出来的基准测试,数字再好看也没有多少实际参考价值。 有用的基准测试,应当贴近你的生产负载,而非跑出最大的数字。
10. 什么时候才真的该上分片?
优化完写入链路后,你可能会发现,单节点 PostgreSQL 能承载的流量,远比你预想的要高。 但优化终究有物理极限。 最终你可能会遇到:
- 持续的存储吞吐量上限
- CPU 饱和
- 过高的索引维护开销
- 无法接受的写入延迟
- 存储容量限制
- 不同负载之间的资源争用
到了这一步,水平扩容就有必要了。 但在分片之外,还应当同时评估其他架构选项。
值得先评估的替代方案
- 表分区 PostgreSQL 的声明式分区,可以把一张大的逻辑表拆分成更小的物理分区。 比如基于时间的分区,能让数据留存与历史数据管理更轻松:
CREATE TABLE events (
id BIGINT NOT NULL,
user_id BIGINT NOT NULL,
created_at TIMESTAMPTZ NOT NULL,
payload JSONB
) PARTITION BY RANGE (created_at);
分区不等于分片。 除非引入额外基础设施,否则所有分区依然属于同一个 PostgreSQL 数据库实例。
- 只读副本 如果读流量消耗了大量资源,PostgreSQL 流复制可以将读负载分散到多个副本上。 这不会直接提升主库的写入能力,但可以减少读写之间的资源争抢。
- 异步处理 并非所有操作都必须在用户的 HTTP 请求内完成。 应用可以先接收事件、存入可靠队列,再异步批量处理。 这可以降低应用侧的压力,提升导入效率。 但异步处理也会引入最终一致性,以及额外的运维要求。
- 负载分离 在合适的情况下,将分析查询、报表负载与历史数据处理,从核心事务负载中剥离出去。 数据库不应该和每一个报表任务争抢同一份资源。
- 分片 当单节点确实无法满足吞吐量、延迟或容量要求时,分片才是合理的架构决策。重点是:因为负载确实需要才引入分片,而不是因为数据库配置从来没被优化过。
结论:先优化,再谈分布式
分片是一项强大的架构技术,但它不该是每个数据库性能问题的第一反应。 在引入分布式数据库的复杂度之前,先搞清楚你真正的瓶颈在哪里:
- 优化 WAL 行为
- 在持久性允许的场景下评估异步提交
- 用 COPY 做批量导入
- 排查不必要的索引
- 引入连接池
- 确保存储与内存配置匹配你的负载
最重要的是:每一项有价值的改动,都要做基准测试验证。 不存在一套万能的 PostgreSQL 配置,能保证实现每秒 10 万次写入。 真正的工程挑战,在于理解你的负载需要什么、你的硬件上 PostgreSQL 能交付什么,以及下一个瓶颈会出现在哪里。
先吃透单节点的性能边界。当实测数据(而不是主观假设)证明你确实需要扩容时,再做水平扩展。
免责声明:PostgreSQL 配置变更可能影响持久性、可用性、内存占用与恢复行为。所有配置变更都应先在有代表性的预发环境中测试,再应用到生产。修改持久性设置前,请保留备份并验证你的容灾方案。
参考资料
- PostgreSQL 官方文档 — WAL 配置:https://www.postgresql.org/docs/current/wal-configuration.html
- PostgreSQL 官方文档 — 异步提交:https://www.postgresql.org/docs/current/wal-async-commit.html
- PostgreSQL 官方文档 — COPY 命令:https://www.postgresql.org/docs/current/sql-copy.html
- PostgreSQL 官方文档 — CREATE INDEX:https://www.postgresql.org/docs/current/sql-createindex.html
- PostgreSQL 官方文档 — 资源消耗配置:https://www.postgresql.org/docs/current/runtime-config-resource.html
- PgBouncer — 功能矩阵:https://www.pgbouncer.org/features.html
- PostgreSQL 官方文档 — pgbench:https://www.postgresql.org/docs/current/pgbench.html
参考
How Far Can PostgreSQL Scale Without Sharding? A Deep Dive into High-Throughput Writes