pg_createsubscriber — 将物理副本转换为新的逻辑副本
pg_createsubscriber
[option
...] { -d
| --database
}dbname
{ -D
| --pgdata
}datadir
{ -P
| --publisher-server
}connstr
pg_createsubscriber 根据物理备用服务器创建一个新的逻辑副本。指定数据库中的所有表格均包含在逻辑复制设置中。为每个数据库创建一对发布和订阅对象。必须在目标服务器上运行此命令。
如果运行成功,目标服务器的状态类似于新的逻辑复制设置。逻辑复制设置和 pg_createsubscriber 之间的主要区别在于数据同步的方式。pg_createsubscriber 不会复制初始表格数据。它只执行同步阶段,确保每张表都被提升到某个同步状态。
pg_createsubscriber 面向大型数据库系统,因为在逻辑复制设置中,大部分时间都花在执行初始数据复制上。此外,花在同步数据上的长时间通常会导致大量更改(在初始数据复制期间生成),从而进一步增加了逻辑副本将可用的时间。对于较小的数据库,建议进行初始数据同步。
pg_createsubscriber 接受以下命令行参数
-d dbname
--database=dbname
用于在其中创建订阅的数据库名称。可以通过编写多个 -d
开关来选择多个数据库。
-D directory
--pgdata=directory
包含来自物理副本的群集目录的目标目录。
-n
--dry-run
执行除实际修改目标目录之外的所有操作。
-p port
--subscriber-port=port
目标服务器正在监听连接的端口号。默认为在端口 50432 上运行目标服务器,以避免意外客户端连接。
-P connstr
--publisher-server=connstr
与发布服务器的连接字符串。有关详细信息,请参见第 32.1.1 节。
-s dir
--socketdir=dir
目标服务器上邮政总监套接字使用的目录。默认为当前目录。
-t seconds
--recovery-timeout=seconds
等待恢复结束的最长秒数。设置为 0 可禁用。默认为 0。
-U username
--subscriber-username=username
连接到目标服务器时使用的用户名。默认为当前操作系统用户名。
-v
--verbose
启用详细模式。这将使 pg_createsubscriber 将进度消息和有关每个步骤的详细信息输出到标准错误。重复该选项会导致更多的调试级别消息出现在标准错误上。
--config-file=filename
针对目标数据目录使用指定的服务器主配置文件。pg_createsubscriber 在内部使用 pg_ctl 命令启动并停止目标服务器。如果数据目录外部存储有实际的 postgresql.conf
配置文件,它允许你指定该文件。
--publication=名称
用于设置逻辑复制的发布名称。可以通过编写多个 --publication
开关来指定多个发布。发布名称的数量必须与指定数据库的数量相匹配,否则会报告错误。多个发布名称开关的顺序必须与数据库开关的顺序相匹配。如果未指定此选项,则会将生成的名称分配给发布名称。
--replication-slot=名称
用于设置逻辑复制的复制槽名称。可以通过编写多个 --replication-slot
开关来指定多个复制槽。复制槽名称的数量必须与指定数据库的数量相匹配,否则会报告错误。多个复制槽名称开关的顺序必须与数据库开关的顺序相匹配。如果未指定此选项,则认购名称会分配给复制槽名称。
--subscription=名称
用于设置逻辑复制的认购名称。可以通过编写多个 --subscription
开关来指定多个认购。认购名称的数量必须与指定数据库的数量相匹配,否则会报告错误。多个认购名称开关的顺序必须与数据库开关的顺序相匹配。如果未指定此选项,则会将生成的名称分配给认购名称。
-V
--version
打印 pg_createsubscriber 版本并退出。
-?
--help
显示有关 pg_createsubscriber 命令行参数的帮助信息并退出。
对于 pg_createsubscriber 将目标服务器转换成逻辑副本,存在一些先决条件。如果不满足这些条件,将报告错误。源服务器和目标服务器必须与 pg_createsubscriber 具有相同的主要版本。给定的目标数据目录必须具有与源数据目录相同的系统标识符。目标数据目录的给定数据库用户必须具有创建 认购 以及使用 pg_replication_origin_advance()
的权限。
目标服务器必须用作物理备用。目标服务器必须将 max_replication_slots 和 max_logical_replication_workers 配置为大于或等于指定数据库数的值。目标服务器必须将 max_worker_processes 配置为大于指定数据库数的值。目标服务器必须接受本地连接。
源服务器必须接受来自目标服务器的连接。源服务器不能处于恢复中。源服务器必须将 wal_level 设置为 logical
。源服务器必须将 max_replication_slots 配置为大于或等于指定数据库数加上现有复制槽的值。源服务器必须将 max_wal_senders 配置为大于或等于指定数据库数和现有 WAL 发送进程的值。
如果在提升目标服务器后 pg_createsubscriber 失败,则数据目录很可能处于无法恢复的状态。在这种情况下,建议创建新的备用服务器。
pg_createsubscriber 通常在转换期间以不同的连接设置启动目标服务器。因此,对目标服务器的连接可能会失败。
由于逻辑复制不会复制 DDL 命令,因此在运行 pg_createsubscriber 时,请避免执行更改数据库架构的 DDL 命令。如果目标服务器已转换为逻辑副本,则 DDL 命令可能不会被复制,这可能会导致错误。
如果 pg_createsubscriber 在处理过程中失败,则会删除在源服务器上创建的对象(发布、复制槽)。如果目标服务器无法连接到源服务器,则删除可能会失败。在这种情况下,会显示一条警告消息,告知剩余的对象。如果目标服务器正在运行,它将停止运行。
如果复制使用 primary_slot_name,则在设置逻辑复制后会将其从源服务器中删除。
如果目标服务器是同步副本,则在运行 pg_createsubscriber 时,主节点上的事务提交可能会等待复制。
pg_createsubscriber 设置了已禁用两阶段提交的逻辑复制。这意味着所有已准备事务将在 COMMIT PREPARED
时间复制,无需预先准备。一旦设置完成,您可以手动取消并使用启用了 two_phase
选项重新创建订阅。
pg_createsubscriber 使用 pg_resetwal 来更改系统标识符。这样可以避免目标服务器可能使用源服务器的 WAL 文件的情况。如果目标服务器有待机,则复制会中断,并且应该创建新的待机。
基本思路是从源服务器建立复制起始点,并设置从该点开始的逻辑复制
使用指定命令行选项启动目标服务器。如果目标服务器已经在运行,pg_createsubscriber 会终止并显示错误。
检查目标服务器是否可以转换。也对源服务器进行一些检查。如果任何必备条件不满足,pg_createsubscriber 会终止并显示错误。
在源服务器上为每个指定数据库创建一个发布和复制槽。每个发布使用 FOR ALL TABLES
创建。如果未指定 publication-name
选项,则它具有以下名称模式:“pg_createsubscriber_%u_%x
”(参数:数据库 oid
、随机 int
)。如果未指定 replication-slot-name
,则复制槽具有以下名称模式:“pg_createsubscriber_%u_%x
”(参数:数据库 oid
、随机 int
)。这些复制槽将在将来的步骤中由订阅使用。最后一个复制槽 LSN 用作 recovery_target_lsn 参数中的停止点,并且由订阅用作复制起始点。这样可以确保不会丢失任何事务。
将恢复参数写入目标数据目录,然后重新启动目标服务器。它指定了预写日志位置的 LSN(recovery_target_lsn),恢复会一直进行到该 LSN。它还指定 promote
作为服务器在达到恢复目标后应采取的操作。添加了其他 恢复参数 以避免在恢复过程中发生意外行为,例如在达到一致状态后立即结束恢复(应持续应用 WAL 直至复制起始位置)和可能会导致故障的多个恢复目标。此步骤在服务器结束备用模式并接受读写事务后完成。如果设置 --recovery-timeout
选项,如果在给定秒数内恢复未结束,pg_createsubscriber 就会终止。
为目标服务器上的每个指定数据库创建一个订阅。如果未指定 subscription-name
,则订阅具有以下名称模式:“pg_createsubscriber_%u_%x
”(参数:数据库oid
,随机int
)。它不会从源服务器复制现有数据。它不会创建一个复制槽。相反,它使用在上一步中创建的复制槽。订阅已创建,但尚未启用。原因是在开始复制之前,复制进度必须设置为复制开始点。
删除目标服务器上复制的发布,因为它们是在复制开始位置之前创建的。它在订户上没有任何用处。
为每个订阅将复制进度设置为复制开始点。当目标服务器启动恢复进程时,它将赶上复制开始点。这是要针对每个订阅用作初始复制位置的确切 LSN。由于创建了订阅,因此获取了复制源名称。复制源名称和复制开始点用于 pg_replication_origin_advance()
以设置初始复制位置。
为目标服务器上每个指定的数据库启用订阅。订阅开始应用来自复制开始点的交易。
如果备用服务器正在使用 primary_slot_name,则它从此不再有用,因此放弃它。
如果备用服务器包含 故障转移复制槽,则它们无法再同步,因此放弃它们。
更新目标服务器上的系统标识符。运行 pg_resetwal 以修改系统标识符。目标服务器已停止,因为它是 pg_resetwal
要求。
为来自 foo
上的物理副本的数据库 hr
和 finance
创建一个逻辑副本
$
pg_createsubscriber -D /usr/local/pgsql/data -P "host=foo" -d hr -d finance