PostgreSQL 教程: 处理 TOAST 数据损坏

三月 21, 2024

摘要:在本教程中,您将学习如何处理 PostgreSQL 中损坏的 TOAST 数据。

介绍

在极罕见的情况下,一些与表相关的 TOAST 值发生损坏,这可能是由于某些硬件或文件系统问题,甚至是 PostgreSQL 软件问题。如果遇到如下错误消息,则表示数据库中的某些 TOAST 值已损坏。

ERROR: unexpected chunk size 226 (expected 175) in final chunk 1 for toast value 8846932 in pg_toast_2877446
STATEMENT: SELECT * FROM bad_table WHERE ...

TOAST 表是 PostgreSQL 给大值(如大文本字段、几何图形、大型数组和 BLOB)存储线外压缩数据的地方。服务器在上面错误消息中告诉您的是,TOAST 表中压缩块的大小与其元数据不匹配,因此 PostgreSQL 无法进行解压。

处理方案

第一步是找出损坏的表来进行修复。日志中提供了 TOAST 表名称。但问题是要确定 TOAST 表属于哪个主表。

若要找到相关的主表,可以使用以下 SQL:

SELECT c.oid, n.nspname AS schema, c.relname
FROM pg_class AS c
JOIN pg_namespace AS n ON c.relnamespace = n.oid
WHERE c.reltoastrelid = (
        SELECT oid FROM pg_class AS t
          WHERE t.relname = 'pg_toast_2877446'
      );

在 WHERE 条件下,relname 常量值对应于错误消息中的 TOAST 表名。这会得到如下结果,其中 schema / relname 是损坏的表。

   oid   | schema |  relname
---------+--------+-----------
 2825248 | public | bad_table
(1 row)

那么,如何处理损坏的 TOAST 记录呢?

修复损坏的表

显然,如果您有损坏发生前的备份,那可以恢复该备份。但如果你没有备份,你需要手工修复它。让我们首先创建一个新表:

CREATE TABLE new_table (LIKE bad_table INCLUDING ALL);

然后,使用主键索引遍历表,并逐一处理每个行。如果该行数据正常,只需将其插入到新表中即可。如果行中的 TOAST 值已损坏,请将 TOAST 列重写为常量值 ‘!!! BAD DATA !!!’。我们用一个简单的 DO 脚本来实现这一点,如下所示:

SET enable_seqscan TO off;

DO $$
DECLARE
  row    bad_table%ROWTYPE;
  rowkey bad_table.pkey%TYPE;
BEGIN
  FOR rowkey IN SELECT pkey FROM bad_table LOOP
    BEGIN
      INSERT INTO new_table
        SELECT * FROM bad_table WHERE pkey = rowkey;
    EXCEPTION
      WHEN others THEN
        SELECT * INTO row
          FROM bad_table WHERE pkey = rowkey;
        row.bad_column := '!!! BAD DATA !!!';
		INSERT INTO new_table SELECT (row).*;
    END;
  END LOOP;
END;
$$;

此处的处理流程是,进入每行中(大文本的bad_column字段)的 TOAST 值并对其进行解压缩,这样应该会引发您将要遇到的任何错误。当然,您需要为自己的表定制修改上面的脚本。

最后,我们可以交换两个表的名称:

ALTER TABLE bad_table RENAME TO old_table;
ALTER TABLE new_table RENAME TO bad_table;

完成此操作后,您就能获得一个没有 TOAST 数据损坏的干净的表了。