オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン発表資料）

© 2020 NTT DATA Corporation 2 藤井雅雄 @fujii_masao Database Technical Lead @ NTTデータデータベース研究開発、PostgreSQL 技術支援 PostgreSQLコミッタレプリケーション(非同期 / 同期 / カスケード / クォーラムコミット) WAL圧縮、バックアップ進捗 pg_bigm(全文検索モジュール)コミッタ自己紹介

© 2020 NTT DATA Corporation 3 本講演について講演資料は、後日、NTTデータのSlideShareアカウント上で公開予定です。 https://www.slideshare.net/nttdata-tech 以前のアンカンファレンスの講演資料は公開済です。 PostgreSQL 13 での pg_stat_statements の改善について PostgreSQL 13 での pg_basebackup の改善について PostgreSQL 13 でのレプリケーション関連の改善について

© 2020 NTT DATA Corporation 5 PostgreSQLで利用できるバックアップ手法バックアップ論理バックアップ (SQLダンプ) pg_dump / pg_dumpall 物理バックアップオフラインバックアップ (コールドバックアップ) 独自スクリプト(pg_ctl stop + rsyncなど) オンラインバックアップ (ホットバックアップ) pg_basebackup 外部ツール(pg_rman、 Barmanなど) 独自スクリプト (pg_start_backup + pg_stop_backup) 排他モード非排他モード

© 2020 NTT DATA Corporation 6 PostgreSQLで利用できるバックアップ手法バックアップ論理バックアップ (SQLダンプ) pg_dump / pg_dumpall 物理バックアップオフラインバックアップ (コールドバックアップ) 独自スクリプト(pg_ctl stop + rsyncなど) オンラインバックアップ (ホットバックアップ) pg_basebackup 外部ツール(pg_rman、 Barmanなど) 独自スクリプト (pg_start_backup + pg_stop_backup) 排他モード非排他モード今日取り上げるバックアップ手法

© 2020 NTT DATA Corporation 8 排他モード ① バックアップモードの開始 $ psql -c "SELECT pg_start_backup('mybackup')" ② DBクラスタのバックアップ OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ $ cp -a $PGDATA /tblspc1 /tblspc2 /backup ③ バックアップモードの終了 $ psql -c "SELECT pg_stop_backup()"

© 2020 NTT DATA Corporation 9 非排他モード ① バックアップモードの開始 $ psql =# SELECT pg_start_backup('mybackup', false, false) ② DBクラスタのバックアップ OSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ $ cp -a $PGDATA /tblspc1 /tblspc2 /backup ③ バックアップモードの終了 =# SELECT pg_stop_backup(false); ④ backup_labelとtablespace_mapのバックアップ pg_stop_backup()の戻り値の内容から backup_labelとtablespace_mapの2つのファイルを作成して、バックアップに含める・第3引数にfalseを指定・pg_start_backupを実行したセッションを pg_stop_backupまで維持・第1引数にfalseを指定・pg_start_backupを実行したセッションで pg_stop_backupを実行

© 2020 NTT DATA Corporation 10 非排他モード =# SELECT * FROM pg_stop_backup(false); lsn | labelfile | spcmapfile -----------+---------------------------------------------------------------+------------------------------- 0/3000138 | START WAL LOCATION: 0/3000028 (file 000000010000000000000003)+| 16386 /dav/head-pgsql/tblspc2+ | CHECKPOINT LOCATION: 0/3000060 +| 16385 /dav/head-pgsql/tblspc1+ | BACKUP METHOD: streamed +| | BACKUP FROM: master +| | START TIME: 2020-07-06 23:55:11 JST +| | LABEL: mybackup +| | START TIMELINE: 1 +| | | (1 row) backup_label tablespace_map ④-2 backup_labelとtablespace_mapをバックアップに格納 $ mv backup_label tablespace_map /backup ④-1 pg_stop_backup()の戻り値からbackup_labelとtablespace_mapのファイルを作成

© 2020 NTT DATA Corporation 11 排他モードと非排他モードの比較排他モード非排他モード利用可能なバージョン 8.0以降 9.6以降バックアップの同時実行可能数 1 複数 pg_start_backupと pg_stop_backupを実行するセッション同じまたは異なるセッション  バックアップ中のセッション断による影響はない  pg_stop_backupを忘れるとバックアップモードは終了しない(次回のバックアップ取得が失敗する) 同じセッション  セッション断によりバックアップが失敗する (pg_start_backupからやり直し)  セッションが切れればバックアップモードは終了する backup_labelと tablespace_mapの作成 pg_start_backupがDBクラスタ内に作成  DBクラスタをバックアップすれば、各ファイルは自動的にバックアップに含まれる  バックアップ中にPostgreSQLがクラッシュすると、クラッシュリカバリが失敗する可能性がある(backup_labelがDBクラスタ内にある状態でクラッシュリカバリが始まるため) pg_stop_backupからユーザが作成  ユーザが各ファイルをバックアップに含める必要がある  左記のリカバリ失敗の可能性はない(DBクラスタ内にbackup_labelは存在しないため)

© 2020 NTT DATA Corporation 12 排他モードでバックアップ中にクラッシュした場合のリカバリ失敗について pg_start_backup CHECKPOINT 1 2 3 4 5 ? WALファイル凡例クラッシュ CHECKPOINT pg_stop_backup 各操作とWAL生成の流れクラッシュリカバリでは最新CHECKPOINT 以降のWALを適用 backup_labelがある状態でクラッシュリカバリが始まると、 pg_start_backup以降の WALを適用 • backup_labelが pg_start_backup以降のWAL適用を指示  ②～④のWALが削除済だとリカバリ失敗  未削除の場合もリカバリ時間が長くなる

© 2020 NTT DATA Corporation 14 排他モードを削除するパッチ v14で排他モードを削除するパッチが提案されている Remove deprecated exclusive backup mode https://commitfest.postgresql.org/28/1913/ 削除についてまだ議論中だが、v14で削除となる可能性が高い(ように見える) • リカバリ失敗のリスクを危険視する開発者が多い • 排他モードを利用中のユーザがいるため削除に反対する意見もあるが少数 • 「排他モードは将来的に削除」とv9.6で明記してから、v14リリース時には5年経過済排他モードが削除されても問題ないでしょうか？

© 2020 NTT DATA Corporation 16 排他モードから非排他モードへの移行例 $ psql -c "SELECT pg_start_backup('test')" $ cp -a /pgdata/data /backup $ psql -c "SELECT pg_stop_backup()" $ psql -f backup.sql SELECT pg_start_backup('test', false, false); ¥! cp -a /pgdata/data /backup SELECT pg_file_write('/tmp/backup_label', labelfile, false), pg_file_write('/tmp/tablespace_map', spcmapfile, false) FROM pg_stop_backup(false); ¥! mv /tmp/backup_label /tmp/tablespace_map /backup/data 排他モード非排他モード・同一セッション内でpg_start_backupと pg_stop_backupを簡単に実行できるように、バックアップのすべての操作をpsql内で実行する・OSコマンドはpsqlメタコマンドの¥!を介して実行・pg_stop_backupからのbackup_labelと tablespace_mapの作成には、 pg_file_write関数を使う・pg_file_write関数を使うにはadminpackのエクステンションをCREATE EXTENSIONする必要がある(セキュリティ上の問題がないかは要確認)

オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン 発表資料）

More Related Content

What's hot

Similar to オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン 発表資料）

More from NTT DATA Technology & Innovation

Recently uploaded