私のお気に入りのPostgreSQL拡張機能-パート2-

pgAuditの公式ドキュメントでは、すべてのPostgreSQLリリースで導入された新機能をサポートするために、PostgreSQLのメジャーバージョンごとに個別のバージョンのpgAuditが存在すると説明されています。このデモのPostgreSQLのバージョンは11であるため、pgAuditのバージョンは1.3.Xブランチのものになります。 pgaudit.logは、ログに記録されるステートメントのクラスを制御するために設定される基本的なパラメーターです。これは、セッションレベルのSETを使用して、またはグローバルに適用されるpostgresql.confファイル内で設定できます。

postgres=# set pgaudit.log = 'read, write, role, ddl, misc';

SET



cat $PGDATA/pgaudit.log

pgaudit.log = 'read, write, role, ddl, misc'



db_replica=# show pgaudit.log;

         pgaudit.log

------------------------------

 read, write, role, ddl, misc

(1 row)



2020-01-29 22:51:49.289 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,3,1,MISC,SHOW,,,show pgaudit.log;,<not logged>



db_replica=# create table t1 (f1 integer, f2 varchar);

CREATE TABLE



2020-01-29 22:52:08.327 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,4,1,DDL,CREATE TABLE,,,"create table t1 (f1 integer, f2 varchar);",<not logged>



db_replica=#  insert into t1 values (1,'one');

INSERT 0 1

db_replica=#  insert into t1 values (2,'two');

INSERT 0 1

db_replica=#  insert into t1 values (3,'three');

INSERT 0 1

2020-01-29 22:52:19.261 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,5,1,WRITE,INSERT,,,"insert into t1 values (1,'one');",<not logged>

20-01-29 22:52:38.145 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,6,1,WRITE,INSERT,,,"insert into t1 values (2,'two');",<not logged>

2020-01-29 22:52:44.988 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,7,1,WRITE,INSERT,,,"insert into t1 values (3,'three');",<not logged>



db_replica=# select * from t1 where f1 >= 2;

 f1 |  f2

----+-------

  2 | two

  3 | three

(2 rows)



2020-01-29 22:53:09.161 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,9,1,READ,SELECT,,,select * from t1 where f1 >= 2;,<not logged>



db_replica=# grant select on t1 to usr_replica;

GRANT



2020-01-29 22:54:25.283 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,13,1,ROLE,GRANT,,,grant select on t1 to usr_replica;,<not logged>



db_replica=# alter table t1 add f3 date;

ALTER TABLE



2020-01-29 22:55:17.440 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,23,1,DDL,ALTER TABLE,,,alter table t1 add f3 date;,<not logged>



db_replica=# checkpoint;

CHECKPOINT



2020-01-29 22:55:50.349 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,33,1,MISC,CHECKPOINT,,,checkpoint;,<not logged>



db_replica=# vacuum t1;

VACUUM



2020-01-29 22:56:03.007 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,34,1,MISC,VACUUM,,,vacuum t1;,<not logged>



db_replica=# show log_statement;

 log_statement

---------------

 none



2020-01-29 22:56:14.740 AEDT 4710 db_replica postgres [local] psql LOG:  AUDIT: SESSION,36,1,MISC,SHOW,,,show log_statement;,<not logged>

上記のデモに示されているように、ログエントリは、パラメータlog_statementが設定されている場合にのみサーバーのバックグラウンドログファイルに書き込まれますが、この場合は構成されていませんが、監査メッセージはvirtueによって書き込まれます。デモで証明されているようにpgaudit.logパラメータの。 PostgreSQL内のすべてのデータベース監査要件を満たすために利用できるより強力なオプションがあります。これは、ここまたはgithubリポジトリのpgauditの公式ドキュメントに従って構成できます。pg_repack

これは、PostgreSQLクラスターの一般的な状態の管理と維持に直接関与している多くのPostgreSQLエンジニアの間で人気のある拡張機能です。その理由については後で説明しますが、この拡張機能は、データベースの再編成を必要とする非常に大規模なPostgreSQLデータベースクラスターの厄介な懸念の1つである、PostgreSQLデータベース内のデータベースの肥大化を取り除く機能を提供します。

PostgreSQLデータベースは絶え間なく大量の書き込み（更新と削除）を受けるため、新しいバージョンの行が挿入されている間、古いデータは削除済みとしてマークされますが、古いデータは実際にはデータブロック。これには、バキュームと呼ばれる定期的なメンテナンス操作が必要です。これは、「削除済みとしてマークされた」行をすべてクリアするバックグラウンドで実行される自動化された手順です。このプロセスは、口語的にガベージコレクションと呼ばれることもあります。

バキューム処理は、通常、忙しい時間帯のデータベース操作に取って代わられます。データベース操作を優先する最も制限の少ないバキューム方法では、「削除済みとしてマークされた」行が多数発生し、データベースが「データベースの肥大化」と呼ばれる不均衡に成長します。 VACUUM FULLと呼ばれる強力なバキューム処理がありますが、その結果、処理中のデータベースオブジェクトの排他ロックが取得され、そのオブジェクトのデータベース操作が停止します。

pg_repack

pg_repackは、通常のバキュームプロセスの役割を果たしますが、データベースの排他ロックを取得しないことでVACUUM FULLの効率を提供するため、PostgreSQLDBAおよびエンジニアの間でヒットしているのはこのためです。オブジェクト、要するに、それはオンラインで動作します。ここの公式ドキュメントでは、データベースを再編成する他の方法について詳しく説明していますが、以下の簡単なデモでは、理解を深めるために適切な状況を説明します。ターゲットテーブルには、PRIMARY KEYとして定義された少なくとも1つの列が必要です。これは、ほとんどの本番データベース設定の一般的な基準です。

mydb=# CREATE EXTENSION pg_repack;

CREATE EXTENSION



mydb=# create table t1 (no integer primary key, f_name VARCHAR(20), l_name VARCHAR(20), d_o_b date);

CREATE TABLE

mydb=# insert into t1 (select generate_series(1,1000000,1),'a'||

mydb(# generate_series(1,1000000,1),'a'||generate_series(1000000,1,-1),

mydb(# cast( now() - '1 year'::interval * random()  as date ));

INSERT 0 1000000



mydb=# SELECT pg_size_pretty( pg_total_relation_size('t1'));

 pg_size_pretty

----------------

 71 MB

(1 row)



mydb=# CREATE or replace FUNCTION delete5() RETURNS void AS $$

mydb$# declare

mydb$# counter integer := 0;

mydb$# BEGIN

mydb$#

mydb$#  while counter <= 1000000

mydb$# loop

mydb$# delete from t1 where no=counter;

mydb$# counter := counter + 5;

mydb$# END LOOP;

mydb$# END;

mydb$# $$ LANGUAGE plpgsql;

CREATE FUNCTION

mydb=# select delete5();

 delete5

------



(1 row)

mydb=# SELECT pg_size_pretty( pg_total_relation_size('t1'));

 pg_size_pretty

----------------

 71 MB

(1 row)



$ pg_repack -t t1 -N -n -d mydb -p 5433

INFO: Dry run enabled, not executing repack

INFO: repacking table "public.t1"



$ pg_repack -t t1 -n -d mydb -p 5433

INFO: repacking table "public.t1"



mydb=# SELECT pg_size_pretty( pg_total_relation_size('t1'));

 pg_size_pretty

----------------

 57 MB

(1 row)

olap=# CREATE EXTENSION hypopg;

CREATE EXTENSION



olap=# CREATE TABLE stock (id integer, line text);

CREATE TABLE



olap=# INSERT INTO stock SELECT i, 'line ' || i FROM generate_series(1, 100000) i;

INSERT 0 100000



olap=# ANALYZE STOCK;

ANALYZE



olap=#  EXPLAIN SELECT line FROM stock WHERE id = 1;

                       QUERY PLAN

---------------------------------------------------------

 Seq Scan on stock  (cost=0.00..1791.00 rows=1 width=10)

   Filter: (id = 1)

(2 rows)

olap=# SELECT * FROM hypopg_create_index('CREATE INDEX ON stock (id)') ;

 indexrelid |       indexname

------------+-----------------------

      25398 | <25398>btree_stock_id

(1 row)



olap=# EXPLAIN SELECT line FROM stock WHERE id = 1;

                                     QUERY PLAN

------------------------------------------------------------------------------------

 Index Scan using <25398>btree_stock_id on stock  (cost=0.04..8.06 rows=1 width=10)

   Index Cond: (id = 1)

(2 rows)



olap=# EXPLAIN ANALYZE SELECT line FROM stock WHERE id = 1;

                                             QUERY PLAN

----------------------------------------------------------------------------------------------------

 Seq Scan on stock  (cost=0.00..1791.00 rows=1 width=10) (actual time=0.028..41.877 rows=1 loops=1)

   Filter: (id = 1)

   Rows Removed by Filter: 99999

 Planning time: 0.057 ms

 Execution time: 41.902 ms

(5 rows)



olap=# SELECT indexname, pg_size_pretty(hypopg_relation_size(indexrelid))

olap-#   FROM hypopg_list_indexes() ;

       indexname       | pg_size_pretty

-----------------------+----------------

 <25398>btree_stock_id | 2544 kB

(1 row)



olap=# SELECT pg_size_pretty(pg_relation_size('stock'));

 pg_size_pretty

----------------

 4328 kB

(1 row)