使用postgres_fdw 串接elasticsearch fdw
目的很简单，主要还是elasticsearch fdw 的镜像太大，为了减少all-in-one 的大小，实现一个层级的数据模型
环境准备
- docker-compose 文件
version: "3"
services:
elasticsearch:
image: elasticsearch:7.6.0
environment:
- "discovery.type=single-node"
- "http.host=0.0.0.0"
- "=odfe-cluster"
- "transport.host=0.0.0.0"
- "network.host=0.0.0.0"
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ports:
- 9200:9200
psotgres-fdw:
image: dalongrong/pg-es-fdw:11
ports:
- "5432:5432"
environment:
- "POSTGRES_PASSWORD=dalong"
pg:
image: dalongrong/pgspider:pg_cron
ports:
- "5433:5432"
environment:
- "POSTGRES_PASSWORD=dalong"
- 启动服务
docker-compose up -d
集成elasticsearch fdw 以及postgres_fdw
- 说明
postgres-fdw 服务为pg 11 版本的es 扩展，主要为了集成es，pg 服务为包含了postgres_fdw pg_cron，扩展以及pgspider
pg 服务通过postgres_fdw 集成包含了elasticsearch fdw 扩展的服务 - 配置elasticsearch fdw 扩展
// 创建扩展
CREATE EXTENSION multicorn;
// 创建server
CREATE SERVER multicorn_es FOREIGN DATA WRAPPER multicorn
OPTIONS (
wrapper 'pg_es_fdw.ElasticsearchFDW'
);
// 创建外部表
CREATE FOREIGN TABLE articles_es
(
id BIGINT,
title TEXT,
body TEXT,
query TEXT,
score NUMERIC
)
SERVER multicorn_es
OPTIONS
(
host 'elasticsearch',
port '9200',
index 'article-index',
type 'article',
rowid_column 'id',
query_column 'query',
score_column 'score',
timeout '20'
)
;
// insert 数据
INSERT INTO articles_es
(
id,
title,
body
)
VALUES
(
1,
'foo',
'spike'
);
效果 
- pg 服务 集成elasticsearch fdw
通过postgres_fdw 集成elasticsearch fdw
// 创建扩展
create extension postgres_fdw;
// 创建server
CREATE SERVER pg_server
FOREIGN DATA WRAPPER postgres_fdw
OPTIONS (host 'psotgres-fdw', dbname 'postgres');
// 创建用户映射
CREATE USER MAPPING FOR postgres
SERVER pg_server
OPTIONS (user 'postgres', password 'dalong');
// 创建schema
CREATE SCHEMA app;
// 导入schema
IMPORT FOREIGN SCHEMA public
FROM SERVER pg_server
INTO app;
// 数据查询
select * from app.articles_es;
效果 
说明
通过各种fdw 的集成我们可以灵活的进行数据的聚合处理，同时结合 pg_cron可以做一些简单的数据任务处理
