flink sql primary key

flink sql 添加主键DDL案例:

我们以mysql为例

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint, 
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;

添加主键带来的效果如下:

1、当sink表为空表时,source表的数据会全部追加到sink表。

2、当sink表中有数据时,source表的数据会把全量数据同步到sink表,并且会覆盖原有的数据。例如

在这里插入图片描述
在这里插入图片描述
同步数据之后会把相同主键的value值覆盖掉。例如
在这里插入图片描述

flink sql 不添加主键DDL案例:

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint,
  name STRING
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;

不添加主键的效果如下:

1、当sink表为空表时,会将source表的全部数据进行同步

2、当sink表中有数据时,(当mysql表中存在id为主键的情况下)不会将原有数据进行覆盖。例如:

注意:当mysql表中设置以id为主键时,不会把原有的数据覆盖,而是把没有的主键数据(增量数据)同步进来,不过这种情况会报错,原因是主键冲突。当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。
在这里插入图片描述
在这里插入图片描述
执行之后的结果表不会将原来的数据覆盖掉。如下图所示:
在这里插入图片描述

3、当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。

这里接着执行,这个数据结果就是flink DDL不加主键,mysql中也不加主键的数据结果:
在这里插入图片描述

总结:为什么会出现这样的情况是因为flink 添加primary key,导致底层触发upsert操作的原因。

以上观点纯属个人观点,如果有不对的地方,欢迎大家指正!!!