paimon维表join注意事项之 insert overwrite:

paimon维表join测试(flink1.18.1 paimon0.9.0):
    维表:
        insert into 更新维表主键表     // flink感知
        delete from 删除维表主键      // flink感知
        insert overwrite(主键表 非分区表 没开动态分区覆盖):
            insert overwrite   (维表 新增主键是否感知)                    // flink不感知
            insert overwrite   (维表 被overwrite删除的主键是否感知)         // flink不感知
            随后 手动compact后(spark CALL sys.compact(table => 'dim_test1')):  依然不感知本次insert overwrite产生的删除和更新效果.
            随后 insert into 新数据: 依然不感知本次insert overwrite产生的删除和更新效果.
总结:
    如果paimon表做flink维表. paimon表使用离线更新,那么不要使用insert overwrite. 可使用insert into,merge into 等.

DDL添加下面参数解决:

'delete.force-produce-changelog'='true','streaming-read-overwrite'='true'