当前位置:网站首页>csv->Flink SQL->Clickhouse(纯DDL形式)

csv->Flink SQL->Clickhouse(纯DDL形式)

2021-01-15 23:06:47 無人島物語

概述

本文是对[1]的复现

如果照搬[1]运行,会发现

①没有报错

②Clickhouse也没有数据写入,

提交阿里云工单,扯皮了半天也不愿意帮忙解决

 

今晚吃饭的时候,有了两个想法:

①会不会是时区问题(检查流程后,发现并不是流写入,否定了这个猜想)

②SQL比较矫情,不如试试Flink SQL?

 

Flink写入Clickhouse的方式

根据[1][2]

  支持的Flink版本
flink-jdbc ≤1.10.1 
flink-connector-jdbc ≥1.11.0
flink-connector-clickhouse

我只测试了1.11的依赖包

与1.12的集群

混用的情况。

 

环境

组件 版本
Ubuntu 20.04
Flink(HA) 1.12.0
Zookeeper 3.6.0
Clickhouse 20.4.5.36

依赖包版本

(注意同步到Flink集群各个节点的$FLINK_HOME/lib下面)

flink-connector-clickhouse-1.11.0.jar

 

流程

 

详细实验步骤

 

操作步骤 操作内容 实验效果
准备好csv -
Flink SQL Client中建立source -
Flink SQL Client中建立sink -
Clickhouse客户端中建立d_sink_table -

Flink SQL Client中

通过insert语句提交任务到flink集群

Clickhouse客户端中查看flink写入的数据

上述表格中的完整操作内容如下:

https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/写入ClickHouse/csv_flink_clickhouse.sql

 

注意

①注意关闭防火墙,iptable/ufw/firewalld我不知道你用的哪种防火墙,请关掉。

②这个实验在跑通前,其实我失败了很多次,根据Exceptions中的信息来排查即可。

 

Reference:

[1]使用flink-connector-clickhouse写入ClickHouse

[2]使用JDBC connector写入ClickHouse

版权声明
本文为[無人島物語]所创,转载请带上原文链接,感谢
https://yuchi.blog.csdn.net/article/details/112688042

随机推荐