wormhole-0.6.0-beta release 更新
wormhole-0.6.0-beta release更新, 欢迎下载试用~~
链接:https://pan.baidu.com/s/1JYRJoaPy6E3u8VqGas0neg 提取码:yzgc
wormhole用户手册https://edp963.github.io/wormhole
Release Notes:
【Feature】
Wormhole支持Kerberos认证,支持全部启用kerberos认证的安全hadoop集群环境和不启用kerberos认证的hadoop集群环境,不支持部分组件启用,部分组件不启用的场景
Flinkx支持window操作(Flink SQL)
Flinkx支持聚合操作(Flink SQL)
Flinkx支持UDAF
Flinkx支持checkpoint
Flinkx支持feedback state,可选择存储位置,默认存储在ES上,可选择配置在MySQL上
Flinkx支持流上异常处理策略,包括lookup SQL,flink SQL,CEP,source parse,sink处理时的异常
【Fix Bugs】
修复hdfslog并发写文件问题
修复look up ElasticSearch问题
修复netty包冲突问题
修复类型转换时Integer与Long兼容问题
修复Look up 时SQL中字段类型匹配问题
修复rider namespace设置ums_extension类型JSON中嵌套字段对应ums_id_,ums_ts_,ums_op_系统字段时,数据解析错误问题
【Improvement】
Flow添加sink table keys设置(默认为namespace中设置的table keys)
Sparkx flow的zookeeper配置节点标识增加flowid
Rider删除feedback历史信息优化
注意!!!
(1)升级至0.6.0-beta版本需要停止所有sparkx的flow
在0.6.0-beta版本启动之前,需停止以前版本所有sparkx的flow(包括starting、running、suspending、updating状态的flow), 并记录当前stream消费到的topic offset,重启stream时,手动设定从之前记录的offset消费
(2)升级至0.6.0-beta版本还需要对数据库表进行一些更新操作,具体部署及升级步骤请参考用户手册https://edp963.github.io/wormhole/deployment.html