Apache SeaTunnel 9月份社区发展记录
各位热爱 SeaTunnel 的小伙伴们,9月份社区月报来啦!这里将定期更新SeaTunnel社区每个月的重大进展,欢迎关注!
月度Merge Stars
感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):
@ZhangWeike2000,@wuchunfu,@chl-wxp,@hawk9821,@happyboy1024,@jiamin13579,@CosmosNi,@EricJoy2048,@arshadmohammad,@liunaijie,@sunxiaojian,@BilwaST,@PeppaPage,@hailin0,@FuYouJ,@loustler,@corgy-w,@Zuhdan,@Carl-Zhou-CN,@Cheun99,@Hisoka-X,@zhangshenghang,@dailai,@liugddx
apache/seatunnel仓库
fix
- [hotfix]修复Docker镜像构建脚本 @liunaijie
- [Fix]调整Docker镜像发布设置 @liunaijie
- [Fix][Zeta]如果Zeta不是TCP发现的一部分,它将无法找到其他成员 @loustler
- [Fix][CI]在提交PR时,修复CI损失文档检查问题 @Hisoka-X
- [Hotfix][ci]修复GitHub CI许可证头部错误 @hawk9821
- [ [Fix][Connector-V2]使用 JDK 11 时,遇到错误 "package sun.security.krb5 does not exist" 并尝试修复 Iceberg 的问题。 ]( https://github.com/apache/seatunnel/pull/7734 " [Fix][Connector-V2]使用 JDK 11 时,遇到错误 "package sun.security.krb5 does not exist" 并尝试修复 Iceberg 的问题。 ") @sunxiaojian
- [Hotfix][Connector-V2]在冰川sinkwriter的任务关闭时释放资源 @dailai
- [Fix][Connecotr-V2]修复Paimon动态桶表在主键中不是第一项 @hawk9821
- [Hotfix][Connector-V2]即使任务崩溃,也要释放Paimon目标相关的资源 @dailai
- [Fix][Connector-V2]修复Paimon的端到端错误 @hawk9821
- [ [Fix][CI]为了解决CI错误,请添加文档同步。请注意,Apache SeaTunnel的"fix"和"feature"保持不变,不进行翻译。 ]( https://github.com/apache/seatunnel/pull/7720 " [Fix][CI]为了解决CI错误,请添加文档同步。请注意,Apache SeaTunnel的"fix"和"feature"保持不变,不进行翻译。 ") @zhangshenghang
- [Fix][Connector-V2]修复HTTP源无法读取流 @CosmosNi
- [Fix][Connector-V2]修复已知的目录创建和删除忽略问题 @corgy-w
- [Fix][Connector-V2]修复JDBC测试用例失败 @Hisoka-X
- [Hotfix][Core]修复MultiTableSink#PrepareCommit时的并发异常 @hailin0
- [Fix][Connector-V2]关于Apache SeaTunnel的Iceberg sink修复无法处理大写字段 @sunxiaojian
- [Fix][Connector-V2]修复某些可抛出异常未被捕获的问题 @Hisoka-X
- [Fix][Connector-v2]在JdbcCatalog的SQL查询中,对于表或数据库存在查询时抛出异常 @dailai
- [Hotfix][CDC]在配置multi_table_sink_replica时,修复DDL重复执行错误 @hailin0
- [Fix]修复Oracle查询表,将'char'改为'varchar'长度 @chl-wxp
- [Fix][Transforms-V2]修复LLM转换无法解析布尔值类型 @hawk9821
- [Hotfix]修复Iceberg在创建表时缺失列注释的问题 @hailin0
- [Fix][Document]修正PostgreSQL-CDC文档中的拼写错误 @Zuhdan
- [Fix][Common]修复Paimon 沉淀时的CommonError消息 @dailai
- [Hotfix][Connector-v2]修复connector-mongodb中的ClassCastException @dailai
- [Fix][JDBC]解决Starrocks JDBC方言目录与Starrocks连接器之间的冲突 @liunaijie
- [Fix][Test]修复FixSlotResourceTest不稳定的问题 @liunaijie
- [Fix][E2E]远程加载驱动程序忽略了证书 @hawk9821
- [Fix][Document]修复文档构建错误 @Hisoka-X
- [Hotfix][Connector-v2]修复jdbc oracle中使用table_list时出现的NullPointerException。 @dailai
improve
- [Improve][E2E]将Doris镜像更新至官方版本 @hawk9821
- [Improve][Spark]将数组类型转换为精确类型 @corgy-w
- [Improve][Connector-v2]移除无用的代码,并为paimon 沉淀添加变更日志文档。 @dailai
- [Improve][doc]优化startrocks sink文档 @jiamin13579
- [Improve][Doc]将日志添加到sidebars.js @Hisoka-X
- [Improve][Docs]为流式模式的Doris源添加调优指南 @dailai
- [Improve][Doc]优化引擎部署文档,针对跳过部署客户端 @Hisoka-X
- [Improve][Doc]Apache SeaTunnel 使用文档更新 @Carl-Zhou-CN
- [Improve][CI]将paimon移入单一任务 @Hisoka-X
- [Improve][Transform]优化内部SQL查询以适应映射字段类型 @liunaijie
- [Improve][Zeta]为尝试触发待检查点时记录日志,因为服务器的时间可能出错。 @dailai
- [Improve][Connector-V2]优化SQLServer包结构 @corgy-w
- [Feature][Flink]支持多张表的读取和写入 @PeppaPage
- [Feature][Zeta][Core]支持作业输出日志文件 @hailin0
- [Improve][Doc]添加一些连接器图标 @zhangshenghang
- [Improve][Core]配置变量更新文档和添加测试案例 @zhangshenghang
- [Feature][Connector-V2]SQL Server 支持用户自定义类型 @Hisoka-X
- [Improve][doc]修复Hive sink文档 @jiamin13579
- [Improve][Connector-V2]优化milvus代码 @corgy-w
- [Feature][Connector-V2]断言支持多表检查 @Hisoka-X
- [Feature][Connector-v2]支持Paimon的流式读取 @dailai
- [Feature][Connector-V2]关于Apache SeaTunnel的JDBC SAP HANA源表路径支持视图和同义词 @chl-wxp
- [Feature][Connector-V2]SFTP文件汇支持多表保存及模式 @chl-wxp
- [improve][Redis]Redis scan 命令支持的版本包括5、6、7。 @FuYouJ
- [Feature][Connector-V2]FTP文件汇支持多个表和保存模式 @chl-wxp
- [Feature][Connector-V2]优化Hudi 沉淀 @happyboy1024
- [Improve] [Connector-V2]优化milvus-connector配置代码 @corgy-w
- [Improve][Jdbc]对于 Jdbc 的 truncate table 操作,应该检查的是表而不是数据库。 @Hisoka-X
- [Feature][Rest Api]额外的REST API文档。 @liugddx
- [Improve][Iceberg]添加savemode创建表主键测试案例 @hailin0
- [Feature][Transforms-V2]LLM 转换支持自定义字段名称 @hawk9821
- [Improve][Connector-V2]时间支持默认值 @corgy-w
- [Improve][Connector-V2]支持读取归档压缩文件 @corgy-w
- [Improve][Document]重构作业环境配置文档 @Hisoka-X
- [Feature][Transforms-V2]LLM 转换支持 KimiAI @hawk9821
- [Improve][Doc]为MySQL-CDC模式添加文档说明 @dailai
- [Improve][Document]为作业配置文件后缀添加提醒 @Hisoka-X
- [Improve][doc]修复的遥测文档 @corgy-w
- [Feature][Transforms-V2]LLM转支持字段投影 @hawk9821
- [Feature][REST-API]添加threaddump rest api @liugddx
- [Feature][Core]取消任务批处理命令 @zhangshenghang
- [Improve][Docs]资源隔离 添加 更新 节点标签 链接 @Cheun99
- [Feature][kafka]为间隔轮询消息添加参数 arg poll.timeout @CosmosNi
- [Feature][rest-api]是否添加主节点标识符 @liugddx
- [Improve][Transform-v2]重构一个从FilterFieldTransform来的transformRow @loustler
- [Improve][Docs]在sql-config中为一个关键词添加使用方法 @dailai
- [Improve][Connector-V2]Flink 支持嵌入式转换 @corgy-w
- [Improve][Transform]LLM 转换支持 Doubao @corgy-w
- [Improve][Zeta]拆分任务组的类加载器 @Hisoka-X
- [Improve][Test][Connector-V2][MongoDB]为BsonToRowDataConverters添加几个测试用例 @loustler
- [Improve][Document]更新jar下载链接和侧边栏格式 @Hisoka-X
- [Improve][Connector-V2][MongoDB]一个BsonInt32将被转换为long类型 @loustler
- [Feature][zeta]支持通过Prometheus exporter协议暴露监控指标 @corgy-w
- [Feature]支持配置变量替换,具有默认值 @zhangshenghang
- [Feature][Connector-V2]Apache SeaTunnel Paimon Sink 支持清空表 @hawk9821
- [Improve][Connector-v2]针对Paimon 沉淀,在大小写敏感情况下优化异常消息 @dailai
- [Improve][Document]优化快速开始和从源代码构建 @Hisoka-X
- [Feature][Zeta]为节点添加REST API以更新标签 @Cheun99
- [Feature][Transform]添加嵌入式转换 @corgy-w
- [Improve][Transform]在jsonpath转换中支持errorHandleWay @hailin0
- [Feature][Connector-V2][Hbase]实现HBase目录 @zhangshenghang
- [Feature][Elastic search]支持多表源特性 @FuYouJ
- [Feature][Zeta]支持slf4j mdc跟踪作业ID输出到日志 @hailin0
- [Feature][Connector-V2]支持TiDB CDC连接器源 @sunxiaojian
others
- [Docs]更新 动态编译 文档 @liunaijie
- [Doc]修复文档符号转义错误 @zhangshenghang
- [Chore]代码规范调整 @ZhangWeike2000
- [Chore]在zeta示例日志中输出job-id @hailin0
- [Docs][kafka]添加kafka protobuf文档 @zhangshenghang
- [Docs]添加Docker集群指南 @liunaijie
apache/seatunnel
improve
- [Feature][Connector-Paimon]支持动态桶划分提升Paimon写入效率 @hawk9821
- [Improve][EventService]改进事件代码并将事件代码提取到EventService @EricJoy2048
- [Improve][Kafka]Apache SeaTunnel 的 Kafka 源重构了一些读者的读取逻辑 @Carl-Zhou-CN
apache/seatunnel-website仓库
fix
- [Fix]无法导入图标 @Hisoka-X
- [Fix]在使用深色模式时,修复团队标题难以注意到 @Hisoka-X
- [Fix]在使用深色模式时,修复团队标题难以注意到 @Hisoka-X
improve
- [Improve]更新favicon.ico @Hisoka-X
- [Improve]支持深色模式 @Hisoka-X
- [Improve]移除导师标签,因为SeaTunnel属于TLP。 @Hisoka-X
others
- 添加文档卡片 @zhangshenghang
apache/seatunnel-web仓库
fix
- [Bug][Seatunnel-web][DB2]由于不正确地使用数据库和模式名称,DB2 数据源失败。 @arshadmohammad
- [Bug][Seatunnel-web][Hive]在尝试使用Hive连接器保存作业时发生了错误。 @arshadmohammad
- [Bug] [Seatunnel-web][Hive]在配置Hive源时,Hive数据源没有出现在UI中。 @arshadmohammad
- [Bug] [Seatunnel-web] [Metrics]从seatunnel-engine获取指标时出现NPE。 @arshadmohammad
- [Bug][Seatunnel-web]任务实例过滤器没有按预期工作 @arshadmohammad
- [Bug] [Seatunnel-web]作业模式是硬编码的,作业创建API始终创建BATCH作业 @arshadmohammad
- [ [Bug] [Seatunnel-web]当传递作业模式时,"/seatunnel/api/v1/job/definition" 的 GET 请求失败。 ]( https://github.com/apache/seatunnel-web/pull/201 " [Bug] [Seatunnel-web]当传递作业模式时,"/seatunnel/api/v1/job/definition" 的 GET 请求失败。 ") @arshadmohammad
- [Bug] [Seatunnel-web]Apache SeaTunnel的作业实例删除功能无法正常使用 @arshadmohammad
improve
- [Improvement][Seatunnel-web]在集成测试中支持H2数据库 @arshadmohammad
- [Improvement][Seatunnel-web][Hive-JDBC]将Hive-JDBC添加到seatunnel-web @arshadmohammad
- [Improvement][Seatunnel-web]将包com.whaleops.datasource重命名为org.apache.seatunnel @arshadmohammad
- [Improve][SeaTunnel-Web]统一使用JSONUtils @wuchunfu
- [Improve][SeaTunnel-Web]统一版本 @wuchunfu
- [Improve][SeaTunnel-Web]将JobMode和EngineType更改为枚举类型以避免硬编码 @wuchunfu
- [Improvement][Seatunnel-web]
dom4j-1.6.1.jar
存在多个CVE,更新… @BilwaST - [Feature][Seatunnel-web]在作业配置中添加支持,可以配置占位符并设置默认值。 @arshadmohammad
- [Improve]为版本2.3.8更新README.md @Hisoka-X
- [Improve][SeaTunnel-Web]将JobStatus转换为枚举类型以避免硬编码 @wuchunfu
- [Improvement] [Seatunnel-web]velocity-1.7.jar存在多个CVE漏洞,升级所有依赖此组件的maven插件。 @arshadmohammad
本文由 白鲸开源 提供发布支持!