1.Flink源码编译
2.盘点 35 个 Apache 顶级项目，源译我拜服了…
3.Flink 十大技术难点实战 之九 如何在 PyFlink 1.10 中自定义 Python UDF ？
4.保姆级教程！码编玩转 ChunJun 详细指南
5.Hudi 基础入门篇
6.Flink+hudi 构架沧湖一体化解决方案

Flink源码编译

       1. 下载Flink稳定版1..2，源译可以从官方下载链接获取，码编将源码同步至远程机器，源译使用Jetbrains Gateway打开。码编明日之后源码在哪能找到

       2. 以Jetbrains Gateway打开源码，源译源码目录存放于远程机器，码编它会自动解析为Maven项目。源译

       3. 注意事项：在flink-runtime-web/pom.xml文件中，码编需将部分内容替换，源译具体如下：

       确保先安装npm，码编通过命令`yum install npm`。源译否则编译过程中可能会出现错误。码编webim视频源码

       为了编译时内存充足，源译需要调整Maven设置，增加JDK可用内存。在命令行中，可以在/etc/profile中配置，或在Maven配置中指定更大的内存。

       编译命令如下，对于Jetbrains Gateway，需在Run Configurations中新增配置，调整执行参数以执行mvn install或mvn clean。

       编译完成后，每个模块目标文件夹会生成相应的文件。

       4. 接下来进行运行。源码平台模板首先启动JobManager，查看flink-runtime下的StandaloneSessionClusterEntrypoint类，配置文件目录需指定，如`--configDir configpath`，并配置日志参数。

       主类缺失时，需在IDEA的项目结构模块中给flink-runtime添加依赖，从flink-dist/target目录下添加jar包。

       修改配置文件，将允许访问的IP设置为0.0.0.0，以便外部访问。然后映射web端口，启动JobManager后可通过外部IP访问。bc源码网站

       运行TaskManager的参数与JobManager类似，启动后自动注册到JobManager，外部访问验证成功。

       源码编译与启动完成后，其他机器无需重复编译，只需在相应环境中执行预编译的可执行文件，即可实现分布式环境的Flink使用。

盘点 个 Apache 顶级项目，我拜服了…

       Apache软件基金会，全称为Apache Software Foundation（ASF），成立于年7月，是世界上最大的最受欢迎的开源软件基金会，是开盘资金源码一个非营利性组织，专门支持开源项目。

       目前，ASF旗下有超过+亿美元的价值，为开发者提供免费的开源软件和项目，惠及全球数十亿用户。

       接下来，我们将盘点Apache软件基金会旗下的个顶级项目，这些项目在日常开发过程中常常遇到，有的可能已经使用过，而有的则值得学习了解，为未来项目提供参考。

       1. Apache（/artif...获取，最新版本为0.9.0，若需0..0版本，可以加入社区群获取，或自行编译源码。执行Hudi与Flink的集成，首先确保将hudi-flink-bundle_2.-0..0.jar放置于flink/lib下，并执行bin/sql-client.sh embedded命令。

       Flink在Hudi上的应用包括新建maven工程并修改pom文件，使用代码构建实验或直接使用官网下载的Flink包构建环境。添加依赖至$FLINK_HOME/lib下，注意在寻找jar包时，CDC 2.0更新了group ID，从com.alibaba.ververica更改为com.ververica。使用Flink SQL CDC在Hudi上构建实验环境，创建MySQL CDC表与Hudi表，修改配置，设置查询模式输出为表和检查点间隔，进行输入导入和数据查询。

       在Flink CDC 2.0与Hudi集成过程中，可能会遇到卡在hoodie_stream_write的问题。解决该问题的关键在于检查点配置，设置合适的检查点间隔，以确保数据正常处理和下发。至此，Flink + Hudi 仓湖一体化方案原型构建完成，实现数据同源、高效处理与存储，满足实时与离线数据处理需求。

flink-cdc同步mysql数据到kafka

       Flink CDC技术是用于实时捕获数据库变更数据的关键工具，它记录数据表的插入、更新和删除操作，然后将这些变化以有序的方式推送到消息中间件，以支持其他服务订阅和处理。以下是如何将MySQL数据同步到Kafka的步骤。

       环境准备

       如果没有安装Hadoop，可以选择使用Flink standalone模式。

       依赖包安装

       从指定地址下载flink的依赖，特别是flink-sql-connector-mysql-cdc。初始版本为1.4，但后来发现1.3.0更适合，因为它与connector-kafka兼容性更好。对于更高版本的Flink，可以选择从github下载源码自行编译，但这里推荐使用1.3版本的jar包。

       启动Flink SQL Client

       在YARN上启动Flink application，进入flink目录并执行相关命令，然后切换到Flink SQL命令行。

       同步数据

       首先，创建一个MySQL表，并在Flink SQL中与之关联，这样操作此表就像操作MySQL表一样。接着，设置数据表与Kafka的关联，例如创建名为product_view_kafka_sink的主题，数据同步会自动触发。执行SQL同步任务后，可以在Flink web-ui中看到MySQL数据已被同步到Kafka，MySQL的插入操作将实时反映在Kafka中。

       通过Kafka控制台验证数据同步，确认数据已从MySQL成功同步至Kafka。

       参考资源

       进一步的信息可以参考ververica.github.io/fli...。