问题描述:在同一个tm里面,flink cdc的任务超过20个后就显示连接池满。
解决方案:可以通过修改Flink CDC任务的配置来解决这个问题,具体操作如下:
1、修改并行度
当Flink CDC任务的并行度设置得过高时,可能会导致连接池满的问题,可以尝试降低Flink CDC任务的并行度,在Flink的配置文件中,找到taskmanager.numberOfTaskSlots
参数,将其值适当降低,将其设置为20。
2、增加连接池大小
当Flink CDC任务的并发量较大时,可能会导致连接池满的问题,可以尝试增加连接池的大小,在Flink的配置文件中,找到taskmanager.network.numberOfBuffers
参数,将其值适当增加,将其设置为1024。
3、调整网络缓冲区大小
当Flink CDC任务的网络缓冲区设置得过小时,可能会导致连接池满的问题,可以尝试调整网络缓冲区的大小,在Flink的配置文件中,找到taskmanager.network.buffersize
参数,将其值适当增加,将其设置为65536。
4、调整TCP连接超时时间
当Flink CDC任务的TCP连接超时时间设置得过短时,可能会导致连接池满的问题,可以尝试调整TCP连接超时时间,在Flink的配置文件中,找到taskmanager.network.netty.ioThreads
参数,将其值适当增加,将其设置为200。
通过以上配置调整,可以有效地解决Flink CDC任务连接池满的问题。
原创文章,作者:K-seo,如若转载,请注明出处:https://www.kdun.cn/ask/481027.html