flink虚拟内存不足

Sat, 03 Aug 2024 00:00:00 +0000

1.现象

flink任务提交任务虚拟内存不足导致的失败

Container [pid=3007,containerID=container_1599018748796_0004_01_000004] is  
running 342252032B beyond the 'VIRTUAL' memory limit. Current usage: 416.0 MB  
of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used.  
Killing container.

2.原因

因为yarn强制检查虚拟内存是否符合配置导致的，当我们的服务器或者虚拟机的内存达不到配置要求，可能就会报这个错误。

3.解决

修改检查虚拟内存的属性为false

<property>  
	<name>yarn.nodemanager.vmem-check-enabled</name>  
	<value>false</value>  
</property>

flink查看stdout日志

Sat, 20 Jul 2024 00:00:00 +0000

问题:

flink的web管理界面在日志过大时无法加载且无法下载

解决:

复制该任务task manager的container编号 container_e01_1675618892497_0264_01_000003
远程登录该task manager所在服务器
使用命令查询进程 ps -ef | grep taskmanager | grep -v "bash -c" |grep container_e01_1675618892497_0264_01_000003
进入该目录
各文件用途 taskmanager.out：业务侧的输出文件，该文件中的内容一般是业务代码中，使用算子的print()方法或者使用java的System.out.print()产生的内容，与前台的taskmanager输出打印内容一致
taskmanager.log就是运行中的taskmanager的日志
taskmanager.err ：taskmanager中出错时候的异常信息
gc.log.x.current：taskmanager的gc日志

Flink on LeoChu Space

flink虚拟内存不足

1.现象

2.原因

3.解决

flink查看stdout日志

问题:

解决: