博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
flume常见报错记录
阅读量:4171 次
发布时间:2019-05-26

本文共 1018 字,大约阅读时间需要 3 分钟。

1.java.nio.channels.ClosedChannelException Unexpected exception from downstream

一般来说,这种错误是source往channel写入数据时错误才有的异常,因此只需根据实际情况去处理就行。但有另一种错误,我们配置zabbix监控flume端口时,会每隔固定时间往source端口建立一个tcp连接。查看NettyServer这样的配置后发现应用的数据是正常接收的,但flume.log日志会不停的打印ClosedChannelException,但实际并不影响其他数据的接收。

通过查看报错的堆栈信息,可以看到该报错出现在Netty 自带的ZlibEncoder编码器,在Handler处理 downstream流处理时间时,触发异常。
在这里插入图片描述

2.org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 75813348829 items! Connection closed.

这个异常,是配置错误导致的。遇到有两种情况会有该异常,一种是组件之间关系写错,如名为s1的sink用的是c1的channel,但被错误的写成不存在的c2,就会有该错。第二种是source接收的是字符串类型的数据,而配置成接收序列化后的数据avro,则会报这种异常,因此只需将source type改成 netcat即可。

在这里插入图片描述
错误很明显,对于netcat字符串型的数据,若是按avro的方式去反序列化,则得出的listSize远大于avro序列化的数据。

3.BadCheckpointException:Configured capacity is 20000 but the checkpoint file capacity is 200000

该异常原因是检查点文件太大了,因此备份检查点甚至删除检查点文件即可。

4.ChannelException

在flume运行期间,某时刻经常抛出ChannelException异常,说明channel的容量达到上限,说明chnanel的分配低于数据写入的速度或者Sink组件消耗Channel中数据的速度不够快。虽然抛出异常导致程序重复执行并不会丢失数据,也因重新考虑flume能力,增加Sink,Channel。

转载地址:http://nfkai.baihongyu.com/

你可能感兴趣的文章
Yocto tips (2): Yocto Linux内核编译目录在哪?
查看>>
Yocto tips (3): Yocto 如何重新编译Linux内核与dtb,并放到deploy目录?
查看>>
Yocto tips (4): Yocto 如何确定(找到)一个包的名字
查看>>
start kernel 之后没有任何输出与uboot无法将bootargs传入内核的调查方法与解决之道
查看>>
Yocto tips (5): Yocto如何更改source code的下载与git clone地址
查看>>
Yocto tips (7): Yocto Bitbake的clean与cleanall以及cleansstate的区别
查看>>
Yocto tips (19): Yocto SDK Toolchian的使用
查看>>
Yocto i.MX6 (TQIMX6) (04) : 使用mjpg-streamer做一个WebCam Server
查看>>
Nexus 7 Cyanogenmod OS Compile and errors
查看>>
Yocto tips (20): Yocto中qemu模拟器的使用,以zynq Cortex-A9为例
查看>>
打造嵌入式ARM Linux防火墙:1. iptables基础
查看>>
4G模块SIMCOM7100 LTE在ARM Linux下使用PPPD上网
查看>>
为小米4与小米3 Mi3 Mi4编译Cyanogenmod 12.1与13.0 (CM12与CM13) 的步骤以及错误解决
查看>>
原生Android系统的第一次开机google验证的解决
查看>>
S5P4418与S5P6618的Android boot.img的解压与压缩, Sparse ext4文件系统
查看>>
【EVB-335X-II试用体验】 u-boot与kernel的编译以及本地repo的建立
查看>>
【EVB-335X-II试用体验】 上手试用与资源使用
查看>>
【EVB-335X-II试用体验】 Yocto环境的建立及Rootfs的构建与使用
查看>>
<<C++程序设计原理与实践>>粗读--chapter0 chapter1 chapter2
查看>>
<<C++程序设计原理与实践>>粗读--chapter3 chapter4 Chapter5
查看>>