主要有两种方法可以解决:修改jar包内部的包名或者使用自定义classloader
Flink需要导入kafka-clients来支持对kafka的生产和消费。kafka-clients0.11提供的api仅在kafka0.11、kafka0.10版本可用,如果要对kafka0.8、kafka0.9进行生产和消费,则需要使用版本相匹配的kafka-clients的jar包。但如果直接使用这些jar包会导致jar包冲突,因为里面的类名字相同且都是在相同包名下的。
org.apache.kafka kafka_${scala.binary.version} 0.11.0.0 org.apache.kafka kafka_${scala.binary.version} 0.10.2.1 org.apache.kafka kafka_${scala.binary.version} 0.9.0.1 org.apache.kafka kafka_${scala.binary.version} 0.8.2.2
像这样把所有版本的依赖引入必然会造成jar包冲突。
因此需要对jar包中的包名进行修改防止冲突。这里分别将org.apache.kafka修改为org.apache.kafka08和org.apache.kafka09。使用的工具为jarjar。