我遇到并解决的spark相关问题

spark ： IT

Task not serializable

因为我将spark与spring整合在一起，会报序列化的问题，可在对应service里实现io的序列化接口，或在声明service的地方使用transient修饰，如

@Autowired
private transient SparkConfig sparkConfig; // spark

No configuration setting found for key 'akka.version'

spark的jar包不能通过java -jar xxx.jar来执行，需通过spark-submit来执行

Caused by: java.lang.ClassNotFoundException:com.fasterxml.jackson.databind.type.ReferenceType

maven添加相关依赖

<dependency>
    <groupId>com.madgag</groupId>
    <artifactId>bfg</artifactId>
    <version>1.12.5</version>
</dependency>

scala.runtime.BooleanRef.create(Z)Lscala/runtime/BooleanRef

scala版本号的问题，我的是因为项目有个dl4j的依赖里使用了scala的2.11版本，而我本地和测试环境上使用的是2.10版本，所以报错，将版本号统一即可