问题的出现:使用idea进行Spark开发的时候报错

个人遇到的报错

  1. scala.util.matching.Regex.(Ljava/lang/String;Lscala/collection/Seq;)V
  2. java.lang.VerifyError: class scala.collection.mutable.WrappedArray overrides final method toBuffer.

个人出现这个问题是由于Spark和Scala版本不一致导致的。Spark版本后面的数字是Scala的版本号,感觉Scala这块向后兼容做的不太好。

很多的人的解决方法是直接在idea的project structureGlobal Libraries中直接更换Scala version 以为解决掉了。然而并没有。实际上,可以看到Scala version的版本虽然变了。但是Compiler classpath中的jar包并没有变。

  1. 在+号这里选择Scala Sdk在这里插入图片描述
  2. 选择download的版本
    在这里插入图片描述
    然后删掉你以前的版本。留下和Spark匹配的版本,完美解决~~
    在这里插入图片描述
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐