问题:ResultSetImpl.checkColumnBounds 或 ResultSetImpl.getStringInternal 中偶尔出现 NullPointerException

首先,请不要将此作为NullPointerException是什么以及如何修复它的副本关闭。我知道什么是NullPointerException,并且我知道如何在我自己的代码中解决它,但是当它被 mysql-connector-java-5.1.36-bin.jar 抛出时,我无法控制。

我们在 mySQL DB 上运行常见的 DB 查询时遇到了异常,该查询大部分时间都有效。我们在部署新版本后开始看到这个异常,但是它发生的查询很长时间没有改变。

这是查询的样子(进行了一些必要的简化)。我用之前和之后执行的一些逻辑来包围它。实际代码并非全部在一个方法中,而是我将其放在一个块中以使其更易于理解。

Connection conn = ... // the connection is open
...
for (String someID : someIDs) {
    SomeClass sc = null;
    PreparedStatement
        stmt = conn.prepareStatement ("SELECT A, B, C, D, E, F, G, H FROM T WHERE A = ?");
    stmt.setString (1, "someID");
    ResultSet res = stmt.executeQuery ();
    if (res.next ()) {
        sc = new SomeClass ();
        sc.setA (res.getString (1));
        sc.setB (res.getString (2));
        sc.setC (res.getString (3));
        sc.setD (res.getString (4));
        sc.setE (res.getString (5));
        sc.setF (res.getInt (6));
        sc.setG (res.getString (7));
        sc.setH (res.getByte (8)); // the exception is thrown here
    }
    stmt.close ();
    conn.commit ();
    if (sc != null) {
        // do some processing that involves loading other records from the
        // DB using the same connection
    }
}
conn.close();

res.getByte(8)导致NullPointerException具有以下调用堆栈:

com.mysql.jdbc.ResultSetImpl.checkColumnBounds(ResultSetImpl.java:763) com.mysql.jdbc.ResultSetImpl.getStringInternal(ResultSetImpl.java:5251) com.mysql.jdbc.ResultSetImpl.getString(ResultSetImpl.java:5173) com .mysql.jdbc.ResultSetImpl.getByte(ResultSetImpl.java:1650) org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getByte(DelegatingResultSet.java:206) org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getByte(DelegatingResultSet .java:206)

我搜索了相关 mysql-connector 版本的源代码,发现了这个(取自这里):

756 protected final void checkColumnBounds(int columnIndex) throws SQLException {
757     synchronized (checkClosed().getConnectionMutex()) {    
758         if ((columnIndex < 1)) {    
759             throw SQLError.createSQLException(    
760                   Messages.getString("ResultSet.Column_Index_out_of_range_low",    
761                   new Object[] { Integer.valueOf(columnIndex), Integer.valueOf(this.fields.length) }), SQLError.SQL_STATE_ILLEGAL_ARGUMENT,
762                   getExceptionInterceptor());   
763         } else if ((columnIndex > this.fields.length)) {    
764             throw SQLError.createSQLException(    
765                   Messages.getString("ResultSet.Column_Index_out_of_range_high",    
766                   new Object[] { Integer.valueOf(columnIndex), Integer.valueOf(this.fields.length) }), SQLError.SQL_STATE_ILLEGAL_ARGUMENT,   
767                   getExceptionInterceptor());
768         }
769
770         if (this.profileSql || this.useUsageAdvisor) {
771             this.columnUsed[columnIndex - 1] = true;
772         }
773     }
774 }

如您所见,异常发生在这一行:

} else if ((columnIndex > this.fields.length)) {   

这意味着this.fields不知何故变成了null。

我能找到的最接近的是这个问题,没有答案。

我怀疑问题不在我发布的查询中。由于我们在同一连接上运行的其他一些语句,Connection实例可能出现问题。我只能说,我们在执行完每个语句后立即关闭它并从它的ResultSet中读取数据。

编辑(2017 年 1 月 19 日):

我无法在我的开发环境中重新创建错误。我认为这可能是长时间使用同一连接时触发的一些 mysql-connector 错误。我将上述循环限制为一次最多加载 6 个元素。此外,我们将 mysql-connector 版本升级到 5.1.40。

我们仍然在ResultSetImpl中看到NullPointerExceptions,但这次是在不同的位置。

堆栈跟踪是:

com.mysql.jdbc.ResultSetImpl.getStringInternal(ResultSetImpl.java:5294) com.mysql.jdbc.ResultSetImpl.getString(ResultSetImpl.java:5151) org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getString(DelegatingResultSet.java :198) org.apache.tomcat.dbcp.dbcp2.DelegatingResultSet.getString(DelegatingResultSet.java:198)

这意味着这次异常是由于我们的一次res.getString()调用而引发的(我不知道是哪一次)。

我在这里找到了 mysql-connector-java-5.1.40-bin.jar的来源,相关代码是:

5292            // Handles timezone conversion and zero-date behavior
5293
5294            if (checkDateTypes && !this.connection.getNoDatetimeStringSync()) {
5295                switch (metadata.getSQLType()) {

这意味着this.connection为空。this.connection是一个MySQLConnection类型的实例变量,它在ResultSetImpl的构造函数中被初始化,并且仅在调用public void realClose(boolean calledExplicitly)时设置为 null(它由public void close()调用,根据源中的文档,在调用ResultSet.close()时调用它)。在读取ResultSet的所有数据之前,我们绝对不会关闭它。

任何想法如何进行?

解答

自从我发布这个问题以来已经有很长时间了,我想发布一个答案,描述导致这个棘手的NullPointerException的确切场景。

我认为这可能会帮助遇到这种令人困惑的异常的未来读者跳出框框思考,因为我几乎完全有理由怀疑这是一个 mysql 连接器错误,即使它毕竟不是。

在调查此异常时,我确信我的应用程序在尝试从中读取数据时不可能关闭数据库连接,因为我的数据库连接不是跨线程共享的,并且如果同一个线程关闭了连接然后尝试访问它,应该抛出一个不同的异常(一些SQLException)。这是我怀疑 mysql 连接器错误的主要原因。

事实证明,毕竟有两个线程访问同一个连接。这很难弄清楚的原因是这些线程之一是垃圾收集器线程。

回到我发布的代码:

Connection conn = ... // the connection is open
...
for (String someID : someIDs) {
    SomeClass sc = null;
    PreparedStatement
        stmt = conn.prepareStatement ("SELECT A, B, C, D, E, F, G, H FROM T WHERE A = ?");
    stmt.setString (1, "someID");
    ResultSet res = stmt.executeQuery ();
    if (res.next ()) {
        sc = new SomeClass ();
        sc.setA (res.getString (1));
        sc.setB (res.getString (2));
        sc.setC (res.getString (3));
        sc.setD (res.getString (4));
        sc.setE (res.getString (5));
        sc.setF (res.getInt (6));
        sc.setG (res.getString (7));
        sc.setH (res.getByte (8)); // the exception is thrown here
    }
    stmt.close ();
    conn.commit ();
    if (sc != null) {
        // do some processing that involves loading other records from the
        // DB using the same connection
    }
}
conn.close();

问题在于“进行一些处理,涉及使用相同的连接从数据库加载其他记录”部分,不幸的是,我没有在我的原始问题中包括,因为我认为问题不存在。

放大该部分,我们有:

if (sc != null) {
    ...
    someMethod (conn);
    ...
}

而someMethod看起来像这样:

public void someMethod (Connection conn) 
{
    ...
    SomeOtherClass instance = new SomeOtherClass (conn);
    ...
}

SomeOtherClass看起来是这样的(当然我这里简化了):

public class SomeOtherClass
{
    Connection conn;

    public SomeOtherClass (Connection conn) 
    {
        this.conn = conn;
    }

    protected void finalize() throws Throwable
    { 
        if (this.conn != null)
            conn.close();
    }

}

SomeOtherClass在某些场景下可能会创建自己的数据库连接,但在其他场景下可以接受现有的连接,比如我们这里的那个。

如您所见,该部分包含对someMethod的调用,该调用接受打开的连接作为参数。someMethod将连接传递给SomeOtherClass的本地实例。SomeOtherClass有一个finalize方法可以关闭连接。

现在,在someMethod返回后,instance就可以进行垃圾回收了。当它被垃圾回收时,它的finalize方法被垃圾回收线程调用,从而关闭连接。

现在我们回到 for 循环,它继续使用同一连接执行 SELECT 语句,该连接可能随时被垃圾收集器线程关闭。

如果垃圾收集器线程碰巧在应用程序线程处于某些依赖于打开连接的 mysql 连接器方法的中间时关闭了连接,则可能会出现NullPointerException。

删除finalize方法解决了这个问题。

我们通常不会在我们的类中重写finalize方法,这使得定位 bug 变得非常困难。