Вообще если соелдинение не закрывать то оно должно зарыться по finallize, когда GC вычищает объекты. В том дампе памяти который ты высылал есть сообщение на 142 ссылки из JNI.
Финалайзеры при выходе из JVM не запускаются по дефолту... См. System.runFinalizersOnExit(boolean), кстати метод депрекейтнутый - правильно есть писать свои shutdown-хэндлеры.
Роман
