Соединение должно быть одно или их должно быть много

В Java оптимальное количество соединений зависит от контекста. Для большинства веб-приложений лучше использовать пул соединений (HikariCP, Apache DBCP), а не одно соединение на всё приложение.

Почему пул лучше:

• Одно соединение создает bottleneck при параллельных запросах
• Пул управляет жизненным циклом соединений
• Можно настроить максимальное/минимальное количество соединений

Пример с HikariCP:

HikariConfig config = new HikariConfig();
config.setJdbcUrl("jdbc:mysql://localhost/db");
config.setUsername("user");
config.setPassword("pass");
config.setMaximumPoolSize(10); // макс соединений

HikariDataSource ds = new HikariDataSource(config);

Исключение - простые однопоточные приложения, где достаточно одного соединения. Но даже тогда лучше использовать пул с min/max=1 для стандартного управления.