Нужно ли коммитить транзакцию только с SELECT запросами

Нет, коммитить транзакцию только с SELECT запросами не обязательно. SELECT-запросы не изменяют данные, поэтому транзакция в этом случае не нужна для обеспечения целостности данных. Однако, если требуется обеспечить согласованность данных (например, при повторяющихся чтениях в рамках одной логической операции), можно использовать транзакцию с уровнем изоляции READ_COMMITTED или выше.

Пример:

try (Connection conn = dataSource.getConnection()) {
    conn.setAutoCommit(false);  // Начинаем транзакцию
    try (Statement stmt = conn.createStatement()) {
        ResultSet rs = stmt.executeQuery("SELECT * FROM users");
        // Обработка результатов
    }
    // conn.commit();  // Явный коммит не обязателен
}  // Автоматический rollback при закрытии соединения