Откроется ли транзакция при вызове метода b из @Transactional метода a

Нет, транзакция не откроется повторно. Если метод b вызывается из метода a, помеченного @Transactional, то b выполнится в контексте существующей транзакции a (если b не помечен @Transactional с другими настройками).

Если b тоже помечен @Transactional, поведение зависит от propagation:

• По умолчанию (REQUIRED) - используется текущая транзакция
• REQUIRES_NEW - создаст новую транзакцию, приостановив текущую

Пример:

@Transactional
public void a() {
    b(); // Выполняется в транзакции a
}

public void b() {
    // Логика в транзакции a
}

@Transactional(propagation = Propagation.REQUIRES_NEW)
public void c() {
    // Новая транзакция
}