Как называется когда метод вызывает сам себя

Это называется рекурсией. Рекурсивный метод вызывает сам себя для решения задачи, разбивая её на более мелкие подзадачи.

Пример с вычислением факториала:

public int factorial(int n) {
    if (n == 0 || n == 1) { // базовый случай
        return 1;
    }
    return n * factorial(n - 1); // рекурсивный вызов
}

Важно:

• Должен быть базовый случай (условие выхода), иначе — бесконечная рекурсия и StackOverflowError.
• Рекурсия может быть менее эффективной по памяти, чем итеративный подход, из-за накопления вызовов в стеке.