poiché la radice quadrata di 4 è 2 e i numeri tra 4 e 2 sono infiniti, non dovrebbe esserci un numero che elevato alla seconda risulta infinito e che quindi l'infinito ha una radice quadrata?

Se si eleva alla seconda l'ultimo numero calcolabile (esiste?) si ottiene l'infinito?

Non esiste l'ultimo numero calcolabile, proprio per il concetto di infinito e per il fatto che, essendo i numeri inventati (sebbene la matematica funzioni), posso sempre aggiungere un numero all'ultimo immaginato*. Ovviamente il quadrato di un numero non è infinito, può essere enorme, ma non infinito.
Questo ci porta negare che esista la radice quadrata di infinito nel senso in cui è stata descritta da voi. I numeri tra 2 e 4 sono infiniti, ma quando scelgo un numero, proprio perché è stato scelto, è definito.
Un'altra cosa riguarda i numeri come radice quadrata di due, che è infinito, essendo irrazionale.

* ad esempio se scrivo un numero molto grande come il raggio dell'Universo conosciuto: 46 miliardi di anni luce, posso sempre scrivere un numero tipo 46 e 1 miliardo di anni luce, o 46 miliardi e 1 anno luce.

il concetto di infinito
(non è super facile, ma non è male. Mi aspetto molte domande di chiarimenti)

ancora sull'infinito

Sui numeri irrazionali

Pitagora e i numeri irrazionali

Il quadrato perfetto

Il quadrato dei numeri