La graphie exhorbitant – avec un h intercalaire, par analogie avec exhorter et exhaustif – est erronée.
Il a des prétentions exorbitantes (et non exhorbitantes).
C'est l'étymologie qui nous renseigne sur l'orthographe de cet adjectif : formé du préfixe ex- (hors de) et de orbite (du latin orbita, ornière), exorbitant signifie proprement « qui sort de l'ornière, du droit chemin » (et non « qui fait sortir les yeux de leurs orbites » comme on le croit parfois, voir Remarque ci-dessous), avant de prendre le sens actuel de « qui dépasse la mesure, excessif ».
Orbite (du latin orbita, ornière) n'ayant pas de h initial, ex/orbitant n'en prend pas non plus !
Remarque : L'adjectif exorbité, quant à lui, se rattache à une autre acception d'orbite (cavité osseuse qui renferme l'œil) et ne s'emploie que dans l'expression des yeux exorbités, au sens propre (des yeux qui sortent de leurs orbites) ou au sens figuré (des yeux exorbités d'effroi).