L’histoire du groupe débute en 1996 quand Andre Fisher, Sven Böge et Thorsten Thrunke (ainsi que deux autres musiciens) fondèrent un combo sous le nom de AX’N SEX et avancèrent rapidement pour devenir l’un des espoirs métal les plus brillants de l’Allemagne du nord. L’album qu’ils produirent eux-mêmes, "Victim of Time", contenant quatre chansons originales (durée totale de 32 minutes) reçut une réception très positive, non seulement en Allemagne, mais aussi en Europe et outre-mers. Plusieurs magazines internationaux de musique vantèrent l’album. Le magazine italien "Flash" leur donna la note de 80 points sur 100, le magazine "Break Out" décrit le groupe comme étant dans "l’échelon royal du métal" et le magazine "Iron Pages" proclama "… nous recommandons fortement cet album". Ces derniers furent rapidement suivis par plusieurs revues en Scandinavie, en Grèce et même aux Etats-Unis et au Brésil. Il apparu, par contre, que le nom du groupe n’allait pas du tout avec leur style power métal mélodique.
Les musiciens réagirent rapidement. Après quelques délibérations, les musiciens changèrent le nom du groupe pour "Ivory Tower". Ils polirent encore plus leur style et firent quelques changements dans le "line-up". Après avoir été avec le groupe depuis sa formation, deux des musiciens quittèrent le groupe et furent remplacés par Stephan Laschetzki (basse) et Stephan Machon (clavier). Ce "line-up" est responsible de tout le matériel contenu dans les albums "Ivory Tower" et "Beyond The Stars". Des discussions prirent place entre le groupe et la compagnie Limb Music Producs and Publishing (LMP) en Décembre 1997. LMP reconnurent rapidement l’énorme potentiel du groupe et leur offrirent un contrat. Ivory Tower présente un power métal progressif ambitieux de haute qualité. Leur son est moderne, attrayant et varié. L’album "Ivory Tower" commence avec la chanson "One Life In Asia", un numéro de power métal rapide dont les textes parlent de la misère dans le tiers-monde et le travail scandaleux imposé aux enfants.
"A Distant Light" est une brillante composition mid-tempo alimentée par un long solo mélodique. "Spring" est le titre de la ballade de l’album contenant des parties de piano et d’excellentes paroles. "She", quant à elle, est la chanson inspirée des années 1980 avec un son hardrock au rythme entraînant. Les arrangements faits par le groupe pour le classique "Music" de John Mile viennent donner beaucoup d’expression et d’émotion à cette chanson. La chanson la plus impressionnante sur cet album et à coup sûr la chanson de 15 minutes "Blinded" pendant la quelle Ivory Tower démontrent leur potentiel créatif. Les auditeurs découvriront plusieurs changements de rythme, des parties jouées en solo et un tout assez inhabituel qui couronne cet album impressionnant. En Mars et Avril 1999, Ivory Tower supportèrent leur album en tournée partout en Allemagne. Les sessions d’enregistrement pour le deuxième album débutèrent en Été 1999.
Ivory Tower produirent à nouveau un album monstre nommé "Beyond The Stars", sorti le 17 Avril 2000. Un album brillant contenant 10 chansons pour un total de 63 minutes. Ivory Tower se tournèrent vers le classique, les arrangements orchestraux, de gros "riffs" durs de guitare et des refrains mélodiques. Après la production de ce CD, le claviériste Stephan Machon quitta le groupe parce qu’il était Lullek et il fut remplacé par Peter "PEWE" Werner.
