Lors de l'été 2002, le chanteur et guitariste Pete Ahonen (Burning Point) désirait avoir son propre groupe. Il aidait un ami afin de remettre sa carrière musciale sur le bon chemin, alors il lui a offert une pièce qu'il avait composé à l'origine pour Burning Point. Ces derniers n'avaient pas le même enthousiame que lui concernant ce morceau et il avait été mis de côté.



Ils étaient au milieu de l'enregistrement de l'album "Feeding the Flames" de Burning Point, alors il a laissé tomber l'idée et la prochaine fois qu'il a rencontré ses amis, ils ont laissé tomber une autre pièce qu'il avait réalisée, il s'agissait de "Temples of Gold".



Il a été quelque peu offusqué, ça n'allait pas lui arriver une troisième fois. Il a contacté un ami qui était guitariste dans sa ville natale, ils ont commencé à faire un demo avec ses pièces. Toutefois, son ami avait plusieurs autres projets, alors le tout a échoué.



Pete Ahonen était très frustré face à cette situation, alors il a contacté Tapsa et Jussi vers la fin de l'année 2002. Après 5 répétitions, ils avaient déjà 12 nouveaux morceaux, quoique Pete avait déjà créé ces pièces il y a quelques années. Toutefois, ils ont retravaillé les pièces afin d'y ajouter une touche actuelle. Finalement, lors du printemps 2003, ils ont réalisé leur premier demo, "Ghosts in the Castle", et ils ont pu l'envoyer un peu partout autour du globe. Après des négications avec quelques compagnies de disques, ils ont signé un contrat avec Sound Riot Records.



Le 11 octobre 2004, ils ont pu mettre en vente le premier album de Ghost Machinery, "Haunting Remains". Ce dernier 13 pièces et il reçoit de très bonnes critiques. Il faut noter la présence comme chanteur invité de Ville Laihiala, SENTENCED, pour la pièce "Out In The Fields", qui est une reprise de Gary Moore. L'album a été enregistré et mixé au Tonebox Studios en Finlande. Il a été masterisé au Bazement Musik Studios (SYMPHONY X, VANDEN PLAS, METALIUM) en Allemagne. La pochette a été réalisée par Mattias Norén (EVERGREY, KOTIPELTO, DEREK SHERINIAN) et le livret par C.A. Interactive (MORIFADE, AXENSTAR, SUPREME MAJESTY).