Outlying est un groupe metal venant des alentours de la ville de Bécancour, dans la province de Québec, au Canada. Bien qu'influencés principalement par les vieux bands de thrash, les bands européens de black et de death metal, ainsi que les groupes américains plus contemporains, les gars d'Outlying peuvent être influencés par n'importe quoi, peu importe ce dont il s'agit. Leur musique mélange différents éléments, tels que la pesanteur, l'intensité, les contrastes, la mélodie et les passages accrocheurs. Face à leur musique, ils aiment garder une attitude ouverte d'esprit et sans compromis.

En 2003, pendant qu'ils fréquentent l'école secondaire locale, les amis d'enfance Fred A. Dubeau et Guy Provencher décident de former un band, et, sans tarder, font équipe avec un bassiste nommé Deven Lavigne. Ils commencent ensuite à faire des jams dans un des locaux de musique de leur école, et reprennent des chansons de divers groupes de metal, de punk et alternatif. Après quelques mois, les gars s'entendent très bien ensemble et décident de commencer à composer leur propre matériel. Ils nomment le band "The Curse Of Angels", et commencent à performer leur matériel à quelques spectacles devant des camarades.

Par la suite, les gars continuent à jouer ensemble occasionnellement, mais ils ne savent toujours pas où se diriger musicalement, et ils ont besoin de fonds pour se procurer de meilleurs équipements. Puis, ils deviennent très occupés par leurs études, emplois et projets respectifs. En 2006, les trois membres décident qu'il est temps de refaire fonctionner le moteur à plein régime, et recommencent à s'investir pleinement dans le projet. Ils changent leur nom de groupe pour "The Cursed", puis "Outlying". Ce nom réfère principalement au fait que les membres du groupe vivent dans de petits villages, éloignés des grandes villes. Ils se mettent alors ensuite à suivre un horaire de pratique régulier, et à composer de plus en plus de nouvelles pièces.

En 2008, Deven et Guy quittent le groupe, et sont remplacés par Chris Gauthier à la basse, et le poste de batteur est occupé par un membre session, Steve DeCotret (Strigampire, Hopeless Nation). Leur premier EP, "Within The Jail Of The Unfortunate" sort à fin de l'année 2008.