Formé dans l'ouest de la Virginie aux États-Unis, le groupe metalcore/post-thrash Byzantine a été créé lors de l'été 2000 par le chanteur et guitariste Chris “OJ” Ojeda, le bassiste Cid Adams et le guitariste Tony Rorhbough. Suivant la fin de leurs anciens groupes, Byzantine a été créé et le groupe se servait d'une machine pour la batterie. Ils se sont rendus en studio pour enregistrer une démo de quatre pièces et, plus tard en 2001, une démo de 7 pièces. Après plusieurs spectacles, Matt Wolfe a joint le groupe. En 2002, Caustic Eye Productions a mise sur le marché un disque éponyme qui combinait les deux démos. Lors de l'hiver 2002, Byzantine est entré au Broadmoor Studios à Huntington, WV, pour enregistrer leur premier démo studio avec Wolfe à la batterie. Avec un budget très limité, la démo a connu un bon succès dans la scène underground. Par la suite, leur webmestre a fait parvenir un mp3 du groupe au batteur de Lamb Of God, Chris Adler. Ce dernier a invité le groupe à se joindre à eux pour faire l'ouverture d'un spectacle en Virginie, ce qui a mené à une petite tournée et éventuellement à une entente avec Prosthetic Records.




Peu après, Byzantine a mis en vente son premier album, "The Fundamental Component" en février 2004. Proposant une sonorité hybride entre Meshuggah, Pantera et Testament avec un petit accent groove du sud. Pendant ce temps, le groupe se produisait avec Lamb of God et Shadows Fall en plus d'envahir la scène principale en 2004 au New England Hardcore et Metal Festival à Worcester, MA avec Machine Head et Arch Enemy.




Deux mois après débuté l'écriture de nouveau matériel, le bassiste Cid Adams a quitté, et Byzantine était prêt à enregistrer leur second opus, "…And They Shall Take Up Serpents". Suite à la sortie de l'album, Michael “Skip” Cromer a joint comme bassiste. En 2006, ils mettent en vente leur premier DVD, "Jeremiad". En février 2007, le groupe joue avec God Forbid à Montréal et Québec.