Pierwsze fragmenty muru powstały już w VI wieku p.n.e. W III wieku p.n.e. za panowania pierwszego Cesarza zjednoczonych Chin - Qin Shihuangdi rozpoczęto poważne prace budowlane. Qin Shihuang zdecydował połączyć pojedyńcze obiekty chroniące Chiny, zbudowane wcześniej przez inne dynastie, i stworzyć długi mur ochroniony, aby walczyć z królestwami z północy. Na jego rozkaz wyburzono wszystkie wewnętrzne mury obronne,  umocniono oraz wybudowano nowe odcinki od strony północnej.

W późniejszych okresach następowała wielokrotnie rozbudowa i modernizacja Muru. Wiele prac  modernizacyjnych prowadzono w okresie 1206 - 1368. Znaną dzisiaj postać muru uzyskał dopiero władca dynastii Ming czyli pod koniec 1644roku. Dynastia ta, odczuwając duży nacisk ludów mongolskich, postanowiła zbudować, w oparciu o wciąż istniejące fragmenty starożytnego muru,rozbudowany i unowocześniony system fortyfikacji –  począwszy od  Korei, kończąc na  pustyni Gobi. System ten składał się nie tylko z samego muru, ale także z przylegających do niego osad nadgranicznych, faktorii handlowych oraz szerokiego na blisko 1km pasa "spalonej" ziemi.