趙武靈王曾進行軍事改革，胡服騎射，大敗林胡、樓煩的入侵，建立了雲中、雁門、代郡。後來，李牧奉命常駐雁門，防備匈奴。為免除匈奴對趙國邊民的襲擾，使匈奴數歲無所得，而趙軍則兵強馬壯，願為一戰。“大破匈奴十餘萬騎。”其後十餘年，匈奴不敢寇趙。後人稱李牧為“奇才”，並在雁門關建“靖邊寺”，紀念其戍邊保民的戰功。秦始皇統一六國後，派遣大將蒙恬率兵三十萬，從雁門出塞，“北擊胡，悉收河南之地”(即河套地區)，把匈奴趕到陰山以北，並且修築了萬里長城。
漢高祖劉邦時期，匈奴圍韓王信，韓王信投降，匈奴引兵南逾勾注，直驅晉陽(太原)。
漢武帝繼位後，面對匈奴不斷猖狂的南犯，着手反擊。元光五年(前130)，漢武帝下詔發卒整修雁門關。漢朝名將衞青、霍去病、李廣等都曾馳騁在雁門古塞內外，多次大敗匈奴，立下汗馬功勞。“猿臂將軍”李廣在做代郡、雁門、雲中太守時，先後與匈奴交戰數十次，被匈奴稱為“飛將軍”。
漢元帝時，王昭君就是從雁門關出塞和親的。從此以後，這一帶出現了“遙城晏閉，牛馬布野，三世無犬吠之警，黎庶無干戈之役”的安定局面。
雁門關之稱，始自唐初。因北方突厥崛起，屢有內犯，唐駐軍於雁門山，於制高點鐵裹門設關城，戍卒防守。《唐書·地理志》描述這裏“東西山巖峭拔，中有路，盤旋崎嶇，絕頂置關，謂立西陘關，亦曰雁門關。”
北宋初期，雁門關一帶是宋遼(契丹人)激烈爭奪的戰場。愛國將領楊業(又稱楊繼業)及其他楊家將士都曾在這裏大顯身手，為國立功。
在宋太平興國四年(979)，楊業任代州刺史兼三交駐泊兵馬都部署以後，曾多次以少勝多，大敗遼兵，當時人們譽楊業為“楊無敵”。
雍熙三年(986)，在雁門附近的戰鬥中，楊業陷入重困，最後士卒全部覆沒，在朔州的陳家谷他自己身負重傷為遼兵所執，寧死不屈，終至絕食為國。
後經五代十國、宋、遼、金、元約四百餘載。
元朝設千户所，關城被毀。
明代吉安侯陸享於洪武七年(1374)自監民工築新關於舊關東北十里處的要道。南距代城縣四十餘里，北鄰廣武古城二十一里，地勢更為險要。
明清以後，關城雖屢有重建。但隨着中華民族統一國家疆域的逐步形成，內長城作為“內邊”的作用已經失去，所屬的雁門雄關也隨之荒廢。關城僅在東門、西門、小北門三個門洞和靖邊寺前的一對石獅，一副石旗杆，明鐫李牧碑石一塊，以及寺後的數株青松。
蒙田範文網