公元前221年，秦始皇统一中国，废分封制，立郡县，全国设36郡，今大同境内为雁门郡、代郡之地。其时见于记载的城有：平城、代、善无、延陵、平舒、武周塞、新城、班氏、马邑等。秦始皇派大将蒙恬率30万大军北击匈奴，并征集民众筑长城，在今左云高山以东，云冈以西十里河谷“筑城武周塞内，以备胡。

   西汉沿袭秦郡县制，其地仍为雁门郡、代郡之地。雁门郡属并州刺史部。沿所善无，共辖14县：善无、沃阳、繁峙、中陵、阴馆、楼烦、武州、汪陶、剧阳、崞、埒、马邑、疆阴、平城，平城为东部都尉治。代郡属幽州刺史部，治所桑干，共辖18县，在今大同境内者10县：道人、高柳、班氏、示氏、平舒、延陵、灵丘、且如、平邑、参合。

   东汉各州置州牧，后改州牧为刺史。其地为雁门、代郡之地。雁门郡属并州刺史部，治阴馆，属县十四，今大同市境内有四县：繁峙、武州、崞、平城。代郡属幽州刺史部，治高柳，属县十一，在今大同市境内有六县：高柳、道人、班氏、示氏、北平邑、平舒。建武中，卢芳之乱，沿边八部并废，徙雁门、代郡之民于常山关、居庸关东。建武二十七年（51）复置郡，自善无移雁门郡治阴馆，县仍属。其代郡治高柳。“建安中省云中、定襄五郡，立新兴郡于太原界，郡为一县隶之，而别置平城县于勾注陉南，往属焉。”汉末天下大乱陉北之地弃为荒徼。建安二十年（215）曹操讨伐乌桓，平定代地。安集北边郡县之民，在今代县东五里置平城县，属冀州新兴郡。黄初元年（220）复置并州，平城属并州雁门郡。无论属冀州新兴郡的平城，还是并州雁门郡的平城，均为同名异地，非今大同。

   三国时，其地为乌桓、鲜卑所据。汉明帝时（58—75）在平城建通光寺，为大同最早的佛寺。
   晋大同北部为鲜卑族领地，南部为雁门郡地，其时郡已迁至广武，属县有：广武、崞、汪陶、平城、俊人、繁峙、原平、马邑。永嘉四年（310）晋并州牧刘琨，以拓跋猗卢有救援之功，上书晋怀帝，请封鲜卑拓跋猗卢为代公。建兴元年（313）拓跋猗卢定盛乐为北都，修秦汉故平城为南都，平城复还故治，属代国。

   北魏拓跋珪于公元398年自盛乐迁都平城，改号皇帝，改元天兴，并置司州、代尹，治代都平城。徙六州二十二郡守宰、豪杰、吏民三千家于代郡。“营宫室，建宗庙，立社稷”，进行一系列大规模的首都建设。次月“诏有司正超过计划畿，制郊甸”，划定京畿范围：“东至代郡，西至善无，南及阴馆，北尽参合。西至河（黄河），南至中山隘门塞，北至五原，地方千里。”又设四方四维，置八部帅统兵镇守。

   北齐天保元年（550）东魏被北齐所代，大同为北恒州、北朔州地，属县未有大的变化。天保七年（556）改北恒州为恒安镇（今大同），又名东州城，隶属恒州太平县，徙豪杰三千家以实之。翌年废镇，仍为北恒州。周齐之间，突厥渐强，为防御突厥、柔然、契丹，于天保三年（552）自西河总秦戍筑长城，东至渤海200余公里。天保六年（555）发夫180万人筑长城，自幽州夏口，西至恒州450余公里。天保七年（556）先自西河总秦戍筑长城东至海。前后所筑东西凡1000余公里。

   公元557年西魏为北周所代替。建德六年（577）灭齐后，州县并废，复置恒安镇，改朔州置北朔州总管府。改太平县为云中县（此大同称云中之始）。灵丘属蔚州，为灵丘郡治。

   隋开皇元年（581）重新统一中国后，改诸州为郡，其地为马邑郡、雁门郡之地。马邑郡治善阳，辖善阳、神武、云内、开阳。雁门郡治雁门，辖雁门、繁峙、崞县、五台、灵丘。恒安镇隶属马邑郡云内县。开皇五年（585）置代州总管府。隋为了防御突厥侵扰，大业三年（607）“发丁男百余万筑长城，西距榆林，东至紫河，一旬而罢”。公元615年八月，杨广巡游塞北，突厥得悉，率领10万兵攻入塞内，杨广被迫退到雁门，在各地军民增援下，杨广才解围而去。第二年突厥又犯，被李渊带兵击退。

   唐初依隋实行州县制。武德四年（621）平利武周，复于故恒安镇置北恒州。武德六年（623）于雁门郡之灵丘别置蔚州。武德七年（624）北恒州废。贞观元年（627）发天下为13道，云、蔚、朔等州属河东道。云州治云中，辖县云中。蔚州治兴唐，辖兴唐，飞狐、灵丘。朔州治善无，辖善阳、马邑。唐末，以浑源川为名，置浑源州；以雁门山、龙首山南北呼应为名，置应州。贞观十四年（640）于故云内县置定襄县，兼云州治。龙朔三年（663）置云中都护府。永淳元年（682）为东突厥默啜所破，州县俱废，移百姓于朔州。开元十八年（730）复置县，改定襄为云中县。废北恒州为东州城，复置云州。天宝元年（742）改云州为云中郡。乾元元年（758）改云中郡为云州会昌三年（843）以云、蔚诸州为大同道，罢属河东，置都团练使，治云州。咸通十年（869）置大同军节度。中和二年（882）改大同节度为雁门节度。四年（884）云州复隶河东道。唐至德以后，中原运兵刺史皆管军戎，大同防御使由云州刺史领管，辖云、蔚、朔三州。唐末云州地区成为沙陀部和吐谷浑赫连铎部争夺的主要地带。也是李克用父子发迹之地。乾符三年（876）大同军节度使李国昌子克用为云中守捉使，杀防御使，据州以闻。僖宗赦克用，以国昌为大同军防御使，不受命。广明元年（880）李琢攻国昌，国昌兵败，与克用奔北地。共巢入京师，诏发代北军，寻赦国昌，使讨赋，克用率三万五千骑而南，收京师功第一，国昌封陇西郡王。国昌卒，克用取云州。唐末封建割据，云州陷入长期战争中，后李克用子李存勖灭梁，是为唐庄宗。

   五代其地为后唐所占，区划未有大的变动。云中县，为云州治，隶属河东道。李克用与契丹耶律阿保机相会于云州东城，易袍马为兄弟，因取“怀想仁人”之义，改名怀仁县；后唐庄宗同光二年（924）析蔚州兴唐县设置广陵县（今广灵县）。后唐庄宗同光三年（925）复以云州为大同军节度。清泰三年（936）叛将河节度使石敬瑭，拜契丹主耶律德光为父，借契丹兵灭后唐，称帝，国号晋。以契丹有助援之功，将燕云十六州割让给契丹。云中判官司吴峦“闭门不受契丹命”，修整器械，昼夜守城，坚持了半年之久，“峦求援晋，晋主召峦南归”，云州陷落。至此大同先后被契丹、女真、蒙古统治者统治长达433年，使中原汉族统治从此失去北方屏藩。