到了晋代，武帝太康三年，福州称为晋安郡。首任晋安太守严高嫌故城太小，而且地势不平，决心迁城。延请地理专家设计制图，在屏山南麓建立新城，名为“子城”。
威武军门曾经是子城的城门之一，后来子城拓广为罗城，福州升为威武军，这个位于罗城内的城门便被称为威武军门。威武军门为双门，城门上建有城楼九间，所有又称“双门楼”。
又五百年后，即唐代中和年间，经济繁荣，人口大增，观察使郑鎰遂将原来子城再次修拓，子城的三个方向共有六个城门，正南方向是虎节门，东南方向是定安门，正东方向是康乐门，正西方向是丰乐门和宜兴门，西南方向是清泰门。
到了唐朝末年，闽王王审知开始筹建一座更大规模的新城，称为罗城。后来，王审知又修建了夹城，把屏山、乌山、于山围在城内，北面是屏山，南面的左右两端分别是乌山和于山，三座山正好成鼎足之势，而于山的白塔和乌山的乌塔又遥相呼应，形成三山两塔的格局。城墙以南的广大区域也逐渐从沙洲沉积成陆地，形成人口稠密的街市。