崇武"乃"崇尚武备"之意。这里古名"小兜"，981年(宋太平兴国六年)惠安置县时，设崇武乡守节里，续置小兜巡检寨。元朝初期改为小兜巡检司。1370年(明洪武三年)，活动在朝鲜和中国沿海的日本海盗集团--倭寇突然登陆祥芝的蚶江，对泉州地区的安全造成威胁。1387年(洪武二十年)，明太祖朱元璋为了防御倭寇入侵，委派江夏侯周德兴巡视东南沿海。周德兴是个军事工程专家，他根据泉州沿海地区海岸线曲折、地形险要的特点，"一郡者设所，连郡者设卫"。当年，泉州设永宁卫，管辖五个所，即福全、中左、金门、高浦、崇武五所。惠安设立五座城，即崇武城、獭窟城、小岞城、黄崎城、峰尾城。崇武城为五城之一，隶属福建司永宁卫的一个千户所。
《崇武所城志》载:城"四方设门，各置楼于上"，"东、西、北三面月城，南无月城，门外照墙为屏蔽"，城门及门楼至今保存完好。又载:"东城厚设敌台一座，防贼舟随潮内讧，便于观察"，后于1574年(明万历三年)又在"南、北、西三面卜建四座，名曰虚台，其制上下四旁俱有大小穴孔，可以安铳，台内可容数十人"，这些敌台距城门约50~100米左右，现均完好。环城还有窝铺26座，系供守城士兵休息用。
