玄武湖初期的名称叫做“后湖”或“北湖”，取名后湖的原因是玄武湖的位置正好位于钟山之阴，对南京城的居民来说，山背的这座湖泊当然称为后湖；至于北湖名称的由来，则是因为玄武湖位六朝京城之北，取名北湖自然也有它的命名依据。

 　　另外，“玄武”这两个字的实际意义指的是“北方之神”，“玄武湖”和“北湖”这两个名词其实也没有多大的差别。“玄武”是中国神话故事中的四神之一，它的具体形象是龟与蛇的复合体，玄武和青龙、白虎、朱雀共同代表著东南西北四个方位，其中玄武湖实际上就是北湖的意思。

　　玄武湖曾两度遭到浩劫，一次发生在隋文帝时，另一次则发生在宋神宗在位时。隋文帝灭了南陈之后，曾下令将南京城夷平，玄武湖就在这个政策下首度消失了两百多年；宋神宗时，王安石调任江宁府尹，提出了“废湖还田”的主张，南京城遇雨成灾的恶梦从此挥之不去，一直到了元朝疏浚措施完工之后才稍获改善。

　　明太祖朱元璋定都南京后，大肆扩张南京城的范围，玄武湖从此成为南京城东北城墙外的护城河，规模也大幅缩小。在民国初年，玄武湖一度改名五洲公园，直到1950年后，全面整建后，才又再度改回玄武湖的旧称。

　  南京玄武湖中分布有五块绿洲,形成五处景区。一为环洲,步入环洲,碧波拍浪。细柳依依,微风拂来,宛如烟云舒卷,故有“环洲烟柳”之称。其中,假山瀑布尽显江南园林之美,其中宋代花石纲的遗物太湖石组成的“童子拜观音”景点尤为壮观。二是樱洲,樱洲在环洲怀抱之中,是四面环水的洲中洲。洲上遍植樱花,早春花开,繁花似锦,人称“樱洲花海”。三为菱洲,洲东濒临钟山,有“千云非一状”的钟山云霞,故有“菱洲山岚”的美名。四为梁洲,梁洲为五洲中开辟最早,风景最胜的一洲。一年一度的菊展,传统而壮观,故有“梁洲秋菊”的美誉。五为翠洲,翠洲风光幽静,别具一格。长堤卧波,绿带燎绕。苍松,翠柏,嫩柳,淡竹,构成“翠洲云树”特色。