淮陰，因居淮河南岸（水之南為陰）而得名，處三阿城以北，西南方為盱眙，中間有湖水相隔，距廣陵軍營約三百里。

晉朝以征北、鎮北將軍，青、兗二州刺史鎮淮陰，淮陰遂為重鎮。永和八年（352年），北中郎將、徐州刺史荀羨鎮守淮陰，他認為淮陰舊鎮“地形都要，水陸交通，易以觀釁，沃野有開殖之利，方舟運漕”，卻“無地屯兵”，因而在秦漢故城（即甘羅城）之南一里許，營造新的城池（后來的淮陰故城，今碼頭鎮附近）...