港之祖祠，前代已有建立。明永樂十九年，上以天后屢著靈異，聞祖祠圯壞，特命內官赴港修整。及嘉靖時，倭人擾攘，民居盡被毀，獨祠不壞。祠內供奉始祖唐邵州刺史公暨后之高曾祖父兄并后寶像。順治辛丑年，奉文遷界，子姓將神主寶像暫寄于涵江天后宮，祠遂圯。康熙二十年，展界復回，鄉人同子姓鳩工建造，赴涵請歷代神主供于寢堂，寶像供于中廳。春秋二祭，皆在于斯。

世傳祠內寶像系異人妝塑，各處供奉之像皆不能及。以遷界寄奉涵江。至復界時，子姓到涵請回。涵之里人不肯。乃同詣神前卜筊，得九十九圣筊。涵江里人遂備船，用彩亭鼓吹，送寶像登舟。船甫開，雷雨驟至，隨船之后，而船不沾濡。既入祠，雷雨大作，水溢堂廡。鄉族之人不能行禮，口祝于后。雷雨實時屏息，風掃地干。瞻拜者莫不詫異。嗣后凡有到祠請香火者，多有雷雨隨之，至今猶然。