据历届胡氏宗谱记载，胡祠始建于明朝万历戊申年，公元1608年至庚申年1620年，竣工历时13年，后内部装修三年共有16年，时耗资金数万。

宗祠东有季、信两祠旁靠，西有仁寿殿侧靠，背有靠山虎形毛蓬山。据老辈人讲，当时建祠堂的地点是得风水先生指点，背靠虎形毛蓬山，前有龙形案山，称作南龙北虎。龙山为案桌，前面还有二山为笔架，再前面还有一山叫云印山，此山像一官印，但是缺少印把，先人就在此山上建了一座庙，作为印把。后来，由于各种原因，此庙被拆除了，现还留有遗址。
全祠占地面积1600平方米，256个柱落地，全祠结构木、石、青砖。每块砖上印有“胡祠”二字，整栋祠堂是仿宫殿式建筑，祠堂里有砖雕、木雕，雕梁画栋，上红下黑，金碧辉煌。由止可见胡氏宗祠是一座雄伟壮观、做工严谨、雕刻精细的建筑，规模之大在江南堪称“大祠”。
胡祠建成后，胡氏子孙大发大富，人丁兴旺，正应了先人的话语。
背山面水船尾上，沧浪河水流西方。
胡氏古世福泽地，儿孙兴隆永吉祥。
大门前并列开着三座大门，正门一般平时不开，进出只走旁门，只有贵人来了才走正门，正门两旁蹲着一公一母、面对面的神狮，原是红石条雕的一对一公一母活灵活现的大石狮，据说共雕了十三对，前十二对都不尽人意，最后这对才成功完成，活灵活现。这对石狮，在文革期间被造反派打碎后仍到河里了，现石狮是胡氏后人2000年购的，正门上面挂着“胡氏宗祠”四个大字牌匾，东西旁门两旁各竖有一对春夏秋冬石屏。宗祠门前是个大广场，平坦开阔，原立12根进士旗杆，据老辈传说，每根旗杆代表科举年高中之士，广场左侧是花园（渡曲园），有各种花卉，花园前河旁有一长20多米、宽2米的石花圃。

宗祠共分三厢进，进大门先要上三步石阶梯，寓意三羊开泰，过大门进入下厅，要跨过高高的石门槛，这里有二种意思，一是代表宗族在本地的尊严和威望；二是代表贞节意思。下厅左右两株丹桂，树龄三百余年，至今枝叶茂盛，四季常青，每年有一次花开，十里飘香（原此处为2个水池，寓意“官”字两口，后湖南一举人来认祖归宗，说辈份不清楚，当时胡氏宗族人不承认并拒绝他。后来，此人高中，帮皇帝做批卷官，自此，凡江西南丰的胡氏考生，一律不中，应了句谚语“不怕文章上天，学大不中枉为然”。因此，胡氏后人想改风水，把水池改成桂花树，寓意后人“庭中折贵”）。丹桂树旁原有四株“香柏”杆直参天，但20世纪60年代，因建粮仓被砍伐。下厅左右各三间：左右靠上间为放祭事及农器具用，其余为五个儿子其中“仁”“义”“智”“信”四房儿子各一间存放东西之用，其中“礼”房迁出上饶玉山县。

进中厅共有五步台阶，寓意五子登科，中厅为议事厅，仿宫殿式建造，上方横梁下侧右边原有进士匾五块，左边挂有男女寿匾八块，其中百岁安匾两块，东西两边有“忠孝廉节”四个大字，东边中心惇宗十训，西边中心有胡氏传代字派。到了上厅，共有七步台阶，七是吉谐音，寓意“吉星高照”。

上厅为“胡氏家庙”供奉先祖之灵位，有九开间，在上厅墙面上还有一排印有“卍”字砖，地面石板铺地，石板长5米，宽1.03米，厚0.25米，重约二千斤。
建造胡氏宗祠的青砖、瓦是胡氏家族自烧的（大仙岩还有烧青砖、瓦遗址），木、石这些材料都是几十里路外，从石家桥通过水路竹排运进，用人工挑进来的。铺地用的石板最重的有二千斤，这么重的石板，在当时完全靠人力搬运，简直有点不可思议。
胡氏后人出现了几传奇人物，明朝中叶时期，洽湾堡就出现一位神秘人物，人们称“胡乔俚”，是一个江南阿凡提式的人物，人们传述他有褒有贬，有称他聪明能干，其实此人头脑灵活，肚里墨水多，机智勇敢，主意多多，助人为乐，巧斗官吏，听老前辈讲可称一军事家。
在光绪四年岁在庚辰仲秋月，胡昌铭，赐进士出身，翰林院庶士，诰授奉政大夫，此人家住洽湾堡大夫第。

资讯提供：胡连荣（2020.07.31）