では先ず、渋江家の系譜について紹介することとする。
渋江家の祖は、遡ること古墳時代、第30代敏達(びだつ)天皇と言われている。
その5代目の孫が、天皇から苗字を賜り、「橘(たちばな)家」として始まったようだ。
橘家の島田丸は768年に奈良春日神社造営の勅命を受けた。大役が果たせるように水神に祈願したところ、無事に神社が完成したので、以後は水神を祭って「天地元水神」と呼び、橘家の氏神とした。
1122年、橘家は鳥羽天皇にそれまでの勤労を認められて、名前に「公」という字を使うことを許された。以後代々、橘家では実名に「公」という字を入れるようになった。

橘家は時代の流れの中で奈良から伊予(愛媛)へ、そして肥前(佐賀)へ移り住んだ。肥前では潮見山(武雄市)に住んだが、ここには今も潮見神社や橘という地名が残っている。余談だが、菊池一族の5代経直は、この潮見神社の笠懸(かさがけ、馬上から的を射る神事)の際に亡くなったとされ、墓所もここにある。
肥前に移り住んで2代目の公村(きみむら)の時代に、氏を渋江と改めた。渋江の分家が肥後に移り住んだのは、江戸時代の初期、公成(きみなり)のころである。公成は菊池の西迫間に居住したが、その子公通(きみみち)は隈府に転居し、以後渋江氏は代々隈府に定住した。(現在の神社は菊池市原)
渋江氏の天地元水神社は、水難、火災、雨乞の祈祷や河童よけのお守りに定評があり
肥後はもちろん九州や中国、京阪地方まで、人々の厚い信頼を得ていた。

ここに敏達天皇に始まる「渋江氏略系図その１」とその中の主な人物紹介しておく。

5代目の孫が天皇から「橘」の名字を賜る。　：井出左大臣橘朝臣諸兄
＊768年に天皇から奈良春日神社造営の勅命を受け、水神に祈祷し見事完成させた。勅許により水神を祀り天地元水神と称してこれを氏神とする。（以後継承されている）
＊1122年にそれまでの公光・公長親子の功を認められ、鳥羽上皇から名前に「公」という字を使うことを許される。（以後継承されている）
＊1237年に嫡子・公村の時から氏を「渋江」（肥前渋江氏）と名乗るようになる。残りの兄弟は「公茂が牛島」「公光が中村」「時成が中橋」を名乗るようになる。
＊1550年頃に公親・公師・公重親子が肥前を追われ肥後山鹿（金剛乗寺）に逃げる。
＊1559年に公重の子・公実改め公成が菊池郡西迫間に居住し、家伝の水神催事も始める。　：肥後渋江氏の始祖
＊1634年に公通が天地元水神を西迫間から隈府に移す。以後住居も隈府に移し定住の地となる。その子・公実（後に公俊に改める）：以後は元水神の守札には「橘朝臣・渋江公俊」と記載するようになっている。
＊そして江戸の中頃になり、菊池文教の祖、渋江紫陽(、公豊1719-1792)が現れ、肥後藩校「時習館」より6年も早く、1748年に私塾「集玄亭」を創立した。