古庄家は明治4年(1871年)の廃藩置県まで、12代約250年にわたって姫島の庄屋として村を治め、 さつまいもの導入、防波堤や塩田の築造など多大な功績を残しました。
この屋敷は、第11代小右衛門が天保13年より3年の歳月をかけて完成したもので、 敷地は約550坪、母屋は寄屋造りで一部二階建て、延建坪は110坪、一階10部屋、二階2部屋から成っています。 書院造の奥の部屋は、藩主の為に普請されたもので、「御成りの間」と呼ばれています。 庭園には藩主の駕籠を下したと言われている二畳敷大の大石があります。
村指定有形文化財に指定されています。

裏庭にはいくつかのスナビキソウが植えられていて、ここでもひらひらと舞うアサギマダラを見ることが出来ました。