島木赤彦住居は梁行7間半（13.5ｍ）、桁行6間（10.8ｍ）の母屋、土蔵などからなり、文化・文政年間（1804～1829）の建築と推定され、ほぼその当時のままの姿を今に伝えている。
母屋の中には、正面の大戸を入り土間の奥に書院造りの8畳間の上座敷がある。ここが、赤彦の書斎で、ここから眺めて諏訪湖などの風物や家族を詠んだ名歌は400首以上にのぼる。