建築主は、1857年フランス生まれのJ.R.ドレウェル夫人。1871年（明治4）に来日し、1882年（明治15）にドレウェル氏と再婚。
ラインの館が建築されたのは1915年（大正4）、ドレウェル夫人58歳のときで、1920年（大正9）に亡くなるまでこの館で暮らしました。
1978年（昭和53）、神戸市が購入して一般公開のための工事を行い、地区内の案内センターとして整備しました。
その際に市民から愛称を募集し、元住人のオバーライン氏の故国ドイツのライン川と、壁面の下見板の美しい直線美にちなんで「ラインの館」と名づけられました。
この建物は大正初期の建築ですが、木造2階建下見板張りオイルペンキ塗りで、開放されたベランダ、ベイ・ウィンドー、軒蛇腹、よろい戸など、明治時代のいわゆる異人館の様式をそのまま受け継いでいます。
建物は主屋と付属屋からなり、主屋は庭のほぼ中央に南面して建ち、1階の開放されたベランダは、異人館様式をよく残しています。ベイ・ウィンドーは東側に一つ、西側に二つあり、1階は応接間、居間、食堂、2階は寝室が配置されていました。
建築後約100年を迎え、建物内部が老朽化したため、平成26年度に耐震診断を実施したところ、耐震補強が必要と判明。
平成27年6月より休館、平成28年４月より庭園を含め全面閉鎖し、全面解体による修理と耐震対策・防火対策工事等の工事を実施しました。あわせて庭園・展示内容についてもリニューアルし平成31年4月に再館致しました。
