芭蕉も３度訪れたことがある去来の住居跡である。落柿舎のいわれは売る予定であった４０本の柿の実が一夜のうちに落ちてしまい買付を予定していた商人を気の毒に思って代金を返却したことに由来すると説明文にある。こじんまりした落ち着いた佇まいである。