白鶴城や酔月城とも呼ばれた小諸城の跡で、入り口の三の門（重文）には徳川家達(いえさと)公の筆になる“懐古園”の額が掛っています。城下町よりも低い位置にある「穴城」として全国的に珍しい存在で、浅間山の火山灰で出来ている崩れやすい断崖が天然の要塞となっている。
本丸から数えて四番目の門なので「四の門」という呼び方もあります。弘前城の追手門とともに東日本の代表的な大手門といわれています。慶長年代の再建であるといわれ、小諸駅北側に位置します。【国重要文化財】
（平成20年3月まで保存修復工事のため閉鎖中）
藤村が小諸にやってきたのは、明治32年のこと。かつての恩師、木村熊二に招かれて小諸義塾に赴任しました。以降小諸で過ごした6年余の間に「雲」「千曲川のスケッチ」「旧主人」などが生まれ、大作「破戒」が起稿されました。
藤村記念館には、藤村の小諸時代を中心とした作品・資料・遺品が多数展示されています。建物は谷口吉郎氏の設計によるものです。
苔むした野面積みの石垣が昔日を偲ばせています。
小諸出身の文化勲章受賞者、小山敬三画伯の絵画が数十点展示されています。
懐古園の一角、眼下に千曲川の清流を見下ろす高台に建つ建物は村野藤吾氏の設計により小山敬三画伯が1975年建設、絵画と共に小諸市へ寄贈された。建築の巨匠がフリーハンドで描いた至極の空間です。
故小山敬三画伯（1897〜1987）が1929年に神奈川県茅ヶ崎市の海岸近くに構え、1987年90歳で逝去されるまで使われて多くの名作を生んだアトリエと住居の一部を、茅ヶ崎市から小山敬三美術館の隣に移築したものです。
小諸義塾の塾長・木村熊二の書斎。藤村をはじめ丸山晩霞、三宅克巳らと夜遅くまで語りあったと言われています。藤村は、楼上の欄干に身をまかせながら、愛する千曲川の眺望を楽しんでいたそうです。