頼久寺は、臨済宗永源寺派に属し、その草創は明らかではないが、足利氏の発案で各地に建てられた安国寺の一つとして再興された。永正年間（1504～1520）に、備中松山城主であった上野頼久（よりひさ）の庇護によって大いに伽藍が整備され、頼久の死後、寺号を今の呼び名に改めている。
　頼久寺庭園は、小堀遠州（政一）の若いころの作庭として伝えられている。慶長５年（1600）、関ヶ原合戦の直後、小堀遠州の父正次は備中国奉行として遠州を伴って松山に赴いた。天正乱後の城は荒廃しており、頼久寺を仮の居館として政務を執っていたことがあり、庭園はその時に作庭されたといわれている。
　庭園は書院東面の庭園であって、蓬莱式の枯山水庭園である。白砂敷の中央に二つの低い築山状の島を置いて石を組み（鶴島・亀島）、書院左手の山畔に沿ってサツキの大刈込が植えられ、大海を表わしている。また二島の間には簡素な地割の池があり、正面遠景の愛宕山を借景にした平庭である。この庭園の石組及び地割の主要部には江戸時代初期の手法がみられ、保存管理状態は良好で、全体としてすぐれた意匠を残している。
　平成21年（2009）7月には、本堂や書院などが指定地に追加され、頼久寺全体が名勝に指定されている。