2007年4月、横須賀市の市政施行100周年を記念して開館。当初年間15万人の入館を目指していたが、オープンして4カ月ほどで当初の目標を軽く達成。経済的に厳しい時期の市立美術館のオープンとして注目を集めていただけに、入館者数だけをとっても多くの人々の関心の強さがうかがえる。美術館は、観音崎灯台に隣接しており、目の前は東京湾で、多くの船舶がしきりと行き交う。横須賀の繁華街からは離れているが、リゾート型の美術館として設立されており、周囲の自然は来館者を和ませ、館内のレストランも評判だ。長い間「週刊新潮」の表紙絵を描いていた谷内六郎（1921～1981）の作品を展示する谷内六郎館も併設されている。