富田川の中流に合流する岡川の上流、西隣する中三栖との境目となっている丘陵(標高２２５．７メートル)の頂部にある。連続する丘陵中でもひときわ高い山丘で、西方の三栖谷はもちろん遠く田辺一帯がみえる。中三栖では高地山城という。

　市ノ瀬を本拠地とした山本主膳正康忠の第一外郭地(龍松山城から２キロから４キロ以内で、本来山本二郎筋の兵部之介(助)の守護)であるが、地勢上、伝之の城(烽火ほうかで情勢伝達する城)で、西方一帯が眺望でき、また直下に熊野道の中辺路往来が悉くみえ、物見の機能をも果した特別な城郭とみられる。おそらく天正１３年(１５８５)４月、寄手である上方勢の本隊(藤堂和泉守、尾藤久右衛門、仙石権兵衛の諸将が率いる)が潮見峠を目指した動静を、逸早く市ノ瀬の龍松山城に伝えたとみられる。また、寄手の上方勢が当城を攻略するに苦戦したようで「山本寄手を(者か)要害之城と申伝候」(『三栖新屋文書』)とある。

　城郭跡の規模は、東西六間半(約１２メートル)、南北八間(約１５メートル)と『紀伊続風土記』に記されているが、現状は不規則な五角形で、北側は約１４メートル、東側は約２０メートルが計測される。周囲に土塁の遺構と、西側斜面に防禦用とみられる幅３〜５メートルの曲輪状段が４段がみられる。