廟前殿祀無諸，后殿并祀無諸和夫人。后來傳說無諸的后代漢東越王余善在冊(cè)封臺(tái)東面山頂上向閩江垂釣時(shí)，釣到一條白龍，養(yǎng)在山嶺頂?shù)囊豢诰畠?nèi)。因此，釣臺(tái)被稱為釣龍臺(tái)，惠澤山改稱為南臺(tái)山，這段閩江稱為白龍江，俗稱臺(tái)江，山上的井稱為龍井，釣到龍的潭稱為龍?zhí)?。后來相傳有一和尚在龍井汲水，覺得十分沉重，提起來一看，桶中有條鐵鏈。這時(shí)天色大變，狂風(fēng)暴雨，雷電交加，一條白龍騰空而去，因此山頂稱為龍嶺頂。
唐、五代以后，山麓江邊街市興起，稱潭尾街，宋代書法家米芾手書“全閩第一江山”石碑立于山麓，因此南臺(tái)山就有全閩第一江山的美譽(yù)。由于人們對(duì)閩越王廟的崇拜，南臺(tái)山到清代后又改稱為大廟山。
大廟山自古以來就是文人墨客登臨游覽懷古之處。元代詩人范德機(jī)有詠余善釣龍臺(tái)的詩曰：“海角釣龍人杳，云間待雁路迢。若為借得山頭石，每到高秋坐看潮?！备嗟脑娛堑桥R釣龍臺(tái)懷念無諸，如明初著名詩人王恭《題無諸廟》詩曰：“野廟大江畔，瀟瀟樹色寒。斷碑荒草蔓，畫壁古苔干。龍去春潮在，猿鳴海月殘。英雄那可問，東逝更漫漫?！笨上У氖?，閩越王廟于1922年因失火被燒毀。
如今，大廟山閩越王遺跡地已成為福州第四中學(xué)校址。米芾寫的碑文已遺失，后人陸某補(bǔ)寫了一個(gè)碑，現(xiàn)立在福州四中內(nèi)。.現(xiàn)在尚存的遺跡除“全閩第一江山”石碑外，還有釣龍臺(tái)、釣龍井、登高石，而最重要的古跡閩越王廟還未重建。
