由於山上群生著台灣彌猴，17世紀的荷蘭人及19世紀的英國人即以「猴山」名之（Apen Berch, Ape Hill），台灣彌猴的命名，即以此地取得的標本名之。
顧名思義，柴山上的樹林，提供古時日常生活所需的薪材，從17世紀荷蘭人開始，此處即為其採取薪材的所在。
由於珊瑚礁的成分為石灰岩，因此從1917年開始開採石灰岩以生產水泥，一直到1990年代才停止採礦並植生復育，並將之劃為自然公園，禁止開發行為，以維護自然生態，目前已成為高雄市重要的生態寶庫。