Kamienna Góra jest częścią Lubańskiej Pokrywy Wulkanicznej. Badania wykazały, że potoki lawowe zastygły tu około 27 milionów lat temu. Od XIII wieku na wzniesieniu wydobywano materiał skalny – bloczki bazaltowe, zwane też plastrami. Z kamiennogórskiego bazaltu zbudowane są najstarsze lubańskie budowle: mury obronne, Wieża Bracka czy Dom Solny. Natomiast na łąkach górnej części wzgórza wypasano owce i bydło, a do XIV wieku stąd pozyskiwano również drewno do rozbudowy miasta. Ten ostatni fakt doprowadził do wylesienia i odsłonięcia skalistego szczytu wzgórza.