Klipperne består bla. af gnejs og granit. Gnejs er granit som er omdannet ved geologiske processer som bjergkædefoldning, som opstår under et stort pres under høje temperaturer. Gnejs og granit består af 3 mineralfamilier, de røde feltspatmineraler, de hvide kvartsmineraler, og så de mørke mineraler. De mørke mineraler er de blødeste, og derfor dem, der pressers sammen når der kommer et stort tryk.

Granit ligner til forskel for gnejs et puslespil af ensformige røde, hvide og mørke prikker, mens gnejs har mørke brikker der er presset til flade streger. Der er mere gnejs end granit på Bornholm. Stenbrydning på øen sker hvor der er granit, da det er lettest at arbejde med pga. strukturen, samt den måde stenen naturligt flækker på.

Der har været bjerge på 10 til 30 km ovenpå det niveau Bornholms har i dag, for at omdanne granit til gnejs. Dette er ikke muligt at have bjerge der er så høje, så det niveau Bornholm har i dag må have ligget langt under havets overflade engang. Bjerget blev slidt ned af de istider der har været gennem de mange millioner år, og samtidig har Bornholm hævet sig. Tilbage i middelalderen var klipperne et sted for pilgrimsrejser.