Dengang Lilleborg blev bygget var klippen den er bygget på, omgivet af vand og moser til alle sider. Den var kun landfast via en enkelt adgangsvej fra øst. Lilleborg var til forskel for Gamleborg lettere at forsvare, hvilket gjorde der ikke krævedes så stort et mandskab.

Tilbage i 1149 afgav Kong Svend Grathe (1146-57) størstedelen af Bornholm til kirken. Tre af Bornholms fire herreder overgik til ærkebispen i Lund og kongens indflydelse og besiddelser begrænsede sig herefter til vestdelen af øen med Rønne herred. Dette var grundlaget for etableringen af ærkebispesædets store borg Hammershus fra start 1200-tallet. Dette er formentlig grunden til overflytningen af kongens borg fra Gamleborg til Lilleborg.

Gamleborg var meget større end Lilleborg. Lilleborgs areal var på ca. 2600 m2, dvs. ca 10% af Gamleborg. I 1820-22, 1887-1928 og igen i 1954-57 har man fundet mange spændende fund fra arkæologiske udgravninger.

Den solide ringmur langs Lilleborg var kun i brug i ca. 100 år. I 1259 blev Lilleborg indtaget og afbrændt, som et resultat af magtkampen mellem kongemagten og kirken.

I dag kan du se resterne af Lilleborgs ringmur, den nederste del af tårnet samt fundamenter af andre bygninger.