Kastellet fik her navnet Citadellet Frederikshavn. Kastellet var ikke kun rettet mod fjenden, som resten af Københavns voldsystem. Det var også rettet mod byen. Kanonerne kunne vendes og pege mod kongens egne undersåtter. I 1600-tallet foregik militærvæsenets afstraffelser og henrettelser på Kongens Nytorv. Dette blev flyttet til Kastellet. Først i 1790’erne forsvandt træhesten foran hovedvagten. Straffen *stå på pælen* (barfodet på spidse pæle) forsvandt og spidsrod flyttede indendørs.

Ved englændernes angreb i 1807 forsvarede Kastellet København. Dog måtte overgive det sig sammen med resten af byen. Kastellet blev som noget af det første besat i 1940. Her gik tyskerne i land ved Langelinie og sprængte Norgesporten. Derefter tjente det som tysk fængsel.

Kastellet blev renoveret 1989–99. Det var med midler fra A.P. Møller og Hustru Chastine Mc-Kinney Møllers Fond. Stenen på Grevens Bastion blev betalt af Reserveofficersforeningen i Danmark. Derfor kalder mange denne bastion *Reserveofficerernes Bastion*. Aller nederst på stenen – under voldens overflade findes inskriptionen ROID.

Fængslet i Kastellet
Tilbage i 1772 blev Johan Friedrich Struense arresteret efter et maskebal i Hofteatret i København. Han kom i arrest på Kastellet. Han blev afhørt og efterfølgende dømt for majestætsfornærmelse. Grunden var hans affære med Dronning Caroline Mathilde. Han sad i 3 måneder indtil sin henrettelse.

Kastellet fungerede under enevælden som Københavns militær- og statsfængsel. Arrestbygningen på Kastellet var bygget op ad kirken. Der var huller fra fængselscellerne til kirkerummet, hvorpå fangerne kunne følge med i gudstjenesterne.

Flere prominente fanger sad i Kastellet især anklaget for forbrydelser mod kongen eller Kongeloven.

Efter enevælden mistede Kastellet sin funktion som statsfængsel. Det vedblev dog med at være militærfængsel. Senest sad værnemagtens befuldmægtigede, Werner Best, som fange i Kastellet lige efter 1945.