I 1892 begyndte man arbejdet af den planlagte korsformerede 4-etagers bygning. Man opførte først den 752 m lange ringmur, og derefter selve fængselsbygningerne. Gennem årene har fængslet gennemgået flere udvidelser. Fra 1914-1918 byggede man endnu en bygning til mandsfanger (østfløjen), en bygning til kvindelige fanger (vestfløjen) samt et sygehus til kvindelige fanger.

Under 2. verdenskrig blev mange sabotører indsat i Vestre Fængsel. De blev derefter dømt til døden og henrettet i Ryvangen elller overført til Frøslevlejren eller en tysk koncentrationslejr. I 2001 blev der oprettet en afsoningsafdeling for negativt stærkt styrende indsatte, bla. dem med relation til bandemiljøet, Hells Angels, Bandidos mfl. På denne måde kunne de indsatte afsondre fra fængslets øvrige indsatte.

I 2002 blev der indrettet en ny og moderne undersøgelsesstue. Her foretages ambulant vurdering og undertiden også behandling udført af fængslets sundhedspersonale eller tilkaldte speciallæger. I skrivende stund i 2022 er der endnu en udbygning / renovering igang.