I slutningen af 1600-tallet indrettede man et fængsel på loftet i Mølletårnet. I portrummet er der brosten og langs væggene piksten. Alle etageadskillelser består af brædder og et svært bjælkelag.

I 1873 besluttede man at nedrive Mølleporten, men det skete heldigvis ikke. I 1895 blev den fredet som fortidsminde. I 1895 begyndte Erik Schiødte en restaurering, som sluttede i 1896. Porten fik sit nuværende udseende i 1902 ved en hovedrestaurering, hvor en omfattende ommuring af facaden og en omsætning af taget skete.

I august 2019 modtog Vordingborg Kommune 10 mill. kr fra A.P. Møller Fonden til at restaurere bygningen.

Den er blevet restaureret (af Realdania) og har givet borgerne adgang til en bygning, der ikke har været tilgængelig i flere hundrede år.