Stegeborg blev under Grevens Fejde ødelagt, og befæstninger forfaldt i 1600-tallet. Oplandet omkring Stege var begrænset af beliggenheden på en mindre ø, og oplandshandelen var ikke stor. Fra 1600 tallet har der formentlig eksisteret en bro over noret. I 1700-tallet var der adskillige voldsomme brande i Stege, og først i 1800-tallet fik byen igen fremgang. Havnen blev forbedret, og handelslivet blomstrede op i 1800 tallet.

I midten af 1800 tallet kom der industrivirksomheder og i 1883 etableredes en stor sukkerfabrik syd for Stege Nors udmunding. Sukkerfabrikken fik sin egen havn, hvorfra sukkeret blev udskibet. I selve byen var der jernstøberier og hvidtølsbryggerier. I handel var omkring 31 % af befolkningen beskæftiget, hvilket gjorde den næsten lige så stor som industrien, der havde 37 %.

Stege blev i 1900-tallet hele Møns handelsby. Sukkerfabrikationen var Steges vigtigste industri – og derved livet omkring den. Selve sukkerfabrikken lå på området lige uden for byen – hvorpå Lendemark opstod.