Guldberg Plads fik sit navn i 1915 efter Guldbergsgade. Denne gade ligger langs med den vestlige side af pladsen – denne gade er opkaldt efter forfatter og professor Frederik Høegh-Guldberg. Guldberg var lærer på Blågårds Seminarium i nærheden og opførte i start 1800-tallet en villa ved gaden.

I 2015 blev pladsen renoveret af landskabsarkitekterne 1:1 Landskab, inden da var den en øde plads. I dag er der masser af mulighed for aktiviteter på pladsen, både for børn og voksne. Der er bla. lavet en klatreskov bestående af blå pæle på en lille bakke. Disse blå pæle blev valgt for at få stedet til at se smukt ud, også når det ikke blev brugt.

Derudover er der bla. gynger, boldbane og en hundegård.