Universitetsbiblioteket stod færdigt i 1861. Det var beregnet til ca. 300.000 bind. Allerede inden 1900 var biblioteket imidlertid blevet for lille, også selv om man fyldte op med langt flere reoler end Herholdt havde tænkt sig. I 1907 opførtes Magasinbygningen som hjælp. Det samme gjorde udflytningen af den medicinske- og naturvidenskabelige litteratur til Nørre Allé i slut 1930’erne. Men bygningen forblev med sine mere end en halv million bind overfyldt.

I 1930 blev Universitetsbiblioteket lagt direkte under Undervisningsministeriet.

I 1996-97 blev biblioteksbygningen i Fiolstræde underkastet en gennemgribende restaurering ved den kongelige bygningsinspektør David Bretton-Meyer. Her kom antallet af kom ne reoler ned, så der kun var plads til de oprindelige ca. 300.000 bøger. Dekorationerne blev restaureret, og det oprindelige auditorium blev reetableret, nu som katalog- og it-rum. Universitetsbiblioteket blev indrettet som et moderne bibliotek med store dele af samlingerne umiddelbart tilgængeligt på åbne hylder, med læse- og arbejdspladser i nær kontakt. I de følgende år blev biblioteksbygningen i Fiolstræde en meget benyttet arbejdsplads for studerende og forskere.