Keizer Karel V besloot de dwangburcht te laten bouwen. Een jaar eerder had hij Utrecht ingelijfd in zijn keizerrijk. Hij wilde het gebied beschermen tegen een mogelijke inval van de hertog van Gelre en had een plek nodig om zijn soldaten te vestigen. Tegelijkertijd kon hij met de burcht de inwoners van Utrecht, die ontevreden waren met de inlijving in het keizerrijk, in toom houden. Met een dwangburcht binnen de stadsmuren laten zij een opstand wel uit het hoofd, zo redeneerde Karel.

Toen in 1568 de Tachtigjarige Oorlog begon en de Nederlanders in opstand kwamen tegen de Spaanse overheersing, werd de Vredeborch een doorn in het oog van de Utrechtse bevolking. Helemaal toen de Spaanse commandant van de dwangburcht besloot de kanonnen op de stad te richten. Van een verwoesting van de stad kwam het niet. Na onderhandelingen met de stadhouder vertrokken de Spanjaarden uit de stad.

De Utrechters zagen de Vredeburch als een gevaar voor de stad. Tegen de wil van de Staten van Utrecht in besloten de inwoners daarom de burcht te slopen. In 1581, ruim vijftig jaar na de bouw, was de burcht helemaal gesloopt.

Anno 2008 is het Vredenburg in Utrecht weer toneel van sloopwerkzaamheden. Hierbij zijn de fundamenten van de oude burcht opgegraven. Deze resten zullen worden gebruikt bij de verbouwing van het stationsgebied in Utrecht.