V období do husitských válek bylo město s přilehlými majetky častým artiklem premonstrátských zástav, a majitelé újezdu se proto velmi rychle střídali. Kvalitativně novou etapou v dějinách města nastolilo obsazení města husitskými vojsky (Jana Tovačovského z Cimburka) roku 1427. Počínaje tímto okamžikem se Hranice staly součástí tehdy mohutného „impéria“ nepsaných vládců husitské a pohusitské Moravy – pánů z Cimburka. Za vlády Jana a Ctibora Tovačovských z Cimburka byly Hranice opevněny kamennými hradbami (1435–1460), původně dřevěná městská tvrz, již pravděpodobně vybudovali v místech dnešního zámku někteří ze zástavních držitelů města, byla přestavěna na malý kamenný hrádek.

Roku 1470 získal hranické panství společně s hradem pan Albrecht Kostka z Postupic, nejvyšší komorník zemského soudu v Olomouci. Na hradě ovšem mnoho nepobýval a pro značné zadlužení byl brzy nucen hrad s městem zastavit panu Janu Bělíkovi z Kornic. Nehledě na tuto zástavu ale hrad s přináležejícím zbožím roku 1475 prodal za 4000 zlatých a tři životy (termín „tři životy“ znamená možnost držby v zástavě po dobu tří generací rodu, tj. po dobu života pana Viléma a jeho dvou nástupců) pánům Vilému a Janovi z Pernštejna. Tato obchodní transakce ovšem poněkud komplikovala situaci, poněvadž právoplatnými majiteli jednoho a téhož panství se stali zároveň pan Jan Bělík a pan Vilém z Pernštejna. Není známo, jak se celá věc urovnala, ale k roku 1477 byl již pánem na Hranicích Vilém. Pernštejnové vlastnili město Hranice mezi léty 1475–1547. S jejich vládou je spojen rozkvět hranického panství i města samotného. Došlo také k další přestavbě městského hradu, jenž byl významně rozšířen (snad mezi rokem 1480 a 1514). Z této doby také pochází válcový základ dnešní zámecké věže.