Za obeť ziskuchtivcom malo padnúť aj skalné bralo pod hradom. Z neho chceli totiž ťažiť vápenec.
Dielo skazy načal už v 17. storočí cisár Leopold I., ktorý dal z hradu strhnúť strechy, zasypať studňu a porušiť opevnenie, aby sa doň nenasťahovali protihabsburgovskí vzbúrenci. Neskoršie mal chátrajúci hrad viacerých majiteľov, no nik nevedel, čo s ním. Pred rokom 1900 sa dostal do rúk obchodníkovi Samuelovi Hahnovi. Ten začal hrad rozoberať a predávať na kameň. Jeho rozoberanie bolo zastavené v roku 1904.
„Z archívnych dokumentov vyplýva, že ťažba kameňa nebola pre Hahna až tak ekonomicky zaujímavá. Navyše hrad začala pred rozoberaním chrániť aj cirkev,“ hovorí Marian Mrva, riaditeľ Považského múzea Žilina. Obchodník preto začal ťažiť pod hradom vápenec. V ťažbe, ešte za prvej republiky, chvíľu pokračovala aj česká kapitálová skupina Lom a Vápenka Varín. Až po tom, čo sa hrad dostal do rúk Československému klubu turistov, boli všetky práce vedúce k jeho likvidácii naozaj zastavené.
