Od starog grada Ivanca ostale su samo malobrojne fotografije i mjesto na kojem se nalazio. Dvorac koji je stradao u II. svjetskom ratu, oštećen nakon požara 1943. godine, bio je izložen propadanju, a 1959. godine srušene su preostale dvije kule i tako njegov svaki trag nestaje. Kameni ostaci dvorca danas su ugrađeni u temelje glavnih ivanečkih ulica.
Ivanec je bio obrambeni kaštel koji se sastojao od četiri krila koja su se kružno zatvarala. Od okoline je bio odijeljen dubokim opkopima vode, a u kaštel se ulazilo preko mosta iznad grabišta punog vode.
Poznato je da je kaštel Ivanec podigla mađarska obitelj Petheö de Gerse u prvoj polovici 16. stoljeća, međutim, o nastanku starog grada, gradnji i izgledu ne zna se mnogo, a jedini prvi sigurni podatak o njegovom postojanju je iz 1558. godine kada je u posjed uvedena Frakcija Choron, žena Benedikta Petheö.
U ispravi kralja Ferdinanda II. spominje se da je kaštel sagrađen iz ruševina stare križarske crkve. No, ovaj je podatak vjerojatno netočan jer su istraživanja pokazala da je crkva u to vrijeme još postojala. Razlog za gradnju kaštela vjerojatno su bili sve češći prodori Turaka, pa je svako vlastelinstvo trebalo okružiti obrambenim zidom ili zdanjem gdje bi se stanovništvo moglo zakloniti i braniti se.
Djelovanje srednjovjekovnog svećeničkog reda
Ime mjesta Ivanec i gore Ivanščice, podno koje se smjestio Ivanec, potječe od srednjovjekovnoga svećeničkog reda ivanovaca. Ivanec je tako ime dobio po kapeli Sv. Ivana Krstitelja koju su ivanovci podigli na području današnjeg naselja. Prvobitni naziv naselja glasio je općina Svetog Ivana, a tijekom vremena ostali su toponimi Ivanec i Ivančica.
Pretpostavlja se da su ivanovci već u 12. stoljeću posjedovali kompleks oko Ivančice i Ivanca. Ovaj svećenički red u ivanečkom kraju spominje se i u povelji Bele IV iz 1238. godine. Njihovi su se veliki posjedi nalazili na planini Ivančici i podno nje. Sjedište im je bilo u utvrđenom gradu Beli (danas Pusta Bela).
Posjed ivanovaca, osim Bele, imao je nekoliko manjih gospodarskih jedinica u Cerju, Jurketincu i Ivancu. Sam Ivanec prvi puta se spominje 1396. godine u povelji ivanovca Ivana Paližne ml., priora belskog, kojom se potvrđuju povlastice trgovišta i određuju dužnosti stanovnika Ivanca.
Posjed u vlasništvu mađarske obitelji
Vlastelinstvo Bela, kojem je pripadao Ivanec, prešlo je sredinom 15. stoljeća u ruke svjetovnih feudalaca. Vlasnici su bili različita već poznata imena, kao Matko Talovac, Ivan Vitovac, kralj Matija Korvin i sin mu Ivaniš.
Oko 1500. godine Ivaniš je, uz zalog od 5600 dukata, prodao Belu i Ivanec obitelji Pethö de Gerse koja je zadržala posjede do 1730. godine, kada je umro posljednji član obitelji. Za vrijeme Pethöovaca, početkom 16. stoljeća, ukinute su povlastice trgovišta u Ivancu iz 1396. godine, a njegovi stanovnici postali su kmetovi. Oni su 1568. godine podigli bunu, ali svoje „stare pravice” nisu uspjeli vratiti.
Iz jednog dokumenta sačuvanog u Hrvatskom državnom arhivu saznajemo da je zadnji Petheö 1713. godine imao u gradu 14 gospodarskih stambenih prostorija i još jednu „palaču”, zatim podrum, spremnicu, kuhinja i ostale prostorije potrebne gospodarstvu, kapelu u gradu, marof s tri zgrade, ribnjak, mlin na tri kotača za mljevenje žita i jedan s jednim kolom za mljevenje kaše.
Ivan Pethö ostavio je imanje zapušteno i u velikim dugovima, a nakon smrti njegove udovice Barbare Falussy, posjed prelazi u kraljevsko vlasništvo.
Godine 1740. darovnicom cara Karla VI., koju je potvrdila i Marija Terezija, Ivanec, Belu, Cerje i Jurketinec dobiva grof Ladislav Erdödy. Nekoliko godina kasnije dvorac je obnovljen, izgrađen je drugi kat i povećana udobnost. Erdödy je dao dovesti u opkope oko dvorca vodu, premjestio je obližnju kapelicu i odstranio groblje iz dvorišta.
Borba za vlasništvo
Ženski potomci obitelji Pethö dosjetili su se 1763. godine da im je nepravedno oduzeto nasljedstvo na koje su imali sva prava, jer su njihovi davni preci ta imanja stekli novcem, a ne kraljevom darovnicom.
Da dođu do svojih posjeda, nasljednici su pokrenuli parnicu koja je trajala 54 godine. Parnica je 1817. godine okončana u njihovu korist te je nasljedstvo obitelji Pethö de Gerse razdijeljeno na 15 plemićkih porodica rodbinski vezanih s tom obitelji.
Ivanec je došao u posjed baruna Adama Peharnika i Antuna pl. Kukuljevića. Od 1818. godine cijeli dvorac Ivanec pripao je obitelji Kukuljević Sakcinski.
Ivanec u 19. stoljeću i nakon
Ladislav Kukuljević je konačno uredio ivanečki stari grad, a dobro uhodano vlastelinstvo ostavlja nećaku Božidaru Kukuljeviću, najmlađem sinu povjesničara Ivana Kukuljevića – Sakcinskog.
On je prostor zapuštenog ribnjaka i livadu pretvorio u engleski perivoj, a danas park u Ivancu. Poznato je da se Ivan Kukuljević potkraj života povukao iz politike i da se u dvorcu u Ivancu posvetio znanstvenom radu, osobito povijesti.
Kasnije zbog dugova dvorac dolazi u posjed dr. Josipu Šabanu, koji za saniranje duga rasprodaje posjed od kojeg ostaje samo dvorac s perivojem, mlin i nešto šuma.
Pred II. svjetski rat od posjeda je ostao samo dvorac s parkom koji je postao najamna kuća, a vlasnici su za ljetni odmor koristili samo 5 soba.
Ivanečki se dvorac tijekom svoje prošlosti mnogo puta mijenjao od kaštela do dvorca. Ostali su tragovi brojnih generacija i raznih vlasnika, izmiješala su se različita stilska obilježja.
Dvorac je stradao u II. svjetskom ratu. Zapaljen je 1943. godine i u požaru teško oštećen. Poslije rata imanje je nacionalizirano, a za obnovu dvorca nove vlasti nisu imale razumijevanje pa je izložen propadanju, a 1959. godine srušene su preostale dvije kule. On danas više ne postoji.
