A Görgey nemzetség ősi felvidéki birtokközpontja Toporc, amit ősük, Szepes vármegye főispánja kapott adományként, 1256-ban IV. Béla királytól, a tatárjárás idején tanúsított hősies cselekedetéért. Jó 700 éven át jelen is voltak itt a Görgeyek, de ahogy megromlott régi kastélyuk mutatja, nincsen már helyük itt. Pedig utoljára 1907-ben az épületet teljesen felújították és egészen 1943-ig, Görgey Albert haláláig jó állapotban volt, de jött az új kor, a téeszek és proletárok világa, akik úgy elsöpörték azt a régit, mintha sosem lett volna. Pedig a Görgeyek idején még gimnáziuma is volt Toporcnak, ahol görögöt, latint és németet is tanítottak. Az Astra Polgári Társulás 2011-ben vette át a kastélyt a községtől, és fokozatosan pályázatokat nyújt be a felújítás megvalósításához. Jelenleg állagmegóvást végeznek az épületen, de szeretnék teljesen felújítani.