Poprád folyó mellett fekvő Nagyőr községet már 1256-ban megerősített helyként említik. Itt állt az egyik legészakabban fekvő Árpádkori gyepűvár, a település neve is utal rá. A falu első tulajdonosa, a Sziléziából idetelepült Warkotsch család gótikus várat épített itt. A XIV. században Károly Róbert a Berzeviczyeknek adományozta. A mohácsi csata után a települést grádeci Horváth-Stansith Márk kapta meg. A kastélyt fia, Gergely építtette 1570 és 1590 között, a korábbi gótikus vár falainak felhasználásával. A négyszögletes, tömör épület felvidéki reneszánsz stílusú. Horváth-Stansith Gergely egyébként a kor ismert humanistája volt, a kastélyban latin líceumot létesített a szepesi nemesek gyermekeinek, több tárgyat maga oktatott. (A tanintézmény 1584-től 125 esztendeig működött.) Másik érdeme, hogy az iskola mellett a korabeli Magyarország egyik leggazdagabb könyvtárát hozta létre. A kastély a 19. században a Mednyánszkyak birtokába került; 1862-ben költözött ide Beckóból Mednyánszky Eduárd báró, akkor tízesztendős László fiával. A fiú eleinte nehezen viselte a változást, ám hamarosan beleszeretett a csodálatos, vadregényes tátrai tájba, amely ösztönzően hatott lelkivilágára. Bár sokfelé megfordult, egyetlen állandó műterme a nagyőri kastély gazdasági szárnya mellett állt; ott dolgozta ki vázlatait, melyeket külföldi útjairól hozott. A műtermet édesapja építtette a festő párizsi tanulmányai alatt, olyan helyet találva a kastély mellett, amely nyugodt munkára alkalmas. Habár Nagyőr messzire esett a szellemi élet központjaitól, Mednyánszky festéket, finom vásznat, kiváló francia papírt hozatott magának, így a műteremben semmiben sem szenvedett hiányt. A festő kedvenc témái közé tartozott a Poprád folyó a maga jellegzetes kanyarulataival, meredek partjaival. Ez a motívum újra meg újra megjelent műveiben. A környék népe rengeteg portré festésére ihlette, a tájképek mellett közülük is sok látható itt. A múlt század hetvenes-nyolcvanas éveiben az épületet a Szlovák Nemzeti Galéria takarosan rendbe hozatta, és több kiállítást rendezett be benne: régi bútorok, dísztárgyak, Mednyánszky sok rajza és festménye látható itt. Külön kiállítást képez a régi könyvtár. Egyetlen, de nem elhanyagolható hiányérzete lehet a látogatónak: hiába keresi a kastélyban a magyar nyelvű tájékoztatást. Még a képkeretek is úgy „simulnak” a festmények köré, hogy lehetőleg lefedjék a festő szignóját. Hogy a Tátra szerelmese magyar piktor volt, az szinte csak a tárlókban látható okmányokból (ilyen például Mednyánszky halotti levele) derül ki, feltéve, hogy odatéved az ember pillantása.
A Mednyánszkyak után a Czóbel család lett a kastély gazdája. Utóbbiaktól „államosították” 1945 után. Az itt őrzött képtár döntő többsége ezután szétszóródott.
A kastélyt jelentős angolpark veszi körül, amelyet DK felől a Poprád folyó határol. A parkban nyugszik a kastély utolsó tulajdonosa, a legendás életű, kivételes tartású Czóbel Margit bárónő, maga is képzőművész, aki egészen 1972-es haláláig lakta saját kastélyának az új urak által számára kijelölt szobácskáját.