XIV. század eleje – Osgyán jobbágyfalvát első ízben a római pápa által kiküldött tizedszedők jegyzékében említették meg. – Közelebbről ismeretlen időpontban, a helységet fennhatósága alatt tartó Orlay nemesi família építette fel azt az erődített épületet, ami a továbbiakban, mint földesúri birtokközpont szolgálta őket. 1440 után – az Erzsébet özvegy királyné által az utószülött fia védelmére az országba hívott Jan Giskra cseh huszita zsoldosvezér katonasága hatalmas területeket foglalt el a Felvidék középső és K-i részein. – Ekkoriban szállhatták meg a cseh fegyveresek Osgyán erődítményét is. 1459–1462 között – Közelebbről ismeretlen időpontban Hunyadi Mátyás király serege visszafoglalta Gömör vármegyét, és benne Osgyánt is a csehektől. 1462 körül – A váruradalom visszakerült jogos birtokosához, az Orlay famíliához. 1550 körül – Korabeli adat szerint Orlay Miklós nemes úr lakott az erősségben, amely a török megszállta Fülek várának közelségében lévén, állandó veszélyben volt az ellenséges lovasportyák rajtaütéseitől. – Más forrás szerint az Orlay (Orlle) család csak a XVI. század végén költözött Osgyánba. – Nem maradt fenn olyan híradás, hogy Osgyánt megostromolta, vagy elfoglalta volna a török. 1590 – A korabeli dokumentumok szerint Bakos János az osgyáni váruradalmára ebben az esztendőben nyert pallosjogot, vagyis akár halálos ítéletet is kimondhatott a földjén élő, és főbenjáró ügyben elmarasztalt jobbágyára. 1604 nov. 17. – A Habsburg császári és királyi ház zsarnoki uralma ellen felkelt Bocskai István erdélyi főnemes leverésére Pozsonyból K-i irányban támadó Basta generális jól felszerelt, mintegy 15–20 ezer főnyi zsoldosa Osgyánhoz érkezett. Itt állt védelmi állásba Németi Balázs hajdúkapitány, aki 4 ezres hajdú és szintén 4 ezres jobbágyfelkelőnek parancsolt. A hajdúk sáncokat ástak a környező magaslatokon, de a legtöbben a palánkfallal kerített jobbágyfaluban és az osgyáni kastélyban védekeztek. Basta generális a teljes haderejét rohamra küldte, a harcedzett zsoldosok rövidesen már a kastélyba szorították vissza a felkelőket. Németi Balázs 500 emberével több kirohanást is intézett, de mindig visszaszorították őket. Miután az ostromlók felrobbantották az erődített épület tornyát, a megszorult védők – mintegy 400 fő – bejelentette a megadásukat. Bár Basta generális kegyelmet ígért nekik, a kivonulók legnagyobb részét lekaszabolták a vérengző idegen zsoldosok. Az életben maradottakat a fővezér szigorú őrizet alá vonta. Köztük volt Németi Balázs hajdúkapitány is, akinek bal karját golyó érte, így került sebesülten fogságba. Basta parancsára a lábánál fogva felakasztották, hogy így csikarjanak ki tőle vallomást a Bocskai seregek hollétéről. A kínzás eredménytelen maradt, így a császári csapatok tovább vonultak K-felé. – Németi Balázs kivégzésére november utolsó napján került sor. A hajdúkapitány itt is rendíthetetlen bátorságáról tett bizonyságot, mivel amikor a táborból kivezették, hogy a vesztőhelyre vigyék, az elöl összekötözött kezével elragadta a pallost a hóhértól, és vadul vagdalkozva, több zsoldost is megölt. Végül az őt mindenfelől közrefogó császári katonák csapásai alatt lerogyott és meghalt. 1607 nov. – Basta generális zsoldosai az edelényi–besenyői csatában ismét diadalmaskodtak a hajdúk felett, de mivel nem tudták elfoglalni a Bocskai fő bázisának számító Kassa városát, kénytelenek voltak Eperjesre húzódni téli szállásra. 1631 – Az előző főispán halála után Karvai Orlay (Orlle) István báró töltötte be Gömör vármegye legfontosabb királyi hivatalát, egészen az 1641-ben bekövetkezett haláláig. Ebben az időszakban az Orlay família már a magáénak tudhatta Osgyán, Szabadka, Csehbrézó, Karva és Lehota helységeket is. — Az uradalmat a magáénak mondhatta még a középkor évszázadaiban a Bakos, Korponay, Szakál, Vajna és a báró Luzsénszky nemesi családok is. – Nagy valószínűséggel a XVII. század első felében történt meg a középkori erősség átépítése az akkoriban a tehetősebb nemesi családok között uralkodóvá vált felvidéki reneszánsz várkastélyok stílusában. 1645 dec. – Az I. Rákóczi György erdélyi fejedelem és a Habsburg császár és király között zajló háborút lezáró linzi béke megkötése után, Osgyán földesura Bakos Gábor is hűséget esküdött III. Ferdinándnak. 1647 – Az országgyűlés rendelete szerint megerősítették a végvárat a török portyázók hirtelen támadásainak kivédésére. 1666 okt. 17 – Miután ezen a napon fiú utód hátrahagyása nélkül elhunyt Osgyáni Bakos Gábor, a több vármegyére kiterjedő birtokai, így Osgyán és Csetnek váruradalmai is, visszakerültek a Kamara kezelésébe. – Rövidesen mégis a leányági Géczy família szerezte meg. 1678 szept. 27 – Ezen a napon a Habsburg császári ház elleni felkelők támadták meg az erődített nemesi lakot. A roham eredményéről nem maradt fenn adat, de az októberi hónap folyamán kénytelenek a kurucok az egész Gömör vármegyéből kivonulni. 1681 – A megismétlődő kuruc támadások kivédésére az országgyűlés elrendelte Osgyán és Putnok megerősítését. – II. Rákóczi Ferenc szabadságharca idején a földesura Géczy Zsigmond, akinek a leánya a később „elhíresült” lőcsei fehér asszony, vagyis Géczy Julia volt, aki Korponay János kuruc kapitányhoz ment feleségül. Így az osgyáni birtok is ez utóbbi famíliát gazdagította. XVIII. század – A Rákóczi kuruc szabadságharc bukása után az épület elkerülte a Habsburg császár által a magyar erősségekre kimondott felrobbantási parancsot. Az itt élő földesúri család utasítására a külső védőműveket {kőfalakat és árkokat} megszűntették, a belső magot is kényelmes, barokk stílusú lakópalotának alakították át. 1900 – Ebben az időszakban a lengyel származású báró Luzsénszky família tagjai lakták a nagyméretű épületet, ahol értékes levéltárt és képtárt is őriztek.
A kastélyt a két világháború között Orsolya rendi apácák lakták. A II. világháború alatt súlyos sérüléseket szenvedett, belső berendezése megsemmisült, az 50-es éveitől lakatlanná vált. A kastély helyreállítása a 70-es években megkezdődött, de hamar félbeszakadt.
2019. október 3-án a 40 x 40 méter alapterületű kastély teljes tetőszerkezete leégett. A helyiek beszámolója szerint a tűz több helyen keletkezett egyszerre, így nem kizárt, hogy gyújtogatásról volt szó. Felújítására és kihasználására különféle terv született, de egyik sem valósult meg. A műemlék hányattatott sorsát jól mutatja, hogy többször is gazdát cserélt, sőt végrehajtás alatt is állt. Könnyen lehet, hogy ez a tűzvész végleg megpecsételte a jövőjét.
A pusztuló kastély szomszédságában található, szintén védettséget élvező kastélykert is hasonló elhanyagolt állapotokat mutat.

Leírása:
Osgyán község belterületén, az utcák fölé magasodó kisebb dombon emelkedik az, az erődített nemesi épület, aminek külső képe jelentősen megváltozott az elmúlt évszázadok alatt. Míg a XV. században, az Orlay nemesi família, majd a cseh husziták, és a török hódoltság korában még inkább várként szolgálta a földesurait, addig a háborús idők elmúltával már, mint kényelmes palota, tágas, jól fűtött szobákkal, világos ablakokkal állt az itt élő előkelők rendelkezésére. Nagy valószínűséggel a XVII. század első felében az addig itt álló középkori várat felhasználva (átalakítva vagy lebontva?) húzták fel az akkoriban uralkodóvá vált felvidéki reneszánsz várkastélyt, ami magán viselte annak jellegzetességeit. Így a külső képét a sgrafittós vakolat, tágas ablakok, díszes pártázat határozta meg, míg belülről kényelmes, jól fűthető szobák szolgálták a földesúri família tagjait. Természetesen a korszak rossz közbiztonsága – török rablóportyák, garázda zsoldosok – miatt kiépültek a külső védőművek is (lőréses kőfal és szárazárok), de ezek a háborús idők elmúltával feleslegessé váltak, ezért lebontották őket. Ezt követően már csak a négyszögletes, barokk stílusban erősen átépített többemeletes belső lakótömböt volt megtekinthető, míg a történeti krónikákban megemlített külső védőműveket csak egy régészeti feltárás tudná a napvilágra hozni.