Magyarország vármegyéi és városai: A teljes „Borovszky” című monográfiában a következőket olvashatjuk a zsélyi birtok és a kastély történetéről: „Balassa Imre hűtlensége következtében a divényi uradalom a magyar koronára szállott és Lipót király 1686-ban gróf Zichy Istvánnak adományozta. Az adománylevélben Zsély is bennfoglaltatván, ez alapon a Zichy család visszaváltotta azt a gróf Koháryaktól. A divényi uradalmat gróf Zichy Istvánnak 1687. január 7-én kelt végrendeletével, elsőszülöttségi s az elsőszülöttek kihalta esetén senioratusi hitbizománnyá alakították át. … Az itteni nagyszabású kastélyt, a nagyteremmel együtt, 1772-ben gróf Zichy Ferencz győri püspök, a nyugati részt pedig gróf Zichy Károly († 1876) építtette. A kastély nagytermében vannak elhelyezve a család seniorainak és a hitbizomány alapítójának arcképei. A kastélyban van elhelyezve a Zichy család híres levéltára, melyet 1858-ban szállítottak át a palotai várból Zsélyre. …”*

A kastély jelenleg szinte üresen áll, a nyugati szárnyában 1939-ig a Zichy család levéltára kapott helyet, melyet a család az Országos Levéltárnak ajándékozott, erről készült repertórium bevezetőjében ez olvasható:
„A Zichy családnak 1939-ig a Nógrád megyei Zsélyen őrzött levéltára, amelyet a család ebben az évben az Országos Levéltárnak adott át, két gyűjteményjellegű fondból áll: a Zichy család irataiból, amelyek a Fejár megyei Várpalotáról 1858-ban, továbbá a Zichy Ferraris család irataiból, melyek a család fiági kihalása után, a XIX. század utolsó évtizedében kerültek Moson megyei Oroszvárról a divényi senioratus székhelyére, Zsélyre. A család és az Országos Levéltár között 1939-ben kötött letéti szerződés a Zichy család iratait palotai levéltárnak, a Zichy Ferraris család iratait pedig oroszvári levéltárnak nevezi.”**

A keleti szárnyban a 2002 óta a Zsélyi Helytörténeti és Néprajzi Múzeum működik, melynek létrejöttéhez nagyban hozzájárult Zsély díszpolgárának, Böhm József hely- és néprajztörténeti és régészeti kutató munkája. A múzeumot fia, Böhm András a zsélyi VICTORIA Kultúregyesület tagja és a szklabonyai Mikszáth Kálmán Emlékház lektora igazgatja.***