Néver kastélya 17. század végi, eredetileg reneszánsz stílusú. Valószínűleg a Török család építtette. 1717-ben köpösdi Tolvay Gábor szerezte meg néveri Török György hagyatékát a néveri kastéllyal együtt. 1820-ban klasszicista stílusban építették át. A kastélyhoz kiterjedt park és gyümölcsös is tartozott.
A szocializmus egy ideig próbálkozott új funkciókkal ellátni (volt magtár, raktár és bentlakásos sajátos nevelési igényű gyerekekkel foglalkozó iskola is) az épületet, de 1974-ben bezárták, és sorsára hagyták. Jelenleg belső tere romokban áll, tetőzete beszakadt, parkját felverte a gaz.