Északnyugat-délkeleti tájolású szimmetriatengelyű, zárt udvaros, összetett alaprajzú épület. Fő szárnya az északnyugati részen található, egyemeletes reprezentatív épület, amelyhez két végén csatlakoznak a gazdasági épületek, hozzávetőlegesen patkó alakban zárva a belső udvart. Teljes kiterjedése kifejezetten nagy, udvarával együtt meghaladja az egy hektárt.
A mai épület helyén egy 17. századi reneszánsz kastély állt, ám annak az alaprajzi kiterjedése sem ismert. A ma látható kastély 1760-ban lett készen, az építtetője Esterházy Ferenc lehetett, s feltehetően a család házi építészei, Fellner Jakab és/vagy Tallherr József tervezte. Nem sokáig volt a család használatában, hiszen 1763-ban árvaházat (ez volt az első magyar állami árvaház) alapítottak benne, majd az árvaház Szencre költöztetése után fenyítőházként használták. Ez sem maradt sokáig itt, a büntetőintézet 1785 és 1790 között Szegedre költözött.
Ezután évtizedekig hivatalosan elhagyatva állt, ám feltehetően időközben ide költözött a kastély iskolája. Az Esterházy-család nyilván azért nem sietett a kastély újbóli belakásával, mert rezidenciájukat Cseklészen tartották (http://muemlekem.hu/hatareset/Esterhazy-kastely-Cseklesz-127), a tallósi kastély legfeljebb nyaranta, vadászatok idején vették használatba. 1825-ben Esterházy Mihály Tallóson angol telivér ménest alapított, amely a század második felében világhírűvé lett. 1910-ben korszerűsítették a kastélyt, nagy részében központi fűtést építettek ki, mert 1906 után Mihály gróf özvegye két lányával tartósan beköltözött a kastélyba. A második világháború után elhagyták az Esterházyak, az állami gazdaság irodája és óvoda költözött be. A kerti építmények nagy részét lebontották a század második felében.
A kastélytól északnyugatra található az egykori kastélypark, amely védettséget élvez. A felújításra szoruló kastély tulajdonosa az oktatásügyi minisztérium. 1763-ban Mária Terézia tölgyfát ültetett el a parkban, amely ma is él. 2013 őszén az árvaház alapításának 250. évfordulóján megrendezett ünnepség keretében Habsburg Károly tölgyfát ültetett a kastélyparkban.
A 2. világháború után állami tulajdonba került, 1957-ben mezőgazdasági szaktanintézet, 1967-tól bennlakásos speciális iskola működi falai közt.