A tallósi kastélyban 1763-ban nyílt meg az első magyar állami árvaház. A „királyi árvaház“ alapítólevelét Mária Terézia adta ki 1763. júl. 18-án Bécsben, miután Esterházy Ferenc főkancellár a Tallóson levő kastélyát a hozzátartozó épületekkel örökös alapítványként felajánlotta erre a célra. A kancellár ezenkívül még 10.000 forint tőkét is letett az árvaház céljára. Nemsokkal később a Feketevíz alsó ágán, a park délkeleti végén levő uradalmi malmot is az intézet javára íratta.
Az árvaházat 75 fiú és 25 lány részére rendezték be. Az intézménybe eleinte csak a főnemesek és köznemesek elárvult gyermekeit fogadták be, de később elérhetővé vált a szegényebb rétegekből kikerült árvák számára is.
Az árvaház vezetősége a következő személyekből állott: lelki igazgató – az ő feladata volt az iskola irányítása, házgondnok, 2 tanító és 1 tanítónő, 4 szobafelügyelő és szobafelügyelőnő, 1 orvos, 1 mosónő. Az igazgatót és a házgondnokot a királynő nevezte ki.
Az intézmény keretében 4 osztályos iskola miködött; ennek vezetését a királynő kezdetben piarista atyákra bízta. A tanulók templomi kórusának és fúvószenekarának a létrehozásában az ismert zeneszerző, Johann Nepomuk Hummel apja is segédkezett.
A szájhagyomány szerint a kastélyparkban a Feketevíz folyó második, mesterséges ágát a piaristák, illetve az árvaház vezetői ásatták és halastónak használták.
1780-ban ez árvaházat áthelyezték Szencre, ahol a Nagy-Stift nevű épületben lelt új otthonra. Az árvaház igazgatója az átköltöztetéskor Geramb Ernő kapitány volt.