Henszlmann elődei a XVI. század elején WürtenbergbőI kerültek Magyarországra. A család egyik ága Bártfán telepedett le, a másik ága pedig Kassát választotta lakóhelyéül. Édesapja vas- és vegyeskereskedő, üzlete az akkori Forgács és Fő utca sarkán álló, Fő utca 38. számú házban volt, melyet a Szirmay családtól vett meg. A közelmúltig fennmaradt üzlet Kassa egyik legrégibb kereskedése volt. Ma már azonban hiába keresnénk, helyében jelenleg cipőüzlet van.
Henszlmann Imre szülőházát a kassai dóm árnyékában találhatjuk. A Fő tér nyugati térfalában, zárt sorú beépítésben, a Dómnál a Fő térből kiágazó Erzsébet utca sarkán, középkori méretű telken álló, magjában 14. század első felében épült, középkori részleteket őrző, „L” alakú alaprajzú, egy emeletes, cserép fedésű sarokház mai képe eklektikus. Fő homlokzata az Erzsébet utcára nyílik, ez hét tengelyes. Az épület megmaradt díszítéseként az eklektikus vakolatdíszek csak az emeleten maradtak meg. A földszinti rész erős, modern kori átépítés képét mutatja, amely az itt működő üzletek kirakatainak „hatékony” kialakítását szolgálja.