1691-ben, a török végleges kiűzését jelentő szalánkeméni csata után Esterházy Pál nádor 11 000 fős zarándokcsapatot vezetett az ausztriai Mariazellbe (magyaros nevén Máriacell). Ezen a zarándokúton részt vettek a Zichy grófok is.

1702-ben a két testvér, Zichy László és Péter a mariazelli kegyszobor másolatát, a Kiscelli Madonnát kastélyuk kápolnájában helyezték el. 1724-ben gróf Zichy Péter külön kápolnát építtetett az Óbuda fölött emelkedő hegyteraszon, amelyben elhelyezték a Madonnát. A kápolna, melyet a környék németajkú lakossága Klein Mariazellnek, azaz Kismáriacellnek nevezett, a mai kiscelli kastélytól északkeletre lehetett.


A trinitárius szerzetesrend fő tevékenysége a hadifoglyok kiváltása volt. A szerzetesek élelmet, pénzt és más értékeket szolgáltattak, de gyakran személyes szabadságukat ajánlották fel cserébe a foglyok szabadon bocsátásáért. Fél évezredes fennállásuk során legalább 1 millió foglyot, köztük körülbelül 200 ezer magyart váltottak ki.


A kiscelli trinitárius kolostor alapításáról szóló okirat máig fennmaradt. Eszerint 1737-ben kezdtek tárgyalásokat Zichy Péter özvegyével, aki először az óbudai kastélya közelében levő romtemplomot akarta a trinitáriusoknak adni. A szerzetesek azonban a nagy tömegeket vonzó kiscelli kápolnát szerették volna megszerezni, mert a fogolykiváltáshoz szükséges pénzt könnyebben össze lehetett gyűjteni a nagy forgalmú és híres zarándokhelyen. Végül 1738-ban aláírták az alapítási okmányokat, és az özvegy a kiscelli dombon álló kápolnát a trinitárius szerzetesrendnek adta.

Johann Entzenhoffer bécsi építész tervei alapján ugyanebben az évben megindult a templom és a kolostor építése. A szerzetesek 1748-ban költözhettek be a kolostor nyugati szárnyába. A templom alapkövét már ezt megelőzően, 1747. augusztus 27-én letették, de a forrásokból csak 1753-ig követhető az építkezés menete. Az építkezést valószínűleg 1758-ban fejezték be.

A kolostorban néhány ágyas „kóroda” is működött, valószínűsíthetően csak afféle elsősegélynyújtó hely lehetett, főleg zarándokok számára. A kegytemplomban őrizték az ausztriai Mariazelli Madonna mását. Évente több ezer ember zarándokolt el a Madonnához, akik különböző adományokkal segítették a kolostor fenntartását és a trinitárius szerzetesek fogolykiváltó tevékenységét.

II. József 1783-ban más egyéb szerzetesrendek mellett feloszlatta a trinitáriusokét is, akik elhagyták a kolostort, így a virágzó búcsúhelyként ismert Kiscell elveszítette vallási jelentőségét. A templom pompás barokk berendezési tárgyait 1785 áprilisában potom pénzért elárverezték. A Kiscelli Madonna ekkor az óbudai Szent Péter és Pál-plébániatemplomba került.

Az épületben hamarosan katonai ruharaktár, majd hadastyánlaktanya (Invalidenhaus) létesült. 1786-ban már sebesült katonák ellátása folyt az eredetileg 400 ágyasra tervezett, de végül csupán másfél száz ágyas hadi kórházban. A katonai kórház közel egy évszázadon keresztül működött, és csak az 1890-es években szűnt meg.

Az épület közel két évtizeden át üresen állt mindaddig, míg Schmidt Miksa bútorgyáros 1910-ben meg nem vásárolta a környező területekkel együtt.