V polovici 18.
storočia postavili rehoľníci rádu hieronymitánov s pomocou banského eráru a komorskogrófskeho úradu komplex kláštora s kostolom sv. Jozefa. Pozostáva z trojkrídlovej kláštornej rezidencie s vnútorným dvorom a kostolom. So stavbou začali v roku 1745, vysvätili ho v roku 1754.
V 19. storočí, po požiari, pristavili k barokovému kostolu novorománsku vežu. Pod kostolom je krypta, v ktorej sú pochovaní významní banskí úradníci.
Hieronymiti pôsobili na území obce do roku 1786, keď bol kláštor rozhodnutím Jozefa II. zrušený.
