Již v roce 1881 dala královna Saská Karola postavit na počest své matky Louisy, princezny z Vasů, chudobinec pro 12 chudých panství moraveckého. K ošetřování chudých a nemocných a k vedení chudobince povolala královna Karola Milosrdné sestry svatého Karla Boromejského z polského Těšína. Sestry Boromejky působily na Moravci až do roku 1953. Hlavním zpovědníkem sester boromejek byl moravecký farář P. Kašpar Dunda. P. Kašpar Dunda přišel na Moravec v roce 1880, brzy si svojí upřímností, skromností a zbožností získal důvěru a přízeň svých farníků. Byl hlavním iniciátorem stavby Sanatoria svatého Rafaela. Základní kámen sanatoria byl položen 7. 9. 1905 a slavnostně vysvěceno a předáno do užívání dne 25. 8. 1907. P. Kašpar Dunda založil z některých františkářských terciářek "Družinu III.řádu sv. Františka na Moravci pod ochranou sv. archanděla Rafaela". Družina bydlela ve vlastní budově při Sanatoriu, vedla řeholní život s představenou v čele. Sanatorium se velice brzy stalo vyhledávaným místem, kde se lidem vracelo tělesné zdraví pomocí vody studené - střiky, omývání, páry - parní lázně, odvarů z bylin a slunečních lázní. Před druhou světovou válkou i během ní byla činnost Sanatoria velice omezena a již se v plné síle neobnovila. Po druhé světové válce se sice zdálo, že sestry rafaelky budou moci obnovit svoji činnost v Sanatoriu. Ale přišla léta padesátá a s nimi proti církevní politika komunistického režimu, jejímž cílem byla likvidace řeholních řádů, perzekuce a pronásledování kněží, řeholníků a řeholnic. Zatímco řeholníci byli vyhnáni ze svých klášterů v noci ze 13. na 14. dubna 1950, řeholní sestry byly odsunovány na podzim téhož roku. Ve dnech 26. 27. září 1950 bylo 19 sester rafaelek převezeno z Moravce do Rýžoviště v okrese Bruntál.
Budova Sanatoria osiřela. Ale již za krátkou dobu měla plnit nové poslání. Kněží a řeholníci, kteří byli nuceni opustit své kláštery, byli umisťováni do pracovních táborů případně přidělováni k "PTP" (pokud byli zdraví a práce schopní), někteří byli internováni v internačních táborech. Pro ty, kteří již byli staří a práce neschopní byli zřizovány "soustřeďovací tábory". Jeden ze soustřeďovacích táborů vznikl i na Moravci. Dne 10. května 1951 byl v budově bývalého Sanatoria zřízen Charitní domov pro přestárlé kněze pod vedením České katolické charity v Praze. Kněží a řeholníků rychle přibývalo a už nebylo volného místa, kam umístit další. Proto byla k Charitnímu domovu pro duchovní dne 15. dubna 1953 přičleněna budova zaopatřovacího ústavu charity bývalého chudobince Louisin dům. Počet řeholníků a kněží v té době umístěných v Charitním domově na Moravci přesahoval 160. V charitním domově panoval řád a řeholníci byli stále pod dohledem. Je třeba vyzdvihnout velké úsilí, mnohdy až hrdinství, řeholních sester, které se snažily různá příkoří na řeholnících a kněžích vynahradit láskou a láskyplnou službou. Po roce 1960 charitní domov fungoval jako jakási "úschovna" kněží a řeholníků, odkud si je příslušníci státní bezpečnosti "vyzvedávali" k výslechům a také do vazby.
Po "sametové revoluci" v roce 1989 (i o něco dříve) se mohli kněží a řeholníci vracet do svých klášterů a do svých domů. Mnoho jich toho využilo a obyvatel charitního domova začalo ubývat. proto se vedení České katolické charity rozhodlo zlepšit životní podmínky obyvatel zmenšením počtu obyvatel na pokojích a také tím, že do charitního domova mohli být přijímáni muži laici, od roku 1993 i ženy - farní hospodyně, maminky kněží i ostatní ženy. V charitním domově se vystřídalo více než 600 kněží a řeholníků, z nichž je více než 230 pohřbeno na moraveckém hřbitově. Výpisky z pamětního spisu v r. 1900 uloženém ve věži kostela ze školní kroniky a časopisu Vlastivěda moravská Tvrz Varta Moravecká se připomíná již r. 1370 teprve r. 1630 se uvádí pod jménem zámek. Královna Karola byla poslední potomek větve Vasů. Starší linie tohoto rodu dala Rusku cara Petra III. (1762), z linie mladší stal se vévoda Adolf Bedřich králem ve Švédsku a přijal příjmení Vasa. Jeho syn Gustav (r. 1799) přijal za choť princeznu Bádenskou Louisu 1830, dceru velkovévody Karla Ludvíka a choti Štěpánky, adoptivní dcery Napoleona I. Princ Gustav Vasa a choť Louisa měli dceru Karolu, která se narodila 5. 8. 1833 v Schönbrunu, kde bydlela její matka na pozvání císaře Františka I. Za kmotry jí byli císařští manželé. Její otec Gustav V. sloužil tehdy v rakouské armádě jako generálmajor a brigádník ve Vídni. Jeho majetkem byl také starobylý zámek ve Veveří na Moravě. Tam také prožila princezna Karola léta mládí.
Asi 1840 byli rodiče rozvedeni. S otcem zůstala Karola dále v srdečném poměru. Veveří museli pro dluhy prodat. Aby matka Louisa s dcerou měly domov, koupily r. 1842 panství Moravec. Karola byl evangelička a přes velké protesty svého otce přijala víru katolickou. Roku 1852 byl kostel po vyhoření zcela obnoven. Princezna Karola byla velkou dobroditelkou lidu i kostela. Od roku 1842-1854 byla majitelkou panství na Moravci Louisa princezna z Vasu, po ní její dcera Karola 1854-1858. Princ Albert saský navštívil Moravec a požádal Karolu o ruku. 18. 6. 1853 se konal sňatek 18. 7. 1854 zemřela Louisa v králově Poli, kde žila. Roku 1873 nastoupil na trůn saský Albert a Karola. Jako královna založila Karola mnoho dobročinných ústavů, mimo jiné i moravskou faru. Sama děti neměla. Z Moravce se jí těžko odcházelo. Píše o tom: Naposledy jsem zde doma. Srdce mne bolí, když pomyslím na hranice Rakouska. Miluji zemi tu víc, než sama vím. Roku 1881 postavila Karola královna saská ke cti a chvále Boží a ku blahu svých milých starých moravských, jakož i na trvalou památku a ke spáse své matky Louisin dům, obecně zvaný klášter, který téhož roku 4. 11. 1881 posvětil farář P. Kašpar Dunda. Roku 1882 1904 navštívila královna Karola desetkrát Moravec. Roku 1858 prodala panství Moravec za 485 000 zl. Gabrielovi, říšskému svobodnému pánu Gudenusovi.
Původní záměr P. Kašpara Dundy