Peter Joseph Savelberg werd op 10 februari 1827 in Heerlen geboren als zoon van Alexander Savelberg en Anna Elisabeth Mertens. Vader Savelberg was eigenaar van een stadsherberg, waar de postiljon van paard verwisselde en de reizigers konden overnachten. Na de dood van zijn vrouw gaf hij de drukke herberg op en werd wijnhandelaar. Hij behoorde tot de nota­belen van Heerlen. Hij was lid van de gemeenteraad en van het kerkbe­stuur. Van 1830 - 1839 was hij ook lid van de jury bij de rechtbank in Tongeren.

We weten weinig over de kinderjaren van Peter Joseph. Er wordt verteld dat hij als klein kind meetrok met de grote bronk, de jaarlijkse processie met het Heilig Sacrament. Hij speelde eerst herder en later koorknaap. In beide rollen viel hij op door zijn kinderlijke ernst en eerbied. Het is bekend dat hij als kind de mensen voor zich innam. Aanvankelijk wist hij niet wat hij wil­de worden. Zijn vader stuurde hem daarom op vijftienja­rige leeftijd naar Rolduc om lessen aan de handelsschool te vol­gen. Hij ging vervolgens naar Brussel waar hij werkte op het kan­­toor van zijn halfbroer Balthasar, die directeur van een glas­fa­briek was. De stille dorpsjongen Joseph kon echter niet wen­nen aan het werkmilieu en de gesprekken in de fabriek. Hij keerde spoe­dig terug naar het landelijke dorp Heerlen. Zijn toekomst stond nu vast: hij wilde priester worden.Voor zijn studies ging hij opnieuw naar Rolduc. Zijn gods­dienstige aanleg kwam duidelijk tot uiting. Iedere avond na het eten bracht hij veel tijd in de kerk door om te bidden. Toen reeds bleek zijn bijzondere godsvrucht voor Christus in de Hei­lige Eucharistie. Iedere zondag ging hij ter communie en de biecht op zaterdagavond als voorbereiding op de zondag werd nooit overgeslagen. Savelberg was een goed student met niet alleen aanleg voor talen, maar ook voor wiskunde en filosofie. Tevens had hij gevoel voor muziek. In de harmonie van Rolduc speel­de hij klarinet. In 1851 vertrok hij naar Roermond om zijn studie theologie voort te zetten aan het grootsemina­rie. Anderhalf jaar later, nog voordat hij zijn priesterstudie had voltooid, werd hij al benoemd tot leraar aan het bisschoppelijk college voor de vakken geschiedenis, wiskunde en Duits. Hij eiste veel van zijn leerlingen, maar nog meer van zichzelf. Hij ging hartelijk met de leerlingen om, maar eiste plichtsvervulling. Vanwege de nauw­keurigheid waarmee zijn ogen alles opna­men, kreeg hij de bijnaam ‘de valk’.
 

Op 3 september 1854 werd hij door Mgr. Paredis, bisschop van Roermond, tot priester gewijd. Anderhalf jaar later, in april 1856, werd hij rector van het zustersklooster met meisjespen­sio­naat Nonnenwerth op het Liebfraueneiland in de Rijn bij Bonn. De in zichzelf gekeerde asceet Savelberg, met zijn voor­liefde voor stilte en gebed, bleek toch niet zo op zijn plaats te zijn in een functie als leraar. In Non­­­nenwerth kwam hij in nauw con­tact met het vrou­we­lijke kloos­­terleven en te­vens kon hij in de beslotenheid van het kloos­ter zijn beschouwend le­ven verdiepen door veel ge­bed. De kroniekschrijfster van het kloos­ter vermeldt dat hij onder hen leefde als een be­scheiden en eenvoudig man, die zich nooit opdrong of op zijn recht stond, maar zijn plicht vervulde. Die zonder het te zoeken grote in­vloed uitoefen­de en zonder het te ver­moe­den voor allen een voorbeeld was. De tijd in Nonnen­werth zou een blijvende invloed heb­ben op het verdere leven van Savel­berg. Hij had een beter in­zicht gekregen in de eisen, ge­woon­ten en moeilijkheden van het kloosterleven. Tevens had hij kennis gemaakt met de geest van Franciscus, die hij later aan de zusters en broeders van zijn congregatie zou overdragen.

Op 6 december 1863 werd hij benoemd tot kapelaan in Schaes­berg. Vier maanden na zijn aankomst in deze plaats stierf de pastoor. Kapelaan Savelberg moest een half jaar alleen de ziel­zorg verrichten. Hij trof in Schaesberg sociale wantoestan­den aan. Vele gezinnen leidden een armoedig bestaan, niet door gebrek aan voedsel, maar door een ondoelmatige huishou­ding van de moeders die niet op hun taak waren voorbereid. Bejaarden werden geestelijk en lichamelijk aan hun lot overge­laten. De weeskinderen werden uitbesteed bij vreemden of bij een oom of tante ondergebracht. Zij werden als goedkope arbeidskrachten uitgebuit. De opvoeding en het onderwijs aan deze kinderen bleven achterwege. Daarom richtte de kapelaan in Schaesberg een Vincentiusvereniging op. Daarnaast kwam er een primitief huishoudschooltje waarover de Zusters Francisca­nessen uit Heerlen de leiding kregen. Savelberg had ook plan­nen voor de stichting van een lagere school voor meisjes en een tehuis voor bejaarden en weeskinderen. De door de zus­ters gevraagde financiële garanties kon hij echter niet geven, waar­door de plannen niet konden worden uitgevoerd.
 

In november 1865 werd Savelberg benoemd tot kapelaan aan de St. Pancratiusparochie in Heerlen. Dezelfde wantoe­stan­­den die hij in Schaesberg had proberen op te lossen, trof hij ook in Heerlen aan. Het lukte hem ook nu weer niet voldoen­de geld voor een tehuis voor bejaarden en weeskinderen bij­een te brengen. Uiteindelijk was zijn overbuurman bereid zijn eigen huis als opvang­huisje ter beschikking te stellen. Op de 4de oktober 1867 werd het godshuisje geopend. Nu was het zaak zusters voor de verzorging te krijgen. Binnen een jaar had hij zeven godsdienstig ingestelde vrouwen gevonden. In 1870 betrokken de Franciscanessen een ander pand en kon Savel­berg het oude gebouw huren. De kapelaan ging ook zelf in het pand wonen. In het begin werd er bittere armoede geleden. De zusters moesten bij de boeren in de omgeving om voedsel gaan bedelen. Op 21 juni 1872 werden de eerste zes novicen ingekleed en was de congregatie van de Kleine Zusters van de Heilige Joseph gebo­ren. De zusters leefden volgens de regel van de Derde Orde van Sint Franciscus.

De mannelijke tak van de congregatie, de Broeders van de Heilige Joseph, kwam in 1878 tot stand. Op 16 juni van dat jaar wer­den de eerste twee broeders ingekleed. De bedoeling was een religieuze orde van broeders en priesters te stichten. De Latijnse school, die in het begin van de jaren tachtig werd opge­richt, werd geen succes. Het plan om eigen priesters op te leiden moest men toen laten varen.

In de huizen van de congregatie werden veel zenuwpatiën­ten verpleegd. Toen de waterkuur van pastoor Kneipp uit Wö­rishofen in Beieren (D.) een goede geneesmethode voor deze zieken bleek, werd broeder Aloysius naar Beieren gestuurd om de Kneippmethode te leren. De Kneippinrichting van broeder Aloysius in Heerlen werd later een groot succes.
 

In 1879 vierde kapelaan Savelberg zijn 25-jarig priesterfeest. In hetzelfde jaar werd hij op eigen verzoek ontslagen als kape­laan en kon hij zich geheel aan zijn congregaties gaan wijden. Er kwamen nu van alle kanten verzoeken voor nieuwe stichtingen binnen. In 1876 werd een filiaal in Schaesberg ingericht. De eerste grote stichting buiten Heerlen vond plaats in Heel bij Roermond. Deze in­rich­ting werd een toevluchtsoord voor imbi­ciele en idiote kinderen, epileptici, gebrekkige en kindse bejaar­den, voogdij- en weeskinderen en maatschappelijk onge­schikten. In 1889 werden er kloosters in Waubach en Bugge­num geo­pend. In beide dorpen begonnen de zusters een naai-­ en be­waarschool en verzorgden zij de wijkverpleging. In 1890 na­men de zusters de huishoudelijke zorg in colleges en semina­ries op zich. Zij trokken ook de grens over naar België: Lana­ken, Rot­hem, Gellik en Stokkem. In deze plaatsen verzorgden zij de be­waar­school, het lager onderwijs, de wijkverpleging en de verzor­ging van armen, wezen en ouden van dagen. In het nieuwe St. Jozefziekenhuis van Heerlen, dat in 1904 zijn deu­ren opende, werden de zusters belast met de verpleging. De laatste stichting tijdens het leven van Savelberg was een door­gangshuis voor ongehuwde moeders en hun kinderen in Den Haag.