Vanouds beschouwt men de Hasseltse kluis als de oudste nederzetting van de augustijnen in de Nederlanden en men noemt daarbij het jaar 1236. Helemaal zeker is dit niet. In de loop van de 13de en 14de eeuw ontstonden er kloosters in bijvoorbeeld Edingen, Maastricht, Gent, Mechelen, Brugge en Leuven. De eerste kloosters van onze orde in de Nederlanden waren oorspronkelijk ingedeeld bij de Duitse en Franse ordesprovincies. De rivier, de Schelde, vormde de natuurlijke grens tussen beide provincies omdat het gebied ter linkerzijde behoorde tot het Frankische rijk en ter rechterzijde tot het Duitse rijk. De kloosters in het graafschap Vlaanderen ten westen van de Schelde, namelijk de conventen van Ieper, Brugge en Gent behoorden tot de Franse provincie. In de overige steden traden de provinciaals van de Duitse provincie op. Toen tussen 1304 en 1314 het aantal kloosters in de Duitse provincie tot 80 was gestegen, zag men zich genoodzaakt een verdere opdeling in provincies door te voeren.
Er ontstonden vier provincies: de Rijn-Zwabische met Zwitserland, Zwaben, en de Zuid-Rijnstreek; De Keulse- Belgische provincie met de Rijnstreek vanaf Mainz, België, Nederland en Frans-Vlaanderen; de Saksisch-Thuringse met Franken, Thuringen en Noord-Duitsland en tenslotte De Beierse provincie, met Beieren, Oostenrijk, Stiermarken, Karinthië, Silezië, Bohemen en Polen. De augustijnen waren actief in de prediking in hun eigen kerken en daarbuiten, maar ook in de wetenschap. De eerste universiteit van de Lage Landen werd opgericht in de refter van de augustijnen in Leuven en verschillende medebroeders leverden hun bijdrage aan de universiteit.
Naar aanleiding van de aansluiting van het Keulse moederklooster bij de Saksische Observantencongregatie in 1509 werd de naam Provincia Coloniensis soms vervangen door Provincia Flandriae of Provincia Inferioris Alemanniae of Provincia Belgica.
De publicatie van 95 stellingen tegen de aflaathandel door de augustijn Maarten Luther was de opmaat voor een religieuze omwenteling. Maarten Luther behoorde tot de Saksische observantencongregatie en via deze congregatie was er ook contact met Belgische augustijnen. De prior van het Antwerpse klooster, dat kort daarvoor was opgericht, Jacobus Praepositus, was een leerling van Maarten Luther en verkondigde de hervormde leer. Twee augustijnen van dit klooster hadden de twijfelachtige eer als eerste martelaar van de reformatie op de brandstapel in 1523 te Brussel te sterven.
Door de godsdiensttroebelen van de 16de eeuw kwam er een einde aan de eerste expansie van de augustijnen. De orde kwam zwaar gehavend uit deze moeilijke periode. Van alle kloosters in de Lage Landen zou alleen het klooster van Leuven niet worden verwoest.
De 17de eeuw zou echter een nieuwe en grootse bloeiperiode worden. De bedstaande kloosters werden hersteld en talrijke nieuwe stichtingen kwamen van de grond: Brussel, Bouillon, Antwerpen, Herentals, Diest, Tienen, Rijsel, Hoei, Dendermonde, Bouvignes, Douai, La Bassée, Hazebroek, Roeselare, Bree, Valenciennes en een late uitloper te Binche in 1743. Dit waren de effectieve stichtingen. De augustijnen richtten zich met name op het middelbaar onderwijs en zouden daarin zeer succesvol zijn. Samen met de jezuieten vormden zij in de 17de en 18de eeuw voor een groot deel de jeugd in hun scholen in de Zuidelijke Nederlanden.
Daarnaast waren er nog zeker 44 pogingen om nieuwe kloosters te stichten die uiteindelijk niet succesvol bleken te zijn. Door de snelle ontwikkeling drong zich een nieuwe splitsing van de Provincia Coloniae op. In 1679 werd een aparte Keulse Provincie opgericht en in 1682 werd het andere deel opgedeeld in de Gallo-Belgische en de Flandro-Belgische Provincie. De Gallo-Belgische Provincie telde aanvankelijk acht kloosters maar in 1717 werd dit aantal teruggebracht tot vijf (Rijsel, Douai, La Bassée, Valenciennes en Hazebroek). De Flandro-Belgische Provincie omvatte zowat alle kloosters in de Nederlanden. Hoewel de staties in de Republiek een apostolische prefectuur vormden, viel het ambt van prefect meestal samen met dat van provinciaal van de Keulse, later de Belgische Provincie. In 1783 werd onder druk van Jozef II ook een aparte Luikse Provincie in het leven geroepen.
Tijdens de Franse revolutie werden alle augustijnen uit hun kloosters verjaagd. Zo goed en zo kwaad als het ging zochten paters en broeders hun soelaas in het parochiewerk of onderwijs. Hoewel de heftigheid van de revolutie in kracht afnam bleek het zeer moeilijk om gestalte te geven aan een vorm van religieus leven. De eens zo bloeiende augustijnenprovincie dreigde volledig te verdwijnen.
Verschillende augustijnen zochten tijdens de Franse Revolutie hun toevlucht tot de staties in de Noordelijke Nederlanden. Augustinus Naudts (1761-1844), de pastoor van de augustijnenstatie De Star te Amsterdam, onderhield nauwe contacten met zijn confrater Franciscus Van der Mensbrugghe (1771-1834), pastoor van Sint-Stefanus te Gent en illegale prior van de zich daar staande houdende kleine augustijnengemeenschap. Zij legden de basis voor een nieuwe toekomst van de augustijnen in de Nederlanden. Door het decreet van kardinaal Caprara uit 1803 was de Belgische Provincie immers officieel opgeheven en daar pater Joannes Petrus van de Winckel als laatste provinciaal en apostolisch prefect in 1811 overleed, leek het einde van de orde in de Lage Landen nabij.
Tijdens de provincieloze periode van 1803 tot 1901 werd het bestuur van de augustijnen in de Nederlanden waargenomen door een commissaris-generaal die rechtstreeks onder het gezag viel van het generalaat in Rome. Deze had naast het Sint-Stefanusklooster te Gent - het enige augustijnenklooster dat de Franse Revolutie had overleefd - ook het gezag over de vijf resterende staties in het noorden. Herhaaldelijk werden in de 19de eeuw pogingen ondernomen om oude stichtingen nieuw leven in te blazen (Diest 1837, Edingen 1845, Bree 1860, Antwerpen 1889), echter zonder succes. Nieuwe stichtingen in Nederland bleken meer succesvol. Pas in 1895 kon een onafhankelijke Nederlandse Provincie worden gesticht en in hetzelfde jaar kon men ook in Duitsland weer een augustijnenprovincie oprichten nadat pater Aloysius Campfens, prior te Gent, er in de voorgaande decennia als Visitator-Generaal het kloosterleven kon herstellen.
Met het generaal kapittel van 1901 kon de oude Belgische Provincie weer worden heropgericht. Zij bestond op dat moment uit drie kloosters: Sint-Stefanus te Gent (1295), Sint-Jansberg te Maaseik (1897-1903) en Ohain-Argenteuil (1900-1921). Van dan af zou de Belgische Provincie een nieuwe expansie kennen zonder evenwel de grandeur van het Ancien Régime te benaderen. Er volgden stichtingen in De Haan (1902-2001), La
Praille Tamines (1921-1921), Marchienne - au Pont (1921-1987), Sint Truiden (1928-2001) , Bouge (1935 ), Kontich (1936-2001), Leuven (1946) en Brussel (1966-1968 ). Met de stichting van een klooster in Kontich keerde men weer naar het vanouds bekende apostolaat van het onderwijs door de start van een middelbare school, het Sint Ritacollege. In Bouge ontwikkelde zich een belangrijke Sint Ritadevotie. De augustijnse aanwezigheid in Wallonie bleef beperkt en ook het aandeel van Waalse medebroeders bleef beperkt. Door de stichting van een klooster in Leuven kreeg het wetenschappelijk karakter van de orde weer vorm en verschillende medebroeders zouden actief zijn als docent op de universiteit. In 1952 werd begonnen aan een missie in Congo.
Door de vermindering van het aantal roepingen vanaf de jaren zestig werden verschillende kloosters weer gesloten. Halverwege de jaren 2000 nam het kapittel van de Belgische provincie een belangrijk besluit door zich in te zetten voor de opleiding van buitenlandse studenten tot augustijnen van de Belgische provincie. In 2009 kwamen de eerste kandidaten. Na aanvankelijk een moeizaam en teleurstellend begin deed de eerste augustijn van de nieuwe generatie in 2015 zijn plechtige geloften. Door het verminderd aantal kloosters werd de Belgische provincie veranderd in een vicariaat dat bestuurlijk directer onder het gezag van het generaal bestuur viel.
In 2017 nam de provincie een moedige beslissing. Omwille van de recrutering en vorming van nieuwe kandidaten uit West Afrika werd een huis gesticht in Lome ( Togo ). Pater Martin Davakan en broeder Julien werden de eerste bewoners. Kandidaten uit met name Ivoorkust, Benin en Togo kunnen hier intreden en hun vorming krijgen. Na enkele jaren werd een eigen kapel en bibliotheek gebouwd waardoor er letterlijk meer ruimte kwam. Nieuwe kandidaten uit Togo, Benin, Ivoorkust, Vietnam en Zuid-Sudan komen op dit moment de Belgische gelederen versterken. Op dit moment kent de provincie vier huizen en 30 plechtig geprofesten.