Das Kloster entstand auf dem Grundstück, das am 17. August 1381 von den Brüdern Stäbiner drei Schwestern zum Bau eines Schwesternhauses geschenkt wurde. Hierbei handelte es sich um die Hofstatt «in der tann» neben der «Nöggersegge», die die Brüder als Erblehen besassen. Bei den drei Schwestern handelte es sich um Ursel Brunner aus Rheintal, Elisabeth Schneider aus Berg und Anna Frig aus Utwil. Die Frauen sollen «in göttlichen Leben» immer auf der Hofstatt wohnen bleiben. Die Bestätigung von Abt Kuno von Stoffeln vom 17. August 1396 nennt die Ursula als «Meisterin». Es handelte sich also um eine Gemeinschaft von Waldschwestern oder Beginen. Seit dem 26. Januar 1449 besassen die Schwestern auch in der Stadt ein Gebäude, nämlich jenes, das nach dem Brand von 1418 als Rathaus genutzt wurde und auf dieses Datum hin den Schwestern übergeben wurde. Anlässlich der Reformation wurde das Haus 1530 von der Stadt den Schwestern wieder abgekauft. Am 30. September 1453 wurde die Klosterkirche neu geweiht, und zwar zu Ehren der Jungfrau Maria. Da darauf am 26. Januar und 29. April 1451 auch Ablässe erteilt wurden, ist anzunehmen, dass ein Um- oder Neubau erfolgte. Während der Reformationswirren machte sich die Schwester Ursula Sturzenegger um die Erhaltung des Klosters verdient, dies endete in der Restitution des Klosters im Jahr 1532.
Die Anlage bestand 1593 aus einem einzigen Haus, das zwei Stuben, vier Kammern, zwei Keller und eine Badstube umfasste. Neben dem Haus stand eine Kirche. Die Visitation besorgten bis 1593 die Franziskaner von Konstanz. Mit der Weisung des Dekans von St. Gallen nahmen die Schwestern 1602 die Ordensregel der Kapuzinerinnen an, zu denen sie ab dem Zeitpunkt als Tertiarierinnen zugehörten. Im Jahr 1610 wurde die Reform von Pfanneregg[1] (Wattwil) durchgeführt. Am 14. Juni 1610 unterstellten sich die Nonnen dem Schutz des Abtes von St. Gallen. Einen eigenen Gottesdienst erhielten die Schwestern erst 1634, anfänglich von einem Konventualen der Abtei, ab 1893 durch einen Weltpriester. Da der Abt Gallus II im Jahr 1663 einen geräumigen Platz beim Hof Wiesen erwarb, ist anzunehmen, dass sich die Gemeinschaft gut entwickelte. Dieser Platz liegt etwas tiefer als der alte. Am alten Platz befindet sich heute ein Gedenkstein. Die Grundsteinlegung des Neubaus erfolgte am 3. Mai 1666. Am 8. September fand die feierliche Übertragung der Sakramente statt. Die Benefikation erfolgte am 4. Oktober 1666 und die drei Altäre der Kirche wurden am 7. April 1671 geweiht. Da das Kloster 1671 umfriedet wurde, wird die Annahme einer strengeren Klausur vermutet. Am 23. August 1718 zerstörte ein Brand Kirche und Kloster, einzig das Gästehaus wurde verschont. Auch das Gnadenbild des heiligen Antonius von Padua konnte gerettet werden. Das Kloster wurde umgehend wieder aufgebaut. Am 22. November 1719 wurde der Neubau benediziert. Im Jahr 1748 wurden die Gebeine des Katakombenheiligen Julianus nach Notkersegg überführt. Im Jahr 1776 wurde die «Ewige Anbetung», wie in St. Georgen, eingeführt. In der zweiten Hälfte des 17. Jahrhunderts entwickelte sich die Wallfahrt zum Gnadenbild des heiligen Antonius. 1846 erfolgte durch Herr Nussbaumer von der Firma Witwe Rheiner in St. Gallen eine Gesamtrenovation. In den Jahren 1985 bis 1986 wurde die Klosterkirche renoviert und unter Bundes-Schutz gestellt.