Den Aufstieg von einer Bauernschaft zur Kapellengemeinde verdankt Schwege nur einem Mann, nämlich dem Lehrer Mathias Niehaus. Nach einem Gelübde legte er 1862 einen Kalvarienberg nebst Kreuzweg, Ölgarten und Grabmal Christi an.
Im gleichen Jahr gründete er den Maria-Joseph-Verein, der sich den Bau einer Marienkapelle zur Aufgabe stellte. Das Werk gelang, und am 04.08.1863 wurde die Kapelle eingeweiht. Am Allerseelentage traf Vikar Gardhaus als Deservitor der Kapelle und Schulvikar in Schwege ein. Lehrer Niehaus, der das ganze Geld für den Kapellenbau zusammengebettelt hatte, diente Vikar Gardhaus bei der ersten heiligen Messe. Bald danach erkrankte er und starb am 15.11.1863.
Im Jahre 1865 baute man auch das Vikarienhaus. Somit hat die Schweger Bevölkerung das Werk des Lehrers Niehaus fortgesetzt und die Voraussetzungen für die Anerkennung als Kapellengemeinde geschaffen.
Als die Kapelle zu klein wurde, bauten die Schweger Bürger ohne Erlaubnis eine größere, nur der kleine Turm der ersten Kirche blieb stehen. Baumeister war Johann Gerhard Brömmelkamp aus Baccum bei Lingen. Aus seinem Kostenvoranschlag vom 14.03.1866 geht hervor, daß der Rohbau der Kirche 1.614 Taler und 18 Groschen kosten sollte.
Man baute eine gotische Kirche aus Bruchsteinen mit Chor gen Norden, mit 400 Sitzplätzen und einem großen Chorraum für Altar, Kanzel und Beichtstuhl, mit einem Rohrgewölbe aus Latten und 10 großen Kirchenfenstern. Der alte kleine Turm, von dem man scherzhaft behauptet, er würde bei Regenwetter unter das Kirchendach gezogen, machte erst nach dem ersten Weltkrieg einem stattlichen Turmbau Platz. Die neue Kirche wurde am 29.11.1866 von Pastor Klus aus Iburg eingeweiht.
