Die Jesuiten
Bereits 1577 wurde der Rittersche Palast jedoch den Jesuiten als Wohnhaus geschenkt. Die Stadt Luzern hatte den Papst mehrfach gebeten, Jesuiten nach Luzern zu senden, um dort eine höhere Schule zu gründen. Die Jesuiten bezogen den Bau an Weihnachten 1578. Die einzelnen Räume des Hauses wurden nach Heiligen benannt. Im Erdgeschoss, in einem ursprünglich als Keller erstellten Raum, wurde eine erste Kirche eingerichtet. Den Zugang erhielt sie durch das Seitenportal des Palastes.
Intensive Bautätigkeit der Jesuiten
1586 erwarb die Stadt Luzern für die Jesuiten zwei westlich an den Palast anschliessende Häuser, und Schultheiss Ludwig Pfyffer stiftete 10'000 Gulden. Fünf Jahre später konnte dort die zweite Kirche geweiht werden.
Im folgenden Jahrhundert wurde eine dritte Kirche im Osten an einen inzwischen erstellten Erweiterungstrakt des Kollegiums angefügt, die dem heiligen Franz Xaver geweihte heutige Jesuitenkirche. Die Grundsteinlegung erfolgte am Namenstag des Heiligen, am 3. Dezember 1666. Elf Jahre später, am 29. August 1677 wurde die neue Kirche durch den päpstlichen Nuntius Edoardo Cibo unter barocker Prachtentfaltung eingeweiht. 1695 musste die zweite, inzwischen stark unterhaltsbedürftige Kirche einem Erweiterungsbau für das Kollegium weichen. 1756-57 wurde der alte Verbindungsbau zwischen Palast und Jesuitenkirche abgebrochen und durch einen neuen Seitenflügel ersetzt. In dieser Form präsentiert sich das Gebäude heute.
Vom Jesuitenkollegium zum Regierungsgebäude
Nachdem Papst Klemens XIV. den Jesuitenorden 1773 aufgelöst hatte, enteignete die Luzerner Obrigkeit die Jesuiten. Diese unterrichteten aber noch längere Zeit als Weltgeistliche in ihrem ehemaligen Kollegium.