Der obere Gebäudeteil des Unteren Collegiums musste 1710 vollständig abgebrochen und neu errichtet werden. Auch die übrigen Teile des Gebäudekomplexes erfuhren in der Folge mehrere Transformationen. Zudem musste man die baufälligen Stützmauern am Rhein immer wieder reparieren. 

Mit dem Abbruch des Oberen Collegiums und dem Bau des Museums (1842-1849) gewann die Universität zwar Raum für die Sammlungen, verlor aber Hörsäle und musste sich mit denen des Unteren Collegiums begnügen. 1837 war wegen des «bedenklichen Zustands» des Kollegiengebäudes erwogen worden, auf dem Areal des ehemaligen Augustinerklosters ein neues Kollegiengebäude zu errichten. Einflussreiche und vor allem spendable Bürger zogen es aber vor, dort einen grossen Museumsbau zu errichten. Hundert Jahre später, erfuhren die Pläne für einen Universitätsneubau in den 1930er Jahren ausfinanziellen Überlegungen erneut eine Zurückstufung gegenüber einem weiteren Museumsbau - dem in den Jahren 1932-1936 erstellten Kunstmuseum.

Offensichtlich war es der städtischen Bauverwaltung schon 1858 bewusst, dass die Universität unter den öffentlichen Gebäuden «eine traurige Stelle» einnehme. So kam es um 1860 - im Hinblick auf das 400-Jahr-Jubiläum - zum wichtigsten Umbau in der Geschichte des «Unteren Collegiums». Nach dem Entwurf von Johann Jakob Stehlin d. J. wurden die drei spätgotischen Teilbauten in einen klassizistischen Gesamtbau zusammengefasst. Aber trotz der Erweiterung um einen zusätzlichen Stock wurde damit die Raumnot nicht wirklich behoben. Vielmehr nahmen mit den wachsenden Ansprüchen  auch die Klagen über die schlechte Beleuchtung und die mangelhafte Isolation zu. Im Dezember 1865 klagte ein Bericht, dass gewisse Räume wegen der fehlenden Vorfensterin den Morgenstunden kaum nutzbar seien. Hinzu kam die Raumnot, diedurch die «externe» Nutzung des Pädagogiums (oberes Gymnasiums) und des Vereins junger Geschäftsleute noch verstärkt wurde. Anatomie und Pathologie blieben trotz Beschwerden über die «üblen Gerüche» noch längere Zeit in Gesellschaft der anderen Disziplinen. 1880 zogen die Pathologen dann in ihr neues Institut im Garten des Bürgerspitals, 1885 die Anatomen und Physiologen ins Vesalianum.

Dass die städtische Regierung gegenüber der Universität eine wenig fürsorgliche Haltung einnahm, was gerade in Baufragen deutlich zum Ausdruck kam, kann politische Gründe gehabt haben. Die Universität warein Hort des konservativen Baslertums. 1875 war aber an Stelle des altbaslerischen konservativ-liberalen Regimes die radikale-freisinnige Mehrheit der Zugewanderte getreten, und diese setzte sich vor allem für Volksschulen und nicht für die Elitenschule ein. In den Jahrzehnten nach 1875 wurde ein «Schulpalast» nach dem anderen (Jacob Burckhardt) in der Formen italienischer oder deutscher Renaissance errichtet. Die Universität aber blieb in dem bescheidenen, nur äusserlich mit klassizistischen Formen notdürftig umkleideten, ans Rheinufer angeklebten spätgotischen Bau, den kein Fremder, der vom Münsterplatz den Rheinsprung hinunterging, für eine Universität halten würde, wie der Historiker Werner Kaegi bemerkte. 

Als um 1896 das Domizil der verstaatlichten Frauenarbeitsschule neu zu regeln war, wurde zunächst daran gedacht, sie im Kollegiengebäude unterzubringen und der Universität einen Neubau zu geben. Die Universität ging jedoch auch in diesem Fall beinahe leer aus: Es war die Frauenarbeitsschule, die den Neubau erhielt, und die Universität durfte wenigstens die alten Räume der Frauenarbeitsschule am Stapfelberg Nr. 9 später als Seminarhaus übernehmen.

1895 konnte sich die «Anstalt für  Vergleichende Anatomie» neu als «Zoologische Anstalt» konstituieren und die unteren drei Stockwerke des Kollegiengebäudes beanspruchen. Gerühmt wurde die «unvergleichliche Lage nach dem Rhein», als einengend empfand man dagegen, dass die Räume auf der hinteren Seite «an die Bergwand» stiessen und die Anstalt von drei verschiedenen Seiten zugänglich war, was die Überwachung erschwerte. Die meisten Zimmer seien nur mit einem unverhältnismässig grossen Aufwand an Holz und Kohle und einige seien überhaupt nicht heizbar gewesen. 1912 verbesserte die Einführung der Zentralheizung und des elektrischen Lichts die Verhältnisse. Aber 1929 musste das Gesundheitsamt feststellen: «Niemals würde man in einem gewöhnlichen Schulhause der Stadt etwas derartiges dulden, ebenso wenig in einem Mietshause. Baldige Abhilfe ist im gesundheitlichen Interesse der studierenden Jugend dringend nötig.»

1939 wurde das alte Haus zwar mit Wehmutsrhetorik verabschiedet, inWirklichkeit aber doch eher wie eine ausgetragene Hülle zurückgelassen. Seine Innenverhältnisse (zum Beispiel das Regenzzimmer) wurden im Universitätsbewusstsein jedenfalls nicht als positive Erinnerungsbilder mitgenommen. Der Gynäkologieprofessor Alfred Labhardt, über sein Rektoratsjahr 1934 intensiv mit den anstehenden Baufragen befasst und in der Folge 1938/39 Verfasser einer ausführlichen Baugeschichte, hob im Moment des Wechsels vom alten ins neue Haus den Gegensatz zwischen der langen und erhabenen Geschichte der Universität «an den Fluten des Rheines» und der Bescheidenheit des in 479 Jahren kontinuierlich genutzten Gebäudes hervor. Das Hauptgebäude der Universität war von der Stadt, die stets schnell das grosse Wort von der tiefen Bürgerverbundenheit im Munde führte, über alle diese Jahrzehnte stiefmütterlich behandelt worden. 1939, im Moment der feierlichen Einweihung des neuen Gebäudes, wies Labhardt dezent auf diese Vernachlässigung hin: «Während dieser langen Zeit musste es die Almamater, die gütige Mutter, noch mehrfach erleben, dass ihre Töchter, die Institute und Sammlungen, grosse und schöne Neubauten erhielten.»

Nach dem Bezug des neuen Kollegiengebäudes im Jahr 1939 wurde das alte Hauptgebäude zu einem Institutsgebäude für die Theologen (im obersten Stock) und für die Zoologen (drei untere Stockwerke mit Räumen auch für Tierzucht, Aquarien, vier Volièren auf der Terrasse). Obwohl sich das historische Gebäude in technischer Hinsicht immer weniger für die Bedürfnisse des naturwissenschaftlichen Faches (zum Beispiel das Arbeiten mit Meeresfauna) eignete, nahm man um 1960 am Fusse des alten Gebäudes einen grossen Eingriff vor, kernte im unteren Eingangsbereich hemmungslos die alte Bausubstanz aus und baute den damals modernen Hörsaal ein. Darauf fand 1962 eine weitere feierliche Einweihung statt. Dieser Hörsaal sollte in den Jahren 2001-2003, als das neue Kollegiengebäude einer Totalsanierung unterzogen wurde, wertvolle Ersatzdienste leisten. Als die Theologen 1966 an den Nadelberg wechselten, konnten sich die Zoologen ganz ausbreiten, doch sie litten, wie viele Institute, schon bald wieder unter Platzmangel. Um 1980 plante man, die Zoologen im damals geplanten Naturwissenschaftlichen Zentrum unterzubringen. Als es im Vesalianum 2004 Platz gab, erhielten die Zoologen dort als Notlösung eine neue Heimstätte.

In jüngster Zeit erfuhr das alte Gebäude im Bewusstsein der Universität Basel eine neuerliche Aufwertung, fassbar in der häufigen Beschwörung des Ortes als «Keimzelle» oder gar «Seele» der Basler Universität. Schon im Jahr 2000 wurde im Hinblick auf den angekündigten Wegzug derZoologen erklärt, dass das alte Hauptgebäude inskünftig als «Ort der interdisziplinären Reflexion» genutzt werden solle. Seit 2006 ist nun der Nationale Forschungsschwerpunkt «Eikones. Bildkritik - Macht und Bedeutung der Bilder» hier untergebracht.