Das heute als "Hölderlinturm" bekannte Gebäude hat eine lange Geschichte.

Die ältesten Teile des Hauses gehörten zur mittelalterlichen Stadtbefestigung. Vermutlich aus dem 13. Jahrhundert stammen Stadt- und Zwingermauer als nördliche und südliche Begrenzungen, ebenso der Sockel eines Befestigungsturms, dessen Schießscharten noch zu sehen sind.

Auf Stadtansichten des frühen 17. Jahrhunderts ist neben dem Wehrturm ein Gebäude erkennbar; dort war ein "die Farb" genannter Färberbetrieb. Erst 1778 wurde mit Sondergenehmigung der Raum zwischen den Mauern unter Einbeziehung des Turmsockels vollständig überbaut. Damals entstanden die besonderen Merkmale des später so bezeichneten Hölderlinturms; der Bauherr durfte laut Magistratsbeschluss auf den Turmsockel "ein achteckiges Kämmerlein setzen und das neue Turmdach mit dem Hausdach verbinden".

Anfang 1807 erwarb Schreinermeister Ernst Friedrich Zimmer das Haus. Im Erdgeschoss war die Werkstatt, im ersten Stock wohnte die Familie. Im Mai 1807 nahm Ernst Zimmer Friedrich Hölderlin in sein Haus auf; der Dichter bewohnte das Zimmer im Turm. Um für die wachsende Familie und studentische Untermieter Wohnräume zu schaffen, ließ Zimmer in den folgenden Jahren das Haus mehrfach aus- und umbauen, zuletzt 1828 nach Aufgabe der Werkstatt. Die Raumaufteilung entsprach weitgehend der heutigen. Bis 1865 blieb das Haus im Besitz der Familie Zimmer.

1875 wurde das Haus durch einen Brand schwer beschädigt und in veränderter Form wieder aufgebaut. Der Turm erhielt seine heutige runde Gestalt. 1921 erwarb die Stadt Tübingen das Haus mit finanzieller Unterstützung der Vorläufer-Organisation der Hölderlin-Gesellschaft, der „Vereinigung zur Erhaltung und Erwerbung des Hölderlinturmes“. 1923 wurde diese Vereinigung mit der Einrichtung eines Gedenkortes im Haus beauftragt.

1954 wurden das Erdgeschoss und der erste Stock der mittlerweile gegründeten Hölderlin-Gesellschaft übergeben und eine erste Hölderlin-Ausstellung eingerichtet; 1978 wurde das Turmzimmer zugänglich gemacht.

1983/84 erfolgte eine gründliche Renovierung, wobei die baulichen Verhältnisse zur Zeit Hölderlins möglichst wieder hergestellt wurden. 1985 wurde das Haus mit einer neuen Dauerausstellung wieder eröffnet.

Ab 2017 erfolgte eine weitere Sanierung unter Einbeziehung eines weiteren Stockwerks und eine Neukonzeption der Ausstellung zu Friedrich Hölderlin; auch der Garten ist in die Gestaltung mit einbezogen. Die Räume der Hölderlin-Gesellschaft und der Museumsleitung befinden sich im zweiten Stock.

Am 16.02.2020 wurde die Sanierung mit der Neueröffnung durch Ministerpräsident Winfried Kretschmann und Oberbürgermeister Boris Palmer abgeschlossen.