Lontane origini militari: aveva questa caratteristica la zona della Cittadella, dove nel secondo decennio del quattordicesimo secolo era stata costruita una fortezza per volontà di Castruccio Castracani. Fortificazione che poi fu abbattuta con la caduta della sua signoria, lasciando che i locali venissero utilizzati all'inizio del Cinquecento come magazzino dell'Offizio sopra l'Abbondanza, la magistratura cittadina che si occupava dei rifornimenti per fronteggiare le annate di carestia.

Bisogna arrivare all'Ottocento per vedere attribuita a quei luoghi la funzione che poi hanno ricoperto per anni e anni. Precisamente al 7 luglio 1815, quando il locale della Cittadella fu adibito a fabbrica dei tabacchi. L’altra parte del sito era invece stato occupata dal 1513 da un convento femminile domenicano, che portò avanti la propria funzione per 300 anni, fino a quando Elisa Baciocchi ne ordinò l'espropriazione e il trasferimento delle monache nel monastero dell'Angelo.  Alla fine del 1807 l’ex-convento divenne la sede dell’Istituto Elisa, una nuova istituzione educativa che faceva parte di un ambizioso disegno di riorganizzazione complessiva della pubblica istruzione. Solo nel 1892 il fabbricato venne acquistato dal Ministero delle Finanze e accorpato alla contigua fabbrica del tabacco.

Nel primo decennio del ‘900 nello stabilimento lavoravano 111 operai e 1.400 donne con l'aiuto di 45 macchine operatrici. La manifattura, in questo periodo, aveva inoltre potenziato le proprie risorse energetiche con l'installazione di motori a vapore che andavano ad aggiungersi a quelli idraulici mossi dal condotto pubblico. Tra gli anni Venti e Trenta le strutture dell'intero sito manifatturiero vennero sottoposte a significativi restauri e a un ampliamento con la costruzione di un nuovo edificio affacciato su Piazzale Verdi. Dopo l'accrescimento degli spazi lavorativi, si installarono nuovi macchinari e un impianto idroelettrico (anno 1933). A quell'epoca erano impiegati nella Manifattura 3.000 operai che ogni anno trasformavano circa 2.000 tonnellate di tabacco in spuntature, sigari Toscani e sigarette.

L'accrescersi della produzione richiese, negli anni Quaranta, l'approntamento di una centrale termica a olio pesante a supporto dell'energia idrica del canale, nonché la realizzazione di nuovi edifici per accogliere le officine e i servizi per il personale: il dopolavoro, l'asilo nido, la cucina interna e la cassa di maternità.