In 1530 kocht de Gilde van de Vrije Schippers het pand aan de Graslei van de Molenaarsgilde. De Vrije Schippers werkten voor eigen rekening en mochten vrij de Gentse binnenwateren bevaren, in tegenstelling tot de Onvrije Schippers. Deze laatsten werkten in loondienst en moesten aan de rand van de stad hun goederen op de schepen van de Vrije Schippers laden.
Het pand is destijds voorzien van een nieuwe, stenen voorgevel in Balegemse zandsteen. De voorgevel is een voorbeeld van Brabantse gotiek. Kenmerkend aan het gebouw zijn de lichtgetinte Balegemse zandstenen, de rijke en gedetailleerde versiering, de wapenschilden (ook van Keizer Karel) en de torentjes.
Wisseling van eigenaar
De Gilde van de Vrije Schippers bezat het pand tot in de tweede helft van de 17e eeuw, toen ze het diende te verkopen om financiële redenen. Haar macht was op dat moment ook tanende. Nadien wisselde het gebouw een aantal keren van eigenaar. Het gildehuis kreeg verschillende functies en inrichtingen, maar het bleef structureel vrijwel onaangetast.
Naar aanleiding van de wereldtentoonstelling in 1913 werd het pand grondig gerestaureerd. De traphal en de zalen op de begane grond werden vernieuwd in Neogotische stijl met gedetailleerde houtgesneden gravures en figuratieve muurschilderingen. De toen gebruikte zandsteen was echter van veel mindere kwaliteit dan de oorspronkelijke steen. Het resultaat was dat de gevel er in 2011 heel slecht aan toe was. In dat jaar werd het havenbedrijf North Sea Port eigenaar van dit toonaangevende pand. Na de restauratie, met respect voor het rijke verleden en met oog voor een multifunctioneel en passend gebruik, was het pand klaar voor een nieuwe toekomst als Havenhuis.
North Sea Port stelde voor de restauratie Callebaut Architecten aan. De restauratie-aannemer Monument Vandekerkhove heeft de werken aan het exterieur en interieur uitgevoerd.
Expositie over de hedendaagse haven
Eeuwenlang gonsden de Graslei en de Korenlei in hartje Gent van de havenbedrijvigheid. Toen de havenactiviteiten zich eind negentiende eeuw uit het centrum van Gent richting het noorden van de stad verplaatsten, kwam daar stilaan een einde aan. En daarmee verdween de haven uit het zicht.
Na de zomer van 2019 keerde de haven, in Gent, terug naar haar roots. Dan opende North Sea Port op het gelijkvloers van het Havenhuis een expositie over de hedendaagse haven: het 9.100-hectare-grote grensoverschrijdende havengebied, dat zich 60 kilometer lang uitstrekt van het Nederlandse Vlissingen, Borsele en Terneuzen tot in Gent in België, en waar (in)direct haast 100.000 mensen werken. De expositie brengt op multimediale wijze de haven en haar activiteiten in beeld brengen via een maquette van het havengebied gecombineerd met video.
