De Visbank is in 1778 gebouwd naar een ontwerp van Jacob van Schie. De windvaan op het dak heeft de vorm van een haring. De functie was, zoals uit de naam al blijkt, een visafslag.
De Visbank was een instelling waar vroeger alle verse voor consumptie bedoelde zeevis bij afslag moest worden geveild. De ligging direct aan de Oude Haven was dan ook praktisch. Haring werd er echter niet verkocht. Tot 1883 gebeurde dit direct aan de kade en daarna op verschillende andere locatie. Als laatste was dat het toenmalige Visserijmuseum, het huidig Museum Vlaardingen.
In 1949 was de concurrentie van viswinkels zo groot geworden dat de Visbank zijn functie als visafslag verloor. Hier zien we dat het leven rare afslagen kan nemen.
Waar de Visbank in de periode voor 1949 werd omringd door verse zeevis, kon men er enkele jaren later een heuse van Van Gogh bewonderen. Tot in de jaren zeventig van de vorige eeuw werden hier met regelmaat tentoonstellingen gehouden.
Sindsdien hebben een VVV-winkel, een bloemist en een lunchroom de Visbank bevolkt, totdat het zijn huidige bestemming kreeg: een ijszaak.
Eigenaar van het pand is de Vereniging Hendrick de Keyser. Het gebouw is een rijksmonument. Een miniatuur van de Visbank is te zien in Madurodam.