Navnet Fiskebrygga stammer fra 1830-tallet da eiendommen ble kjøpt for å brukes til fiskebrygge, og en fiskehall ble oppført etter tegninger av arkitekt C. H. Grosch. Fiskebrygga lå på utsiden av Christianias havn, ved siden av det lille og innelukkede havnebassenget «Sadelmakerhullet».

Rundt 1905 ble det bestemt at Havnebanen skulle gi jernbanefobindelse mellom Øst- og Vestbanen, og at toglinjen skulle krysse over «Sadelmakerhullet». Det ble derfor fylt igjen, fisketorget forsvant og Havnelageret ble bygget.