De naam van het huis verwijst naar reus Antigoon die de burcht bewoonde in de Romeinse periode en er tol eiste van de schippers. Wie niet betaalde, hakte hij de hand af.
De Vierschaer was de Antwerpse rechtbank, genoemd naar de vier ‘scarren’ (banken) waarmee ze werd afgezet: de beschuldigde, de rechter, het openbaar ministerie en de burgerlijke partij.
Het Steen maakte deel uit van de Antwerpse burcht. Het was ondermeer een markgraafresidentie en een museum. Vandaag is het een educatieve ruimte voor kinderen.
In het laatste kwart van de negentiende eeuw werden de Scheldekaaien rechtgetrokken. Hierbij verdween het grootste deel van de Antwerpse burchtzone waaronder de Werf en de Sint-Walburgiskerk.
