La colonia romana di cittadini Iulia Pola Pollentia Herculanea fu fondata nel 46-45 a.C., durante la dittatura di Cesare, sul sito di un precedente insediamento fortificato degli Istri, al centro di un'ampia baia con quattro isolotti. Uno dei primi passi dopo la decisione di fondare la colonia fu la costruzione delle mura cittadine. Le mura circondavano la base della collina fortificata seguendo la linea costiera. Erano costruite con frammenti di calcare e intonacate con malta di calce, con una larghezza alla base di circa 2,20 - 2,50 m. Verso la cima si restringevano gradualmente in gradini costruttivi dal lato interno. Avevano 12 porte fortificate con torri. Sul lato terrestre c'erano le porte cittadine oggi conosciute come Porta di San Giovanni, Porta Gemina, Porta d'Ercole e Porta Aurea.
La Porta d'Ercole è l'unica conservata nella sua forma più antica, così come fu eretta alla fine della repubblica romana. Fu costruita con una tecnica caratteristica dell'architettura tardo-repubblicana romana, sotto forma di un unico passaggio ad arco incorniciato da blocchi massicci di larghezza irregolare. La porta è obliqua rispetto al muro di cinta. Tale disposizione riflette l'esperienza costruttiva millenaria secondo cui gli ingressi posti in diagonale costringevano l'attaccante a esporre il lato non protetto ai difensori. Sulla cima dell'arco sono raffigurate in rilievo la testa barbuta di Ercole e una clava chiodata, e accanto alla clava, sulla sinistra, è scolpita un'iscrizione non incorniciata con i nomi dei primi due duumviri, Calpurnius Piso e Cassius Longinus, senatori romani e membri della più stretta cerchia personale di Cesare. All'interno, la Porta d'Ercole fu successivamente rinforzata con un corridoio difensivo.
La Porta Gemina è conservata nella sua forma rinnovata del primo periodo imperiale. Contiene due passaggi ad arco identici collegati da una cornice architettonica unica a pianta trapezoidale con semicolonne, architrave e una cornice riccamente decorata. Due chiavi di volta sugli archi presentano scanalature per il fissaggio di decorazioni, probabilmente in bronzo. Come la Porta d'Ercole, anche la Porta Gemina fu interrata dalle rovine delle mura nel XVIII secolo, perdendo la sua funzione.
La Porta Aurea prese il nome dal fatto che rappresentava l'ingresso principale alla colonia romana. I resti delle porte cittadine con le mura rimasero fino alla metà del XIX secolo, quando furono demoliti. La Porta Aurea era inizialmente un semplice passaggio ad arco singolo protetto da torri rettangolari. All'epoca di Augusto furono costruite tre porte con un passaggio centrale più ampio per i carri e due passaggi laterali più stretti per i pedoni, e le torri rettangolari furono sostituite da torri circolari più grandi. Antiche incisioni mostrano la salita verso l'ingresso della città davanti alla Porta Aurea. Sebbene oggi si scenda in discesa per accedere all'ingresso cittadino della Porta Aurea, le ricerche archeologiche hanno confermato la salita originale e l'esistenza di mura di protezione esterne create nel Medioevo. Sul lato interno della Porta Aurea, alla fine del regno di Augusto, fu addossato l'arco trionfale della famiglia dei Sergii.
Le mura cittadine furono restaurate più volte durante il Medioevo. Durante questi lavori fu aggiunta una parete esterna a quella più antica, nelle cui fondamenta furono incorporati elementi di monumenti funerari romani, frammenti di colonne, architravi e cornici, nonché sedili dall'anfiteatro e dal teatro.