Oraşul a fost un important centru politic, economic şi social, numit Apulon pe vremea Dacilor, fiind menţionat de geograful grec Ptolemeu. După ce partea sudică a of Daciei a devenit provincie a Imperiului Roman, capitala districtului Dacia Apulensis a fost stabilită aici, iar oraşul a căpătat denumirea de Apulum. Apulum a fost unul dintre marile centre din Dacia Romană şi stabilimentul Legiunii XIII Gemina.
În secolul IX, oraşul a fost menţionat sub numele de Bălgrad ("Cetatea Albă"). Opera "Gesta Hungarorum" ("Gesturile Ungurilor") menţionează un conducător Gyula (Geula, Jula) ce a descoperit oraşul şi l-a făcut capitală a regatului în timpul secolului X. În timpul stabilirii Episcopiei Catolice în Transilvania, după ce Ştefan I al Ungariei a adoptat Catolicismul, prima catedrală a fost construită în secolul XI. Catedrala catolică din prezent a fost construită în secolele XII - XIII.
În 1442 Ioan Huniad, Voievod al Transilvaniei, a folosit cetatea pentru a pregăti o mare bătălie împotriva Imperiului Otoman. Cetatea a fost lărgită în timpul acestei perioade şi a servit drept loc veci al lui Huniad după moartea sa.
Ca "Gyulafehérvár" (Cetatea albă a lui Gyula), Alba Iulia a devenit capitala Principatului Transilvaniei în 1541, statut ce a rămas până în 1690.În timpul conducerii Prinţului Gabriel Bethlen, oraşul a atins un punct înalt în istoria sa culturală, cu înfiinţarea unei academii academy. Alte momente importante în dezvoltarea oraşului au fost crearea Bibleotecii Batthyanaeum în secolul XVIII, şi a căii ferate în secolul XIX.
În noiembrie 1599, Mihai Viteazul, Voievod al Valahiei, a intrat în Alba Iulia în urma victoriei dii bătălia de la Şelimbăr şi a devenit guvernator de Transilvania. În 1600 Mihai Viteazul a câştigat controlul Moldovei, unificând cele trei principate sub conducerea sa până în 1601, la asasinarea sa de către agenţii generalului Giorgio Basta. Realizarea făcută de Mihai are o semnificaţie istorică pentru români, reprezentând prima unificare a celor trei ţări româneşti ale Valahiei, Moldovei şi a Transilvaniei.
Cetatea ce poate fi admirată în zilele noastre a fost ridicată între anii 1714-1738, fiind considerată cea mai reprezentativă fortificaţie bastionară de tip Vauban din România.
În 1918, mii de români (numărul exact este disputat între istoricii românian şi maghiari), reprezentanţi ai saxonilor transilvăneni şi alte minorităţi din transilvania, s-au adunat la Alba Iulia în 1 decembrie, acum comemorată ca Zi Naţională (după comunism), să audă proclamarea unirii Transilvaniei cu România. În 1922, Ferdinand a fost încoronat simbolic rege al României la Alba Iulia, ca un act asemănător cu cel al lui Mihai Viteazul.