La història de l'Arxiu Municipal Administratiu s'inicia l'any 1917 quan la Comissió de Cultura de l'Ajuntament presenta, davant del Ple municipal, una proposta de creació del que s'anomenava Oficina de Investigaciones y Publicaciones Histórico Municipales. L'aprovació d'aquesta proposta el dia 21 de juny de 1917 va comportar una reorganització total de l'Arxiu municipal inspirada en la voluntat de potenciar la conservació i utilització de la documentació històrica i la realització d'estudis i publicacions sobre la història de la ciutat, i es va traduir en la fragmentació de l’Arxiu, segons la cronologia de la documentació: prenent com a línia divisòria l'any 1714, es creava una secció històrica i una secció administrativa, cadascuna d'elles amb personal diferent i ubicades en edificis separats.

La primera d'aquestes seccions es denominaria Arxiu Històric de la Ciutat i com a seu l'Ajuntament adquiria la Casa de l'Ardiaca, al carrer Santa Llúcia, 1, l'any 1919. La segona va ser designada amb el nom d'Arxiu Administratiu, i continuaria ocupant l'espai on havia estat l'Arxiu unificat des de l'any 1848, a la segona planta de la Casa de la Ciutat, a la plaça de Sant Jaume. Com a responsable del nou Arxiu Administratiu va ser designat l'arxiver Alfons Damians i Manté, que fins llavors ja ho havia estat de l'Arxiu Municipal unificat.

Malgrat la divisió dels fons establerta inicialment, aviat començà la transferència de documentació des de l'Arxiu Administratiu fins a l'Arxiu Històric, procés que es va repetir periòdicament fins al començament dels anys 80. Així, durant la dècada del 1920 l'Arxiu Administratiu li va transferir diversos plànols i projectes urbanístics, una col·lecció de bans i algunes sèries documentals del segle XVIII com ara Obreria, Administració de la carn o Administració del blat.

L'any 1927, amb motiu de la preparació de l'Exposició Internacional de 1929, es va plantejar la necessitat de remodelar l'edifici de la casa de la ciutat, amb la qual cosa calia buscar una nova ubicació per a l’Arxiu Administratiu. Després de diverses alternatives, s’optà per la tercera planta del nou edifici que s'havia construït recentment al carrer Ciutat, destinat a oficines municipals. En aquest nou emplaçament, on va romandre fins a l'any 1946, l'Arxiu disposava d'una sala de consulta, un despatx per al cap, quatre sales destinades a dipòsits de documentació amb una capacitat de 1.587 metres lineals, i una sala per a la biblioteca auxiliar. Uns anys després, i per fer front al creixent volum documental que desbordava la capacitat dels dipòsits del carrer Ciutat, es va cedir a l'Arxiu un local situat en un edifici de la Ronda Sant Pau, 38, on es va ubicar la documentació de Consums, i un altre local a l'antic Hospital de la Santa Creu, on es va dipositar la documentació menys utilitzada i la dels antics municipis annexionats a Barcelona al començament de segle, procedent de les seus d'aquests exajuntaments.

L'any 1946, i novament per la reestructuració d'espais portada a terme a la casa de la ciutat, l'Arxiu va haver d'abandonar els locals del carrer Ciutat i traslladar-se a un edifici situat al carrer dels Templers, 3-5, molt a prop de l'emplaçament anterior.

L’any 1961 es va produir un nou canvi d’ubicació i l’Arxiu es va instal·lar en un edifici de propietat municipal, construït a mitjan segle XIX, emplaçat entre els carrers Bisbe Caçador, 4, Baixada de Caçador, 3-3bis i Sotstinent Navarro.

Durant aquests anys, i paral·lelament a l'allau de documentació administrativa que ingressa a l'Arxiu, es produeixen noves sortides de documents històrics per dipositar-los a l'Arxiu Històric de la Ciutat. Podem destacar, entre d’altres, la transferència que es produeix l'any 1963 dels llibres d'actes del Ple municipal dels anys 1714-1839.
L’any 1986 marca l’inici de la darrera etapa en la història de l’Arxiu Municipal Administratiu: al final d’aquest any, en compliment del Programa Municipal d'Actuació del quadrienni 1984-1987, l'alcalde de la ciutat decretà l'elaboració d'un Projecte d'ordenació de la classificació i custòdia de la documentació municipal que incloïa, com a objectiu prioritari, "l'organització de l'Arxiu Administratiu Central, determinant els criteris per a l'ordenació i classificació dels documents i per a la seva ubicació física, les condicions dels locals en els quals hagin de situar-se els fons i les instal·lacions necessàries per a la seva utilització i seguretat" (Gaseta Municipal, núm. 29, 20-XI-1986). En aquells moments, quan s'iniciava el procés de reorganització de l'Arxiu, el volum de la documentació dipositada era d'uns 10.000 metres lineals.

El paper i el caràcter actual de l'Arxiu s'han anat redefinint en el transcurs del procés de reorganització, que es reflecteix en el Projecte d'Ordenació d'Arxius elaborat per Ramon Alberch i Fugueras, actual Arxiver en cap de l'Ajuntament, i en la normativa que regula el funcionament dels diferents òrgans del sistema municipal d'arxius. Aquest procés ha estat comandat per Montserrat Condomines com a cap de l'Arxiu entre els anys 1987 i 1994.

Aquesta redefinició ha suposat que, sense perdre les seves funcions d'arxiu central administratiu, s'hagi perfilat també com a arxiu històric pel fet de configurar-se com a centre responsable de la custòdia de bona part de la documentació municipal generada amb posterioritat al primer terç del segle XIX, moment en què es defineixen les característiques del municipi modern en detriment del d'antic règim. Aquesta redefinició de característiques i funcions comporta abandonar la consideració estricta d'arxiu administratiu en benefici d' una de més àmplia i oberta d'arxiu municipal contemporani.

En aquests darrers anys, el fons documental de l'Arxiu s'ha incrementat amb les transferències periòdiques i naturals dels documents procedents de les depèndències municipals, però també amb documentació històrica dels segles XIX i XX que estava emmagatzemada en diversos dipòsits i locals municipals, i amb els fons generats pels organismes encarregats de l'organització i preparació dels Jocs Olímpics de 1992 (COOB 92 i HOLSA). En total, el volum de la documentació conservada actualment a l'Arxiu és d'uns 15.000 metres lineals.

Pel que fa a la seva ubicació, l'opció adoptada ha estat mantenir-lo en el mateix emplaçament, situat entre els carrers Bisbe Caçador, Baixada de Caçador i Sotstinent Navarro, construint un nou edifici a partir de la divisió del projecte en diverses fases d'execució que permetessin el progressiu traspàs i instal·lació dels fons i dels serveis i zones de treball de l'Arxiu, procés encara en fase de realització. La finalització de la primera fase de construcció del nou edifici al final de l'any 1992 va permetre que al gener del 1993 s'efectués el trasllat dels fons i de les zones de treball i de consulta a l'espai que s'ocupa actualment, corresponent a un dels mòduls destinats a dipòsit de documentació. Això fa que la ubicació de les zones de treball i de consulta sigui provisional, fins a la finalització total de les obres de construcció.

Un cop finalitzat, l'edifici de l'Arxiu disposarà de dipòsits de documentació amb capacitat suficient, que hauran de permetre una instal·lació adient dels documents textuals i en suport paper, dels documents cartogràfics (plànols), de les microformes i dels documents en suport informàtic. Disposarà també dels espais necessaris i adients per al treball del personal de l'Arxiu i per al servei als usuaris: despatxos de treball, sala de classificació, sala de consulta, servei de reprografia, etc.

Actualment, a més a més de la seu central, que fa bàsicament funcions d'arxiu definitiu, l'Arxiu Municipal Administratiu disposa d'un altre edifici al C/ Ciutat de Granada 106, amb una capacitat de 7.500 metres lineals de prestatgeria, que fa les funcions de dipòsit de prearxivatge: secció de l'Arxiu on s'aplega tota la documentació de conservació temporal procedent dels òrgans i dependències municipals, fins al moment en què es procedeixi a la seva tria i eliminació a partir de l'aplicació del calendari de conservació dels documents, d'acord amb les decisions adoptades per la Comissió Municipal de Tria i Eliminació de Documents. Provisionalment, i fins que no s’hagin acabat les obres de construcció de l'edifici de l'Arxiu Central, el Dipòsit de Prearxivatge aplega també documentació de conservació permanent i, per tant, té establert un horari d'atenció al públic.

L’Arxiu també ocupa uns espais a l'edifici municipal de la pl. Pi i Sunyer 1-3, com a consequència de l’adscripció de l'Arxiu de Població com a Secció de l'Arxiu Municipal Administratiu l’any 1996. En aquests espais es troben les zones de treball del personal adscrit a aquesta secció i els dipòsits de documentació on es conserven els padrons municipals d'habitants posteriors a l'any 1950.