En tiempos del gobernador Francisco de Murga, al quedar cercado el antiguo arrabal o barrio de Getsemaní se cayó en la cuenta de que el cercano cerro de san Lázaro dominaba esa parte de la ciudad. Se resolvió entonces fortificarlo con un bonete en la cima, Melchor Aguilera decidió fortificarlo. Una Real Cédula de 20 de septiembre de 1647 dispuso la construcción del castillo. En 1656 nada se había hecho aún. Zapata de Mendoza pidió un donativo a los parroquianos y él mismo entregó 3000 mil pesos para la obra. El 12 de octubre de 1657 el gobernador Zapata le dio cuenta al Rey de haber terminado el castillo, que llamó de San Felipe de Barajas.
Fue rendido en 1697 por los franceses de Pointis pero salvó la plaza cuando Vernon atacó en 1741. La traza del castillo inicial o bonete la hizo el ingeniero holandés Ricardo Carr, que huía de los ingleses de la isla de Jamaica y a quien protegió aquí Zapata de Mendoza. Las obras las dirigió aquí el maestro mayor Gaspar Mejía. En el siglo XVIII se le fortificó al cerro totalmente con muchas obras más, que en conjunto representan el más completo y acabado sistema de fortificaciones de lo que se llamó la Escuela de Fortificaciones de Hispanoamérica. Durante los primeros 40 años del siglo XVIII no se le hizo obra alguna de consideración.
Correspondió a don Antonio Arévalo el acabar los problemas de la defensa y de la conservación de Cartagena de Indias que se habían planteado a lo largo de dos siglos. Convirtió Arévalo el castillo de san Felipe de Barajas en un sitio reducto de carácter inexpugnable, con sus galerías y cuarteles subterráneos. Don Antonio de Arévalo dirigió la construcción de las baterías del castillo de san Felipe. Este castillo era la clave de la defensa de Cartagena por la parte interior de la plaza. La mala experiencia de los ataques de Pointis y de Vernon lo mostró así. Era sólo un pequeño fuerte y podía ser batido desde otros cerros que le eran vecinos. Le añadió nuevas baterías mirando hacia las inmediaciones. El 15 de mayo de 1763 Arévalo envió un detallado informe a la Corte sobre las obras de esta fortificación. Sus galerías tienen 600 metros.
El llamado simplemente castillo o alcázar de san Felipe de Barajas, que debe su nombre al rey de España Felipe IV y el apelativo al conde de Barajas, padre del gobernador Pedro Zapata de Mendoza, constituye en realidad de verdad el más elaborado y completo sistema de fortificaciones en un solo sitio que hizo que se le llamara “el más completo que el genio de España levantara jamás en América”, y valdría decir que en todo su imperio mundial.
Está compuesto del inicial “bonete” o fuerte, de seis baterías colaterales ( de santa Bárbara, de san Carlos y los Apóstoles, del Hornabeque, de la Cruz, de la Redención, de san Lázaro); un hornabeque, este como ya se dijo arriba con su batería, una falsabraga, aljibes, (bajo la batería de San Lázaro), minas o galerías de perfecta acústica y una disposición de la entrada de la luz exterior a ellas en beneficio del defensor ya habituado a la oscuridad y en detrimento de quien entrara a ellas en plan de ataque, y un camino o trinchera, amurallado a lado y lado, que conducía a la puerta de la Media Luna, denominado “caponera”, que fue demolido; y el castellano o lugar de residencia del jefe del castillo. Además, contaba con cuarteles subterráneos a prueba de bomba para albergar hasta 350 hombres; una escalera de madera hasta el “castellano” podía ser destruida a golpes o bien quemada en caso de necesidad para aislar el bonete de ataques desde otros sitios de sus defensas si estas eran tomadas. Todo el perímetro del cerro está horadado por una galería maestra, casi a nivel del mar, de donde salen al exterior túneles ciegos que terminan en forma de T para acumular allí barriles con pólvora para ser volados cuando la tropa enemiga hiciera avanzadillas contra los pies de la fortificación. En toda la obra no hay un solo elemento ornamental, todo está dispuesto en función militar, sobriamente.