Esta casa fue  levantada en el mismo período de la colonización hispano árabe, ya a inicios del siglo XVII se cree fue construida; hay ciertas dudas si inicialmente fue de una planta y mas tarde se le arregló el segundo nivel y posteriormente las adiciones. Si es sabido que las construcciones civiles no se hacían toda de una vez, no eran de trabajo integral, era parte de un proceso por los materiales y la parte económica.

Esta Casona, también está por confirmar, tuvo antes otro dueño y cuando llega Don Andrés de Madariaga y Morales un poco de 1750, ya había algo de construcción.

Tal vez el Conde lo que hace es invertir y reformar  a sus necesidades residenciales y comerciales.

Cuando él llega, la calle recibe el nombre de Nuestra Señora del Carmen, nombre dado por religiosos que ayudaron a ordenar la ciudad.

Don Andrés de Mariaga llega invitado por la corona española bajo el mando del Rey Don Carlos III a que venga  a estas tierras; tres años después de haber sido proclamado rey, Don Andrés recibe el título de Conde Pestagua, esto es en 1769.

El conde tuvo una hija, Doña María Luisa de Madariaga y García Olano quien se casó con el noble hispano  Don Miguel Jorge de los Dolores Marzan de Isasi y Hurtado de Mendoza. Parece ser que estuvieron de visita en la ciudad, acompañando a su padre en esta casona. Don Miguel era hijo de comerciante español, el cual vino en parte a observar las actividades comerciales de su suegro y ver si era posible invertir en estas tierras, cosa que no se supo.

Años después en época de revolución, estuvo en poder de esta casa nieto de Don José María García de Toledo criollo y rico prócer de la independencia.

Esta casa pasa a manos de los que lucharon por causa de la independencia. Ya que en el siglo XX, cerca de 1950 funciona con regularidad el Colegio San Pedro Claver bajo la dirección de presbítero José Joaquín Gómez Arenilla. Años mas tarde se establece allí el Colegio Gimnasio de Bolívar con primaria y bachillerato completo. Bajo la dirección del docente Don Luis Fragoso Díaz hasta 1990 cuando es adquirida por la familia González Porto y mas tarde por don Pedro Gómez Barrero para realizar el Hotel Casa Pestagua.