El Museo Brady está instalado en lo que fuera la residencia de Robert Brady, norteamericano que en 1961, compró este sitio. Antiguamente era la llamada Casa de la Torre, un anexo del obispado mandado a construir por don Francisco Plancarte y Navarrete, Segundo Obispo de Cuernavaca para sus observaciones astronómicas.
Durante toda su vida Robert Brady se dedicó a coleccionar obras de arte entre las que destacan una impresionante muestra de pinturas de artistas del siglo XX, como Rufino Tamayo, Frida Kahlo, Diego Rivera, María Izquierdo, Miguel Covarrubias, Paul Klee, Francisco Toledo, José Guadalupe Posada, entre otros. Así como alfrombras persas, un mosaico bizantino de Ravenna, tótems candienses, cristos de Puerto Rico, óleos coloniales peruanos, etc.
Todo esto forma parte de una colección de distintos estilos.
Brady murió en esta casa el 20 de junio de 1986, sus restos reposan en el jardín, junto con a sus amados dos perros. El 18 de febrero de 1990 el Museo abrió sus puertas al público. Cuenta con una sala audiovisual donde se presentan conferencias y se proyectan obras de arte.