Em 1939, veio a Belo Horizonte, Frei Canísio Mulderman, provincial dos Carmelitas, para decidir sobre a fundação de uma nova paróquia sob a orientação da Ordem Carmelita. Depois de visitar vários locais, Frei Canísio escolheu o bairro do Carmo, que na época se chamava Mendonça.

Em 16 de julho de 1940 D. Antônio dos Santos Cabral expediu o decreto nº 37 criando a Paróquia de Nossa Senhora do Carmo. Uma das atrações da igreja refere-se à decoração, pois foi uma das partes mais difíceis. Primeiro as janelas: vitrais lindos e coloridos com motivos bíblicos sobre Nossa Senhora - que foram desenhados e executados pela fábrica "Conrado" de São Paulo, sob a orientação de Frei Benigno Dissel. Atualmente esses vitrais são um diferencial e atraem vários turistas.

A paróquia conta com o único carrilhão de Belo Horizonte com 37 sinos e um relógio em sua torre, fabricados na Holanda.