A Casa dos Contos é um dos mais amplos e belos monumentos do barroco mineiro. O prédio foi construído em Ouro Preto, MG, entre 1782 e 1784, para sediar a Casa dos Contratos e serviu de residência para o arrematante dos contratos dos dízimos e entradas, João Rodrigues de Macedo, uma das maiores fortunas da colônia no século XVIII.

Em 1789, parte do edifício foi alugada para aquartelar a Companhia do Esquadrão do Vice-Rei, presente na então Vila Rica para reprimir a Inconfidência Mineira. Alguns de seus aposentos alojaram os réus ilustres da conspiração, entre eles: Álvares Maciel, Padre Rolin, Luiz Vieira da Silva e Cláudio Manuel da Costa, que morreu nessa casa.

João Rodrigues de Macedo contraindo uma grande dívida com a Real Fazenda foi obrigado a alugar, em 1793, o piso térreo da residência para o governo. Assim iniciou-se a transferência da Junta de Real Fazenda e da Intendência do Ouro para o local, que passou a ser denominado de a Casa dos Contos.

Em 1803, sobreveio o definitivo sequestro do imóvel pelo Real Erário graças à inadimplência do contratador. Em 1820, a Casa dos Contos sofre reformas para abrigar a Casa de Fundição do Ouro e, em 1844, é instalada a Secretaria da Fazenda Provincial junto à Delegacia do Tesouro do Império.

Com a mudança da capital mineira para Belo Horizonte, em 1897, o prédio passou a ser ocupado pelos Correios, Caixa Econômica e posteriormente pela Prefeitura de Ouro Preto.

O Ministério da Fazenda retoma o prédio em 1973, quando inaugurou o museu, o Centro de Estudos do Ciclo do Ouro e instalou a agência da Receita Federal de Ouro Preto.