A história da casa é contada pela própria Pinacoteca, em sua página Web:

A casa foi construída por um alemão, Sr. Dick, em 1900, que a deixou em 1910, retornando para a Alemanha para prestar cuidados médicos a sua esposa. A casa foi vendida mobiliada para o Sr.Francisco da Costa Pires, exportador de café, que se mudou com esposa e sete filhos. Em 1913, devido a problemas financeiros, a família Pires teve que se desfazer do imóvel, que passou a ser a sede do Asilo dos Inválidos.

Em 1921, os Pires recompraram a casa e realizaram uma grande reforma. O estilo arquitetônico da casa é eclético, e a decoração interna é art noveaux. A escada é de mármore italiano (Carrara) e o corrimão de ferro maciço confeccionado pelo Liceu de Artes e Ofícios de São Paulo. Originalmente não era tão luxuosa. Não havia o pequeno cômodo no pavimento intermediário (o quarto de costura); não existiam os afrescos nem o jardim de inverno. Todos esses ornamentos e cômodos foram adicionados na reforma de 1922.

Essa construção foi uma inovação por ser uma das primeiras casas construída totalmente isolada. Em Santos, a maioria das residências era geminada. Havia outro sobrado no terreno que servia de alojamento aos criados e mantinha também duas salas de aula onde as crianças recebiam os professores. No jardim, havia também uma quadra de tênis e um pomar.

Os Pires viveram no casarão até 1935 quando, devido a problemas derivados pela quebra da bolsa, tiveram que vendê-lo definitivamente. Durante dois anos, foi pensionato de moças. Em 1937, a família Canero, de espanhóis, comprou a casa e foram seus últimos donos até esta ser considerada como patrimônio histórico e de utilidade pública, em 1979, através do Decreto 5645. Finalmente, em 1986, com a emissão de posse garantida pela prefeitura, esta pôde iniciar uma completa restauração do casarão, que só terminou em 1992.

Agora funciona como uma homenagem a Benedicto Calixto, pintor de Itanhaém. A casa, apesar de atualmente levar seu nome, jamais o teve como morador: ele, na verdade, passou a maior parte de sua vida em São Vicente.