Filho de Francisco José da Costa e Emília da Costa. Após uma infância pobre passada no Asilo de Meninos Desvalidos, no Rio de Janeiro, Batista da Costa ingressou em 1885 na Academia Imperial de Belas Artes, com o apoio do Barão de Mamoré, Ministro do Império, onde foi aluno de Zeferino da Costa e de Rodolfo Amoedo.
Em 1894, conquistou com o quadro em repouso o Prêmio de Viagem à Europa na primeira Exposição Geral de Belas Artes do período republicano. Seguiu em 1896 para Paris, onde estudou na Academia Julian.
Retornando ao Brasil em 1898, expôs na Casa Postal, no Rio de Janeiro, apresentando a sua produção européia. Em 1900, ganhou medalha de ouro de segunda classe na Exposição Geral de Belas Artes.
Em 1904, recebeu a medalha de ouro de primeira classe com o quadro Fim de jornada. Casou no Rio de Janeiro, em 23 de setembro de 1905 com Noêmi Gonçalves Cruz, filha do Bento Gonçalves Cruz, irmã do médico e sanitarista Osvaldo Cruz. O casal teve quatro filhos.A partir de 1906, foi professor na Escola Nacional de Belas Artes, instituição que dirigiu a partir de 1915 e onde trabalhou até a sua morte. João Batista da Costa foi um exímio paisagista, um dos maiores da pintura brasileira.