A trajetória política de José Oliveira Costa iniciou-se em 1974 quando ele foi eleito o deputado federal mais votado de Alagoas com 40.278 votos das seis vagas em disputa pelo MDB. Estávamos vivendo no período da ditadura militar, onde naquela eleição o eleitor só votava para deputado estadual, federal e senador. O cargo de governador era nomeado pelo Presidente da República. Das dezoito vagas para a Assembleia Legislativa, a Arena, partido do governo, elegeu doze e o MDB que representava a oposição elegeu seis. Das seis vagas para deputado federal a Arena elegeu quatro e o MDB dois. Teotônio Vilela (Arena) foi o senador eleito para a única vaga em disputa com 140.989 votos (59,71%). O escolhido pelo presidente da República Ernesto Geisel para o governo do Estado foi Divaldo Suruagy (Arena).
Nas eleições de 1978, José Costa era um dos nomes mais cogitados para ser candidato ao Senado pelo MDB, porém foi candidato à reeleição a deputado federal, sendo eleito com a segunda maior votação de 54.522 votos das sete vagas em disputa. Nos seus dois primeiros mandatos na Câmara Federal, Costa se destacou pela defesa da liberdade de presos políticos durante a ditadura militar.
José Costa, nas eleições de 1982 seria pela terceira vez candidato a deputado federal, porém Teotônio Vilela, que seria candidato pelo PMDB ao senado, desistiu de sua candidatura por motivos de saúde. José Moura Rocha que seria candidato ao governo passou a ser o candidato ao Senado e José Costa o candidato ao Governo (PMDB), tendo sido o segundo colocado com 206.856 votos (44,51%). Seu vice foi Zeca Torres. Vários foram os fatores determinantes para sua derrota, entre eles a existência de uma miríade de casuísmo que o partido do governo (PDS) foi beneficiado, como por exemplo o voto vinculado, o qual obrigava o eleitor a escolher candidatos de um mesmo partido para todos os cargos em disputa, sob pena de anular seu voto, engessando a eleição beneficiando por demais a situação. A partir daí a oposição lançou uma campanha em que orientava o eleitor a votar até nos candidatos proporcionais da situação, desde que deixasse em branco para o governo (cabeça de chapa), o que foi batizado de “voto camarão”. Faltava à oposição uma estrutura política mais organizada. Em muitos interiores de Alagoas não havia diretório político do PMDB, o que gerou prejuízo na votação no interior. Além desses fatores adversos à oposição, o partido da situação (PDS) ainda tinha a seu alcance a máquina do governo federal, estadual e também tinha a ampla maioria das prefeituras a seu favor. Apesar de todas estas situações desfavoráveis que a oposição enfrentou nas eleições de 1982, a diferença a favor do governo foi de apenas 11%.
Depois da redemocratização do país, a eleição de 1985 foi a primeira eleição direta em Maceió após 1965; então por vinte anos todos os prefeitos que sucederam Divaldo Suruagy foram nomeados. Naquela eleição, José Costa foi eleito vice-prefeito de Maceió, tendo como cabeça de chapa o deputado federal Djalma Falcão (PMDB). As eleições aconteceram no dia 15 de novembro e Djalma foi eleito com 56.174 votos (41,40%). Costa renunciou ao cargo no início de seu mandato para candidatar-se a uma vaga na Assembleia Nacional Constituinte nas eleições de 1986.
Nas eleições de 1986, José Costa foi eleito, pelo PMDB, a deputado constituinte com 46.199 votos, ficando em 3º lugar das nove vagas em disputa. Costa foi um parlamentar muito atuante e de muito destaque na Assembleia Nacional Constituinte. Pronunciou-se a favor da estabilidade no emprego, da jornada semanal de 40 horas, do turno ininterrupto de seis horas, do direito de greve, aviso prévio proporcional, das férias com um terço a mais no salário, entre outros pontos a favor da classe trabalhadora.
José Costa nas eleições de 1990 e 1998 não disputou o pleito. Foi candidato pela quarta vez a deputado federal nas eleições de 1994, obtendo 10.957 votos, ficando na suplência. Durante aquela legislatura assumiu o mandato por quatro meses no lugar do deputado Luiz Dantas, que se licenciou para tratamento de saúde.
Nas eleições de 2002, José Costa era o presidente regional do PMDB, tendo sido naquele pleito o primeiro suplente para o senado na chapa de Renan Calheiros. Nas duas vagas em disputa Renan ficou em primeiro lugar com 815.136 votos (42,27%). Costa, em 2005 afastou-se das atividades do diretório do PMDB e dedicou-se à advocacia.
José Costa (PPS), na eleição de 2010, foi candidato ao Senado na chapa de Teotônio Vilela Filho, que foi candidato ao governo de Alagoas. Costa obteve 112.921 votos (4,49%), ficando em 6° lugar das duas vagas em disputa.
Nas eleições municipais de 2012, José Costa foi candidato pelo PPS a vereador por Maceió obtendo uma inexpressiva votação de 1693 votos, ficando na quarta suplência da sua coligação. Talvez, a decisão em ser candidato a vereador naquele pleito tenha sido seu maior erro político de toda a sua trajetória, pois o momento político estava muito diferente de outrora.
José Costa honrou o voto do alagoano.
