A trajetória política de José de Medeiros Tavares iniciou-se em 1962, quando foi eleito deputado estadual pelo PDC, com 2.021 votos, ficando em 7º lugar das trinta e cinco vagas em disputa. Com a extinção dos partidos políticos pelo Ato Institucional nº 2 (de 27/10/1965) e logo em seguida com a instauração do bipartidarismo, Tavares filiou-se à Arena, partido de apoio ao regime militar instalado em 1964.
Em setembro de 1966, José Tavares foi indicado para vice-governador de Antônio Lamenha Filho, primeiro governador eleito pelo processo indireto após o golpe militar de 1964.
Nas eleições municipais de 1972, na sua terra natural Junqueiro, José Tavares no espírito conciliador que lhe era peculiar, conseguiu a façanha de reunir as famílias Tavares/Pereira/Jesus em torno da candidatura de Abel Augusto de Almeida para prefeito. Abel além de ter sido eleito, foi candidato único naquele pleito.
José Tavares ainda teve dois mandatos consecutivos para deputado estadual. Na eleição de 1974 foi eleito pela Arena com 12.016 votos, ficando em 3º lugar das dezoito vagas em disputa. Na eleição de 1978 foi eleito mais uma vez pela Arena com 14.663 votos, ficando em 2º lugar das vinte e uma vagas em disputa. Tavares naquela legislatura foi presidente da Assembleia Legislativa nos biênios 1978/1982. Após o fim do bipartidarismo em novembro de 1979 e da posterior reorganização partidária ele filiou-se ao PDS, partido que deu continuidade à Linha Governista da extinta Arena.
Pelo espírito conciliador e liderança que exercia sobre seus pares na Casa de Tavares Bastos, José Tavares foi escolhido pelo seu grupo político nas eleições de 1982 para ser o candidato a vice-governador na chapa encabeçada por Divaldo Suruagy (PDS). A eleição de 1982 foi a primeira eleição direta em Alagoas para o governo do Estado, após o golpe militar de 1964. A chapa Suruagy/Tavares foi eleita com uma votação de 257.898 votos (55,49%). Tavares, em março de 1986, assumiu o governo do Estado em virtude do afastamento de Suruagy, que se desincompatibilizou do cargo para ser candidato a uma vaga de senador constituinte nas eleições de novembro daquele ano. José Tavares permaneceu no cargo até março de 1987.
Nas eleições de 1986 o grupo político Suruagy/Tavares já não tinha mais a mesma harmonia das eleições de 1982. Fernando Collor que foi eleito o deputado federal mais votado naquele pleito, não estava mais aliado ao grupo, tinha saído do PDS e ingressado no PMDB, levando com ele várias lideranças, principalmente do interior do Estado. O governador José Tavares tinha a pretensão de ser candidato ao governo, contudo foi preterido, fazendo o mesmo a manter uma posição de magistrado, fator este que contribuiu para a vitória de Collor para o governo do Estado.
Após o término de seu mandato de governador de Alagoas, José Tavares não voltou mais a concorrer a cargos eletivos, passando a se dedicar à atividade agropecuária. Faleceu em Maceió no dia 27 de abril de 2003.
