Ainda pela UDN, José Sarney elegeu-se governador do Estado, em 1965, derrotando por ampla maioria os dois candidatos vitorinistas. A seu pedido, Glauber Rocha filmou Maranhão 66, sobre a situação de extrema pobreza que vira ao longo da campanha.
Em 1962, reeleito com facilidade, Sarney vê sua previsão de fracasso do parlamentarismo se confirmar. O ano é perdido com a campanha para a volta do presidencialismo, confirmada pelo plebiscito de janeiro de 1963. Ao mesmo tempo o País se divide na discussão das reformas de base, que todos sabiam necessárias mas ninguém sabia quais eram. Abre-se uma crise gravíssima, com deterioração da economia e um paroxismo de enfrentamento político. 1964 começa com vários golpes anunciados. A dúvida é quem o dará primeiro: Leonel Brisola com as ligas camponesas, o próprio Jango, os grupos de direita ou os defensores da Constituição? Sarney é uma voz de ponderação. Embora fazendo oposição a Jango, em março defende uma solução política para a crise que vai culminar com o golpe militar. Nos primeiros dias de abril de 1964 se opõe às primeiras cassações, sustentando a proteção constitucional dos mandatos, que só poderiam ser
Tendo feito oposição a Juscelino, Sarney foi líder de Jânio na Câmara dos Deputados. Os breves meses do Governo Jânio Quadros prometiam uma revolução no País, com uma nova postura internacional, uma reforma dos métodos políticos e a busca da Justiça social que era a bandeira do Bossa Nova. Mas o sonho durou pouco: como muitos outros presidentes ao longo da História, achou que o Congresso Nacional não era tão dócil quanto devia, e resolveu aplicar um auto-golpe: renunciar para voltar nos braços do povo. Não deu certo. Abalado embora pela reviravolta, Sarney foi contra a reforma constitucional que implantou o parlamentarismo como maneira de podar o mandato de João Goulart, que era o Vice-Presidente. Numa declaração de voto, se disse parlamentarista mas mudar o regime dessa maneira seria ruim para o sistema e um golpe contra Jango.
Sarney lançou, com Edílson Távora e Ferro Costa, o grupo Bossa Nova, que pregava uma maior participação da questão social entre as bandeiras da UDN. Era a UDN de macacão. A eles se juntaram José Aparecido, Seixas Dória e vários outros. Contemporâneo das disputas pela candidatura presidencial, o Bossa Nova foi a grande marca da UDN naqueles dias. Com o apoio de Afonso Arinos, Sarney era vice-líder do partido. Na convenção nacional que homologou a aliança com Jânio Quadros, foi decidido que o Bossa Nova teria uma vaga na comissão diretora. Assim, Sarney foi eleito vice-presidente da legenda em 1959.
Sua presença nacional se refletiu na política maranhense. Nas eleições de 58, comandou um bloco de oposição ao grupo de Vitorino Freire, a Oposição Coligada, que conquistou quatro das dez cadeiras da bancada maranhense na Câmara dos Deputados, sendo o mais votado da chapa. Com o mandato pleno e a efetiva liderança política no Maranhão, passou a ter acesso às deliberações partidárias. No partido um homem fazia o espetáculo de massa: Carlos Lacerda. O grande tribuno tinha um jornal, que fazia as vezes de porta-voz da UDN, a Tribuna da Imprensa. Sarney frequentava sua redação e, com Aluísio Alves, Carlos Castello Branco, Odylo Costa, filho muitas vezes substituiu Carlos nos seus famosos editoriais.
Assumindo o comando do partido no Maranhão, Sarney estruturou e redimensionou a UDN estadual. Isso o credenciou a uma envergadura nacional, com a aproximação ao grupo conhecido como Banda de Música. Ele é formado por nomes como Adauto Lúcio Cardoso, Afonso Arinos, Aliomar Baleeiro, Bilac Pinto e Prado Kelly. Diz Sarney que na Banda tocava reco-reco.
Sarney filiou-se ao Partido Social Democrático (PSD), pelo qual, em 1954, iniciou-se na política sendo eleito suplente de deputado federal. A seis de junho de 1955, assumiu pela primeira vez a cadeira no plenário do Palácio Tiradentes, sede da Câmara dos Deputados. Os breves períodos se sucederam nos anos seguintes, até 1958. Pouco depois, Sarney trocou o PSD, que voltara a abrigar seu adversário Vitorino Freire (político que controlava o Maranhão), pela União Democrática Nacional (UDN). A mudança significava também a oposição ao Governo Federal, que tivera uma pedra de toque maranhense: a candidatura de Assis Chateaubriand. O grande jornalista perdera a eleição na Paraíba. Repetindo o que fizera em 1952, provocando uma nova eleição pela renúncia de um dos senadores do Estado e de seu suplente, obteve a renúncia do senador Alexandre Bayma e de seu suplente, Newton Bello. A vitória obtida a fórceps com a humilhação da política maranhense