Li estis la filo de Sarney de Araújo Costa kaj Kiola Ferreira de Araújo Costa. En 1965 li laŭleĝe ŝanĝis sian nomon al José Sarney de Araújo Costa, ofte mallongita al José Sarney por elektada kialo, tiel li estis konata kiel "Zé do Sarney" (José, filo de Sarney). Lia patro estis nomata Sarney ĉar li estis naskita sur terpeco propra de "Sir Ney", anglo por kiu lia avo laboris.