وی دوران ابتدایی را در روستای زادگاهش گذراند و در سال ۱۹۵۸ به نیروهای مسلح پیوست و در رشته نظامی تحصیل کرد و در سال 1960 با درجه افسری به ارتش یمن پیوست.
صالح در دوران انقلاب یمن در سال‌های دهه شصت میلادی به دفاع از جمهوری و انقلاب پرداخت و سپس به درجه ستوان دومی رسید.
علی عبدالله در سال ۱۹۵۸ به ارتش یمن پیوست و در سال ۱۹۶۲ در طراحی و اجرای کودتا علیه شاه یمن دست داشت.
برخی از سمت‌های وی در ارتش یمن عبارتند از: فرمانده جوخه، فرمانده گردان زره‌پوش، فرمانده اردوگاه خالد ابن ولید.
عبدالله صالح تا قبل از ریاست جمهوری در پست‌هایی مثل؛ معاون فرمانده و رئیس ستاد کل پس از ترور رئیس جمهور یمن در سال ۱۹۷۸، دبیر کلی کنگره عمومی مردم در سال ۱۹۸۲، ریاست جمهوری کشور یمن شمالی از سال ۱۹۷۸تا ۱۹۹۰.
وی از سال ۱۹۹۰ به ریاست جمهوری یمن رسید و در سال ۲۰۱۱، زمانی که اعتراضات مردمی در خاورمیانه به یمن سرایت کرد به شدت به سرکوب معترضین پرداخت.
در نهایت او در ژانویه ۲۰۱۲ و پس از تصویب قانون مصونیت قضایی‌اش از سوی پارلمان، صنعا را برای آن چه "اهداف پزشکی" خوانده شد به مقصد آمریکا ترک کرد.
عبدالله صالح چهارم دسامبر ۲۰۱۷ در یمن کشته شد