وی مدرک کارشناسی خود را از دانشگاه آمریکایی بیروت و دکتری را در رشته علوم فنی در سال ۱۹۷۷ از دانشگاه امآیتی آمریکا دریافت کرد.
علیاکبر صالحی، با مرتبهٔ علمی دانشیار، عضو هیأت علمی دانشکده مهندسی مکانیک دانشگاه صنعتی شریف بوده و بین سالهای ۱۳۶۱ تا ۱۳۶۳ و ۱۳۶۸ تا ۱۳۷۲ ریاست این دانشگاه را بر عهده داشته است.
وی در دولت سید محمد خاتمی، نمایندهٔ ایران در آژانس بینالمللی انرژی اتمی بود.
وی در دسامبر سال ۲۰۰۳ در سمت نماینده ایران در آژانس بینالمللی انرژی اتمی پروتکل الحاقی را امضا کرده بود.
همچنین، وی بین سالهای ۲۰۰۷ تا ۲۰۰۹، معاونت دبیر کل سازمان کنفرانس اسلامی را بر عهده داشتهاست.
در سال 1388 و پس از استعفای غلامرضا آقازاده از ریاست سازمان انرژی اتمی ایران، محمود احمدی نژاد، علی اکبر صالحی به این سمت انتخاب کرد.
وی دانشیار دانشگاه صنعتی شریف، رییس سابق این دانشگاه، استاد فیزیک هستهای دانشگاه شهید بهشتی، عضویت در انجمن هستهای دانشگاه شهید بهشتی، مشاور وزیر امور خارجه، رییس سازمان انرژی اتمی ایران و سرپرست وزارت امورخارجه را در کارنامه کاری خود دارد.
علی اکبر صالحی آذر سال 1389 از سوی محمود احمدینژاد به عنوان سرپرست وزارت امور خارجه انتخاب و جایگزین منوچهر متکی شد و 10 بهمن همان سال، با 146رای موافق، 60 رای مخالف و 35 رای ممتنع از مجموع 241 نماینده از مجلس شورای اسلامی رای اعتماد گرفت و به عنوان وزیر امور خارجه معرفی شد.
مرداد سال 1392 پس از پایان دولت دهم، صالحی از سوی حسن روحانی رئیس جمهور وقت به عنوان رئیس سازمان انرژی اتمی منصوب شد.
صالحی در دولت دوازدهم در همین پست منصوب شد.