در چندماهگی به همراه خانواده به تهران مهاجرت کرد. تحصیلات ابتدایی‌اش در تهران و شیراز و اصفهان گذراند. در تهران به مدرسهٔ آمریکایی‌ها رفت و در آنجا همراه سایر شاگردان سرود هم می‌خواند.
علاقه و توجه به موسیقی در خانوادهٔ خالقی امری معمول بود؛ پدر و مادر هر دو تار می‌نواختند و پدر مدتی شاگرد استادان مطرح این ساز بوده‌است. همچنین خانوادهٔ او با میرزا غلامرضا شیرازی، نوازندهٔ تار، رفت‌وآمد و آشنایی داشته‌است و فرزندان، وی را «عمو» می‌خوانده‌اند.
با انتقال پدرش به شیراز در سال ۱۲۹۵، در شهریور ۱۲۹۷ به همراه خانواده به این شهر رفت. در آنجا از آموزش‌های میرزا نصیر فرصت در زمینهٔ عروض و نقاشی استفاده نمود. همچنین آموختن موسیقی را نزد شوهر عمه‌اش میرزا رحیم شروع کرد و از او بیش از یک سال ویولن می‌آموخت.در سال ۱۳۰۲ به مدرسهٔ عالی موسیقی رفت و در آنجا تحت نظر علینقی وزیری آموختن موسیقی و نواختن ویولن را آغاز کرد.
در سال ۱۳۰۳ با وجود مخالفت پدرش، تصمیم گرفت صرفاً به مدرسهٔ موسیقی برود. پدرش با وجود علاقه‌ای که به موسیقی داشت، با موسیقی یاد گرفتن وی مخالف بود و در نتیجه او مدتی پنهانی به مدرسهٔ موسیقی می‌رفت. در تابستان سال ۱۳۰۴، چهار کنسرت به رهبری وزیری در مدرسه اجرا شد که خالقی نیز در آن‌ها به عنوان نوازنده حضور داشت.
در دو سال آخر تحصیلش، شهرداری تهران کافهٔ بلدیه را بنیاد کرد و برای آن نیاز به یک دستهٔ ارکستر ایرانی داشت. تشکیل دادن این دسته به خالقی پیشنهاد شد و او این کار را انجام داد.
خالقی یاد دادن موسیقی را از ۱۳۰۷ در مدرسهٔ ورزش آغاز کرد. بعد از لیسانس نیز به هنرستان عالی موسیقی رفت و در آنجا تدریس کرد.
در سال ۱۳۱۰ از دارالفنون دیپلم گرفت و وارد دارالمعلمین شد. در خرداد سال ۱۳۱۳، دارالمعلمین به «دانشسرای عالی» تغییر نام یافت. خالقی مدرک لیسانس خود را از این دانشسرا در رشتهٔ فلسفه و ادبیات دریافت نمود.
وی در ۱۳۱۴ وارد خدمت دولتی در وزارت فرهنگ گردید و در ۱۳۱۷ معاون دفتر وزارتی وزارت فرهنگ شد. در ۱۳۲۰ به پیشنهاد وزیری، معاون ادارهٔ موسیقی کشور و نیز معاون هنرستان عالی موسیقی شد. در ۱۳۲۵ مدتی در وزارت کار و تبلیغات کار کرد. در ۱۳۲۷ متصدی دبیرخانهٔ هنرهای زیبا شد. در ۱۳۲۸هنرستان موسیقی ملی را تأسیس کرد و رئیس آن شد.
در سال ۱۳۳۴ در چارچوب برنامه‌های انجمن ایران و شوروی به این کشور سفر کرد. همچنین در ۱۳۳۵، سفرهایی را به کشورهای رومانی، فرانسه و هندوستان انجام داد. دستاورد وی از سفر هند، مجموعه مقالاتی در زمینهٔ موسیقی و رقص در این کشور بود.
خالقیآهنگساز و موسیقیدان و مورخ تاریخ موسیقی و سردبیر چند نشریه فرهنگی موسیقایی سالها در رادیو ایران نیز فعالیت داشت و از جمله رئیس شورای موسیقی رادیو بود و برنامه‌های رادیویی «یادی از هنرمندان درگذشته» و «ساز و سخن» را راه‌اندازی کرد. وی همچنین، سرپرست ارکستر گل‌ها نیز بود.
از آهنگ‌های ساخته خالقی که در این دوره بسیار موردپسند بود و از رادیو بسیار پخش می‌شد «رنگارنگ شماره یک» در دستگاه اصفهان بود. همکای او با غلامحسین بنان و نیز مرتضی خان محجوبی آثاری ماندگار را در تاریخ موسیقی گل‌ها و نیز موسیقی ایران رقم زد.
از جمله شناخته شده‌ترین ساخته‌های خالقی می‌توان به سرود ای ایران اشاره کرد که از آن به عنوان سرود ملی غیر رسمی یاد می‌شود.
علاوه بر آن خالقی مولفی چیره دست بود و در کارنامه کاری او بیش از ۱۴ کتاب به چشم می‌خورد و در کنار آن او کار روزنامه‌نگاری هم می‌کرد و سردبیر چند نشریه موسیقایی و فرهنگی بود.
مهمترین کتاب خالقی سرگذشت موسیقی ایران است که از جمله مهمترین منابع درباره تاریخ موسیقی ایران به شمار می‌رود.
خالقی در سال ۱۳۳۸ به در خواست خود از اداره کل هنرهای زیبا بازنشسته شد اما همچنان به فعالیت‌های هنری خود ادامه داد.
خالقی در ۱۳۴۴ در سالزبورگ در اتریش پس از چند عمل جراحی ناموفق، بر اثر سرطان معده درگذشت و در گورستان ظهیرالدوله در تهران دفن شده‌است. سه فرزند خالقی گلنوش، فرهاد و فرخ نام دارند.
بعد از درگذشت خالقی جلد سومی هم بر اساس مقالاتش در نشریات به کتاب سرگذشت موسیقی ایران افزوده شد که این کار به توصیه دخترش گلنوش خالقی و علی تجویدی جلد سوم را تدوین کرد که به همراه دو مجلد دیگر در یک کتاب از سوی انتشارات ماهور به بازار موسیقی عرضه شد.
کتاب ای ایران نوشته گلنوش خالقی (مجموعه‌ای از نوشته‌ها و سفرنامه‌های روح‌الله خالقی) و سرگذشت روح‌الله خالقی، نوشته سید ابوالحسن مختاباد از دیگر آثاری است که به زندگی این محقق و موزیسین نامدار اختصاص یافته است.