او در افغانستان اردویی برای تعلیم شبه‌نظامیان راه انداخت و در اواخر سال ۲۰۰۴ به اسامه بن لادن و القاعده پیوست.
الزرقاوی پس از رفتن به عراق و به مسئولیت گرفتن تعدادی بمب‌گذاری در زمان جنگ به شهرت رسید.
الزرقاوی در سال ۱۹۹۰ گروهی به نام جماعت توحید و جهاد را بنیان گذاری کرده و سرکردگی آنرا تا زمان مرگ (ژوئن سال ۲۰۰۶) برعهده داشت.
ابومصعب الزرقاوی در ۷ ژوئن سال ۲۰۰۶ در 8 کیلومتری شمال شهر بعقوبه در شمال بغداد پایتخت عراق به دست نیروهای آمریکایی کشته شد.
