وی در خانواده‌ای سرشناس از افسران روسیه تزاری رشد کرد و در سال 1910 از آکادمی هنرهای زیبای سن پترزبورگ فارغ التحصیل شد و سپس تا سال 1914 در بخش فارسی دانشکده شرق‌شناسیِ این دانشگاه تحصیل کرد.
مارکف در جنگ جهانی اول به عنوان داوطلب در ارتش روسیه در قفقاز خدمت کرد و در سال 1917 آجودان فرماندهی بریگاد قزاق در ایران شد.
وی پس از انقلاب اکتبر روسیه در ایران ماندگار شد و در سال 1921 از بریگاد قزاق خارج شد و به حرفه معماری بازگشت.
چندی بعد نیکلای مارکف در شهرداری تهران استخدام شد. این معمار روسی‌تبار با ساخت بیش از 20 اثر معماری در ایران و به خصوص در شهر تهران، از پیشگامان معماری مدرن در ایران محسوب می‌شود.
مارکوف، معماری اسلامی و شیوه‌های سنتی احداث بناهای ایرانی و مصالح محلی از قبیل آجر، سنگ، کاشی و گچ را می‌ستود. در واقع، آجرهای خشتی که وی به کار می‌برد به نام آجر مارکوفی مشهور شد.
شهر تهران بعدها دارای ساختمان‌هایی به سبک او شد، سبکی که تلفیق چهار نوع فرهنگ را به نمایش می‌گذاشت: مدرن، التقاطی، غربی و ایرانی.
نیکولای مارکف، معمار سرشناس که برای شهرداری تهران کار می‌کرد و ساختمان‌های زیادی در تهران و شهرهای اطراف آن ساخت، در سال 1957 در تهراد درگذشت.
برخی از بناهای مشهور که توسط نیکولای ماکوف در تهران ساخته شده‌اند:
- دبیرستان البرز: ساختمان دبیرستان البرز از نخستین کارهای او محسوب می‌شود.
- اداره پست و تلگراف تهران: این بنا درسال ۱۳۰۷ هجری خورشیدی با صرف هزینه پانصد هزار تومان و با مساحت ۱۵ هزار متر مربع در خیابان سپه (امام‌خمینی فعلی) تأسیس شد.
- مدرسه ژاندارک
- دانشسرای عالی واقع در میدان بهارستان.
- شهرداری تهران واقع در میدان توپخانه که در دوران محمدرضا شاه تخریب شد.
- کارخانه قند ورامین، نخستین کارخانه قند ایران و خاورمیانه است که در سال ۱۳۱۳ خورشیدی توسط نیکلای مارکوف، ساخته و در سال ۱۳۸۴ به بخش خصوصی واگذار شده‌است. این کارخانه در فهرست آثار ملی کشور به ثبت رسیده‌است.
- مدرسه جدید دارالفنون
- زندان قصر
- خانه پروفسور عدل
- دبیرستان انوشیروان دادگر
- مسجد امین‌الدوله
- کارخانه سیمان تهران
- سفارت ایتالیا
- کلیسای حضرت مریم
- ساختمان سینگر: این بنا در چهارراه مخبرالدوله تهران واقع است. در ساخت این بنا مارکف معماری اروپایی معمول را دنبال کرد و آن را به صورت نئوکلاسیک ساخت که منعکس کننده معماری کلاسیک قرن ۱۶ بود.
- عمارت مشیرالدوله: این خانه، در انتهای بن بست پیرنیا در خیابان لاله‌زارنو و کمی پایین‌تر از چهارراه کنت واقع است.
