Veterán druhej svetovej vojny Drozdov vstúpil do služieb bývalej sovietskej tajnej služby KGB v roku 1956. Hneď nasledujúci rok bol vyslaný ako operačný dôstojník do Berlína. Neskôr sa potom zúčastnil niekoľkých operácií rozviedky, vrátane výmeny ruského tajného agenta Rudolfa Abeľa, odsúdeného v USA, za pilota zostreleného amerického výzvedného lietadla Garyho Powersa v roku 1962.
Podľa oznámenia SVR bol okrem iného aj rezidentom v Číne a v USA a tiež „účastníkom udalostí v Afganistane“. V decembri 1979 údajne riadil operáciu s útokom na palác afganského prezidenta Háfizulláha Amina, ktorá následne viedla k sovietskej okupácii Afganistanu.
V novembri 1979 bol Drozdov menovaný náčelníkom „ilegálnej“ rozviedky a riadil sieť tajných sovietskych agentov, takzvaných ilegálov, v zahraničí. V čele tejto inštitúcie bol až do odchodu do dôchodku v roku 1991. Drozdov tiež vytvoril špeciálnu jednotku KGB Vympel, určenú pre tajné operácie v zahraničí.