Brown viedol Pentagón počas turbulentného obdobia, v ktorom sa odohrala napríklad invázia Sovietskeho zväzu do Afganistanu, či iránska rukojemnícka kríza. Brown neskôr povedal, že neúspešný pokus o záchranu rukojemníkov, v ktorom zomrelo osem amerických vojakov, považuje za svoj „najväčší žiaľ a najbolestivejšiu životnú lekciu“.
Vyštudovaný jadrový fyzik Harold Brown úspešne viedol kampaň na zvýšenie rozpočtu Pentagónu, a to aj napriek skepticizmu v Bielom dome a Kongrese. Takisto dohliadal na snahy modernizovať obranné systémy USA zbraňami, ktoré zahŕňali rakety s plochou dráhou letu s vyššou presnosťou, lietadlá typu stealth, moderný satelitný prieskum a vylepšené komunikačné a spravodajské systémy.