Младший из пяти братьев Орловых, рано остался сиротой, и детство провел в доме старшего брата Ивана. Владимир был больным и слабым ребенком, поэтому жизнь в деревне укрепила его силы. В 20 лет он был отправлен братьями за границу, 9 июля 1763 года он поступил в Лейпцигский университет, где пробыл три года.
Там он приобрел любовь к науке, особенно к астрономии, уважение к немецким ученым и усвоил привычки жизни немецкого провинциального города, что вполне согласовалось с его личными вкусами: любовью к тихой семейной жизни и склонностью к хозяйственным заботам. Вопреки общему течению, Орлов не увлекался французской философией 18 века и её блестящими представителями, он не любил даже французского языка и никогда на нем не говорил.
По возвращении в Россию, Екатерина II пожаловала его в камер-юнкеры (в 1766 году) и часто называла „философом", почему, вероятно, и назначила его 6 октября 1766 года директором Академии Наук в помощь графу К.Г.Разумовскому . В 1767 году Орлов сопровождал императрицу в путешествии по Волге, где вел дневник, а на досуге перевел 15-ю главу из романа «Велизарий» Мармонтеля.
Как директор Академии, которая находилась в упадке, Орлов сделал много, хотя, и не мог привести её «в цветущее состояние». Он обревизовал суммы Академии, покровительствовал русским молодым людям, ехавшим за границу, и энергично организовал несколько научных экспедиций, особенно по наблюдению за прохождением Венеры через диск Солнца.
В 1770 году Орлов был пожалован камергером и совершил путешествие по России, во время которого по обыкновению вел дневник. В 1771 году, почти приговоренный врачами к смерти, он ездил лечиться за границу, где завёл личное знакомство и переписку со многими учеными.
5 декабря 1774 год Орлов был уволен в отставку, с чином генерал-поручика, и навсегда удалился от службы.
Граф Орлов был женат с 1768 года на баронессе Елизавете Ивановне Штакельберг (1741—1817), фрейлине Екатерины II, в браке имели 2 сыновей и 3 дочерей: