Н. А. Тихонов родился 1 [14] мая 1905 года в Харькове в семье инженера.
В 1920—1924 учился в Екатерининском техникуме путей сообщения (ныне Днепропетровский техникум путей сообщения)
В 1924 работал помощником машиниста паровоза.
В 1930 окончил Днепропетровский металлургический институт.
Работал на Днепропетровском металлургическом и трубопрокатном заводе им. В. И. Ленина инженером, с 1933 года — заместителем начальника цеха, с января 1938 года — начальником цеха, с января 1940 года — главным инженером. В конце 1930-х годов познакомился с Брежневым.
В сентябре 1940 года вступил в ВКП(б)
С сентября 1941 года — главный инженер Новотрубного заводе в г. Первоуральске Свердловской области. С июля 1947 по декабрь 1950 года работал директором Южно-трубного металлургического завода в г. Никополе.
В 1943 году вместе с коллективом завода, удостоенным Сталинской премии, передал денежные средства в Фонд обороны:
С декабря 1950 года начальника Главного управления трубной промышленности Министерства чёрной металлургии СССР. С сентября 1955 года заместитель министра чёрной металлургии СССР, отвечал за трубную промышленность. В 1957—60 годах — председатель Днепропетровского совнархоза. С 1960 заместитель председателя Государственного научно-экономического совета Совета Министров СССР — Министр СССР.
На XXII съезде партии в 1961 году избран кандидатом в члены ЦК КПСС.
С 1963 по 1965 год — заместитель Председателя Госплана СССР.
После прихода к власти Брежнева начинается быстрый карьерный рост Тихонова: с 1965 года он заместитель Председателя Совета Министров СССР, а с 1966 года член ЦК КПСС; Герой Соцтруда (1975). В 1976 году он становится Первым заместителем Председателя Совета Министров, а так как в последние годы пребывания на посту Председателя Совета Министров А. Н. Косыгин по состоянию здоровья нередко отходил от дел, эта должность становилась особо важной. 27 ноября 1978 года избран кандидатом в члены Политбюро ЦК КПСС, 27 ноября 1979 года — переведён из кандидатов в члены Политбюро ЦК КПСС. В декабре 1979 года считал необдуманным решение советского руководства о вводе войск в Афганистан .
В октябре 1980 года Косыгин из-за резкого ухудшения здоровья подал в отставку (умер через 2 месяца), 23 октября 1980 года Верховный Совет СССР утвердил Тихонова в должности Председателя Совета Министров. В 1982 году он получил вторую Золотую Звезду Героя Соцтруда.
Тихонов был хозяйственником-практиком, не интересовавшимся политическими вопросами, чуждым интриг, в меру прямолинейным, но осторожным, лично безупречно честным. Не был он и бесшумным исполнителем высшей воли, в частности не стеснялся критиковать А. Н. Косыгина и Л. И. Брежнева по частным вопросам. Настаивал на соблюдении строгого порядка решения вопросов, возражал против «телефонного права».
Однако он не был способен к самостоятельной деятельности государственного масштаба; в отличие от Косыгина не имел собственной экономической программы. Кадровая политика не претерпела при нём существенных изменений. За пять лет его премьерства ушла из жизни значительная часть Политбюро и сменились четыре генсека; сохранив свой пост при Ю. В. Андропове и К. У. Черненко, 80-летний Тихонов покинул пост через несколько месяцев после прихода к власти Горбачёва, избрание которого на пост генсека поддержал, несмотря на постоянные разногласия с ним в годы правления Ю. В. Андропова и К. У. Черненко.
27 сентября 1985 года Николай Александрович Тихонов был официально освобожден от обязанностей Председателя Совета Министров СССР «по состоянию здоровья» (атеросклероз мозговых сосудов); новым Председателем Совета Министров СССР был назначен Н. И. Рыжков. 15 октября 1985 года Пленум ЦК КПСС вывел его из членов Политбюро ЦК КПСС. В 1986-88 гг. — государственный советник при Президиуме ВС СССР. С 1988 г. — персональный пенсионер союзного значения. В последние годы жил уединённо, с воспоминаниями и интервью не выступал.
Н. А. Тихонов умер 1 июня 1997 года в Подмосковье. Похоронен, как бывший премьер, в Москве на Новодевичьем кладбище (участок № 4)