Еще подростком Нилссон переехал в Лос-Анджелес, где окончил школу, а также курсы по обслуживанию компьютеров и получил должность контролера в «Security First National Bank. Однако это не мешало ему параллельно начать еще и музыкальную карьеру, записывая демоленту с собственными композициями, позже он презентовал разным лос-анджелесским звукозаписывающим фирмам. Предложенным таким образом творческим материалом воспользовался Фил Спектор, записав произведения «Paradise» и «Here I Sit» с The Ronettes, а также «This Could Be The Night» с The Modern Folk Quartet. Заинтересованность со стороны известного продюсера побудила артиста записать собственные композиции для фирмы «Tower» и 1966 года появились синглы «You Can't Take Your Love Away From Me» и «Good Times», вышедшие под псевдонимом Nilsson. В следующем году его песню «Ten Little Indians» записал группа The Yardbirds, а после того как Нилссон услышал по радио в исполнении The Monkees свое произведение «Cuddly Toy», он оставил работу в банке и сосредоточился на музыкальной карьере.
Заключив соглашение с лейблом RCA Records, Нилссон записал успешный дебютный альбом «Pandemonium Shadow Show». Выбранные для пластинки произведения не только прекрасно представляли трехоктавний диапазон голоса Нилссона, но и принесли признание со стороны Джона Леннона (среди предложенных произведений было попурри «You Can't Do That» из произведений The Beatles), что в свою очередь начало многолетние дружеские отношения между двумя музыкантами.
Между тем композиции Нилссона продолжали пользоваться популярностью и среди других исполнителей. Например, The Turtles записали «The Story Of Rock'n'Roll», Херб Алперт и Blood, Sweat & Tears - «Without Her», a «Three Dog Night» возглавили американский чарт с произведением «One». Авторская версия этого произведения попала на второй альбом Нилссона «Ariel Ballet». Также на этом лонгплее можно было услышать песню из репертуара Фреда Нила «Everybody's Talking», которая, попав к звуковой дорожки фильма «Ночной ковбой», принесла артисту первый хит в американском Тор 10.
На очередной альбом, названный «Harry», вошла композиция «The Puppy Song», которая позже стала хитом в исполнении Дэвида Кэссиди, а лонгплей «Nilsson Sings Newman» предлагал исключительно композиции Рэнди Ньюмена, которые Нилссон исполнил под собственный аккомпанемент на фортепиано. Очередной предложением артиста была звуковая дорожка «The Point» для одноименного анимационного фильма. За сценарий и музыку к этому фильму Нилссон получил награду на фестивале в Монтре, однако наибольший успех принес альбом «Nilsson Schmilsson» и сингл из него «Without You». Эта композиция из репертуара группы Badfinger в эмоциональном исполнении Нилссона возглавила британский и американский чарты и разошлась тиражом более миллиона экземпляров. Также в 1972 году, песня принесла Нилссону награду «Грэмми» как лучшему поп-рок-вокалисту.
Следующий альбом «Son & Schmilsson», был выдержан в стиле предыдущего лонгплея. В 1973 году Ниллсон неожиданно поразил всех, записав альбом «A Little Touch Of Schmilsson In The Night» с чарующими инструментальными стандартами, среди которых были, например, «Makin' Whoopee» и «As Time Goes By».
Продюсируемый Джонном Ленноном альбом «Pussy Cats» вышел в 1974 году, он много почерпнул из поп-классики и предлагал, например, такие произведения, как «Homesick Blues», «Save The Last Dance For Me» и «Rock Around The Clock». Во время работы над звуковой дорожкой «Son Of Dracula» Нилссону помогал Ринго Старр, однако очередным композициям певца хватало четко очерченного музыкального направления, хотя весной 1976 года на сцене лондонского «Mermaid Theatre» адаптация «The Point» получила большой успех. Также в этот период Нилссон возобновил сотрудничество с двумя бывшими участниками The Monkees Дэйви Джонсом и Мики Долензом.
В 1980-х годах Нилссон отошел от музыки, посвятив себя главным образом дистрибуции фильмов, снимавшихся в калифорнийской «Studio City». Однако 1988 лейбл RCA Records издал альбом «A Touch More Schmilsson In The Night», который как и альбом 1973 года, предлагал лирические интерпретации популярных композиций, среди которых были, например, два уже классических произведения Харберга «It's Only Paper Moon» и « Over The Rainbow».
15 января 1994 Нилссон умер в собственном доме в результате болезни сердца, а в следующем году группа известных исполнителей записала альбом-посвящение с собственными версиями его популярных произведений.