Согласно утверждению советолога Джорджа Р. Урбана: "Склянский хорошо известен исследователям русской истории как человек, задавший Троцкому вопрос: «Что вы думаете о Сталине?» На что Троцкий дал знаменитый ответ: «Сталин — самая посредственная личность в нашей партии»".
Родился в семье мещанина среднего достатка. С 1899 семья жила в г. Житомир.
Окончил гимназию с золотой медалью. В 1911—1916 гг. учился на медицинском факультете Киевского университета. С июля 1913 член РСДРП, пропагандист Киевского комитета партии.
В армии с 1916 года: солдат запасного батальона, врач Пехотного Черноморского полка.
После Февральской революции: в марте избран председателем солдатского комитета 38-й дивизии и членом комитета 19-го армейского корпуса, в апреле председатель 2-го армейского съезда, с мая председатель армейского комитета 5 армии Северного фронта. Член Двинского комитета РСДРП(б).
С октября 1917 года в Петрограде, делегат 2-го Всероссийского съезда Советов, член Президиума съезда от фракции большевиков. Член Военно-революционного комитета Петроградского Совета.
Комиссар Главного штаба и Ставки Верховного главнокомандования в Могилеве. В марте — сентябре 1918 г. член Высшего военного совета РСФСР. С 6 сентября член, а с 22 октября 1918 года заместитель председателя РВСР, с 1923 года — РВС СССР.
В 1920—1921 гг. член СТО и коллегии наркомата здравоохранения РСФСР. Член ВЦИК и ЦИК. Делегат VIII, X, XII съездов партии.
11 марта 1924 года снят со всех военных постов. Б. В. Бажанов, занимавший в то время пост личного секретаря Сталина, объясняет это борьбой за власть внутри Политбюро :
В апреле 1924 года назначен председателем правления треста «Моссукно» (Объединенные государственные фабрики тонких сукон Московского района ВСНХ). В мае 1925 года был направлен в служебную командировку в Германию, Францию.
В том же году был назначен Председателем «Амторга» — единственного на тот момент представительства СССР в США. Это назначение вызвало неоднозначную оценку:
Вскоре пришло известие, что Склянский утонул в озере, катаясь на лодке близ поселка Эдион, штат Нью-Йорк. Выехав кататься на моторной лодке, долго не возвращался; при поисках нашли лодку перевернутой, а Склянского утонувшим. Свидетелей несчастного случая не было. По мнению Б. Г. Бажанова, Склянский был убит по приказу Сталина.
Вячеслав Молотов вспоминал: «Троцкий всюду насаждал свои кадры, особенно в армии. Гамарник, начальник Политуправления. Склянский был у него первым замом. Я его знал. Откудова он взялся — чёрт его знает! Откуда Троцкий его взял, я не слыхал никогда».
Похоронен на Новодевичьем кладбище. По утверждению советолога Джорджа Р. Урбана, Сталин отказал в захоронении его праха в Кремлевской стене.
Посмертно имя Склянского было присвоено Купавинской фабрике братьев Бабкиных (носила до 1938 года).