Отец Александра Иосифовича был кандидатом экономических наук, после окончания Рижского политехнического института служил бухгалтером на заводах и банковских предприятиях (завод «Малкиель», завод «Вестингауз» и др.). После 1917 года он продолжил работу в том же качестве на предприятиях Ленинграда. Умер в 1941 году. Мать — зубной врач частной практики. Умерла в Москве в 1960 году.
Александр Иосифович Шальников родился в Санкт-Петербурге 10 мая 1905 года. В 1914 году поступил в реальное училище при приюте Ольденбургского. Вот что писал Б. Н. Лосский про его поступление в это заведение:
В 1918 году перевёлся в 51-ю советскую школу и окончил её в 1922 году. В 1922—1924 годах работал лаборантом в той же школе. В 1923 году поступил на физико-механический факультет Ленинградского политехнического института, который окончил в 1928 году со званием инженера-физика.
В 1923—1935 годах работал в Ленинградском физико-техническом институте. В это время Шальников занимался исследованием процессов испарения и конденсации веществ в высоком вакууме. Александр Иосифович посвятил много времени разработке и совершенствованию различных физических приборов — счётчиков фотонов (квантов света), иконоскопов, электронографов и вакуумной аппаратуры. Коллеги отмечали блестящие способности Шальникова как экспериментатора и изобретателя, его стремление к завершению работы только после получения полностью воспроизводимого физического явления и работающей аппаратуры.
С 1935 года перешёл на работу в институте физических проблем АН СССР, куда его пригласил Пётр Леонидович Капица ещё при организации нового института. Официально — был откомандирован туда Наркомтяжпромом. В том же году был утверждён ВАКом в звании действительного члена института, а в 1937 году — была присвоена степень доктора физико-математических наук без защиты диссертации. В ИФП Александр Иосифович занимался проблемами низких температур, физики сверхпроводников, жидкого и твёрдого гелия. Ещё в 1938 году он наблюдал существенное повышение критической температуры сверхпроводящих металлических плёнок. В 1946 году Александр Иосифович был избран членом-корреспондентом АН СССР. Также в 1947—1955 годах был выполнен ряд исследований, помогающих решить проблемы государственного значения, за которые учёный был удостоен трёх государственных премий СССР — в 1948, 1949 и 1953 годах.
В 1955 году подписал «Письмо трёхсот».
В 1956 году при активном участии Шальникова был организован журнал «Приборы и техника эксперимента», его редактором Александр Иосифович оставался до конца своей жизни.
С начала 1960-х годов Шальников оказывал помощь врачам-хирургам, разрабатывая тонкие, но простые и надёжные в использовании инструменты для проведения операций с помощью замораживания тканей. В то же время учёный провёл цикл работ по исследованию свойств гелия. С целью изучения твёрдого состояния вещества Александр Иосифович разработал новую методику по выращиванию рекордных по чистоте кристаллов гелия, которая впоследствии стала классической и послужила основой для всех дальнейших исследований. За цикл работ по изучению кристаллического гелия Президиум АН СССР наградил Шальникова Золотой медалью имени П. Н. Лебедева, высшей наградой для физика-экспериментатора в СССР.
В 1979 году А. И. Шальников был избран академиком АН СССР.
Александр Иосифович вёл постоянный семинар для студентов МГУ. В 1946 году вошёл в состав первого учёного совета физико-технического факультета МГУ. С 1950 года занимал должность заместителя заведующего кафедрой общей физики МФТИ, где, под руководством Петра Леонидовича Капицы, занимался организацией физических лабораторий, демонстрационного кабинета и созданием физического практикума.
Был женат, имел двоих детей.