Родился 15 июня 1939 года в селе Сергиевка Чимкентской области Казахской ССР в семье учителя. Корейские предки Кима переселились в Россию ещё в XIX веке. В 1937 его родителей сослали в Казахстан, а в 1947 на Сахалин. Учился в Московском художественном училище памяти 1905 года, поэтому часто выступает, как художник и оформитель собственных книг.
В 1971 заочно окончил Литературный институт им. А. М. Горького. Перебрал много самых разных профессий, что помогло ему ориентироваться в жизни. Начал с публикации рассказов и повестей, тематически связанных с Дальним Востоком и Сахалином и несущих на себе печать национального корейского миросозерцания, быта и фольклора. Впоследствии даже преподавал в Сеуле (Южная Корея).
Много ездил по российскому Нечерноземью, по его словам «дышал атмосферой подлинной русской речи». В 1979 принял христианство, а позже написал роман «Онлирия», который один из литературных критиков охарактеризовал, как «диссертацию на звание христианского писателя».
Член СП СССР (1978). Был членом правлений СП РСФСР (1985-91) и СП СССР (1986-91), исполкома Русского ПЕН-центра (с 1989), редколлегии газет «ЛГ» (1990-97), «День», журналов «Сов. литература (на иностр. языках)», «Московский вестник» (с 1990). Член редколлегий и обществ. советов журналов «НМ», «Роман-газета» (с 1998). Академик Академии российской словесности (1996).
Награжден орденом «Знак Почета» (1984). Премии журналов «ДН» (1980), «Юность» (1997), Евангелической церкви Рейнланда (1981), им. Ю.Казакова ПЕН-клуба Казахстана (2000).
Имеет дачи в Клепиковском районе Рязанской области, на территории Колесниковского сельского поселения, в деревнях Немятово и Уречное.
Анатолий Ким много переводит на русский язык видных казахских писателей. Самые крупные проекты: «Последний долг» Абдижамила Нурпеисова (2000, получил международную премию им. Ю.Казакова Казахстанского пен-клуба) и новый вариант эпопеи «Путь Абая» Мухтара Ауэзова (2007).