Арисима Такэси, отец писателя, был самураем из Сацума, участником войны против сёгуната, и после её окончания благодаря покровительству Мацуката Масаёси был назначен заместителем начальника Управления налогов и пошлин Министерства финансов, a с 1882 г. по 1891 г. занимал пост начальника таможни Йокогамского порта. Он приобрёл земли на Хоккайдо, которые в 1909 году подарил Арисима Такэо как своему старшему сыну.
Мать писателя, Яманоути Юки, происходила из семьи высокорангового самурая из Намбу (современная префектура Иватэ). Юки воспитывалась в аристократической среде, была знакома с китайской классической литературой, знала чайную церемонию и искусство составления ароматов. Однако в 1868 году клан Намбу выступил на стороне сёгуната, проиграл, и семья Яманоути оказалась без средств. Юки одно время была вынуждена зарабатывать на жизнь шитьём. В 1877 году она вышла замуж за Арисима Такэси.
B 1918 году в журнале «Тюо корон» были опубликованы очерки трёх братьев Арисима: Такэо, Икуиа и Хидэо, — об их родителях. Арисима Такэо в очерке «Мои отец и мать» (Ватакуси-но тити то хаха) подчёркивал, что в нём соединялась кровь южанина-отца и северянки-матери, объясняя этим противоречивость своей натуры.
В других очерках о своем детстве и родителях — «Моя мать» (Ватакуси-но хаха) и «Моим малышам» (Тиисаки моно-э) — Арисима Такэо добавляет, что на противостояние север—юг в дальнейшем наложилась дихотомия Восток–Запад, связанная с его воспитанием.
Арисима Такэо получил строгое традиционное воспитание. Независимо от времени года и погоды его ежедневно будили на рассвете, и он выходил в сад упражняться в фехтовании на мечах. Он занимался также стрельбой из лука и верховой ездой. Возвращаясь из школы, он должен был читать труды Конфуция, изучать конфуцианскую этику и китайскую литературу.
С 4 до 14 лет Арисима жил в Йокогаме, в квартале для иностранцев, и был знаком с реалиями западного образа жизни: в Йокогаме работали ипподром, европейские отели и госпитали, церкви и мясные лавки. По работе отец писателя много контактировал с европейской общиной, и в доме Арисима бывали иностранцы. Отец заставлял детей заниматься английским: Такэо и его сестру Айко посылали на весь день в дом знакомого американца, чтобы они совершенствовались в разговорном английском.
Такэо был подготовлен к поступлению в Йокогамскую английскую школу (Ёкохама эйва гакко), в которой он проучился с 1884 по 1887г. В программу обучения входило чтение Библии, и Арисима Такэо впервые близко познакомился с христианством. Он пережил столкновение двух систем ценностей. Этот период описан Арисима в рассказе «Кисть винограда» («Хитофуса-но будо», 1920).
B 1889 году Арисима поступил в Школу пэров, которую впоследствии критиковал за консерватизм, запрещение любых дискуссий и систему беспрекословного послушания.
Уже в школьные годы у Арисима проявился интерес к литературе. Школьником он написал рассказ «Самурай годов Кэйтё» («Кэйтё буси») о поражении войск клана Сацума в битве при Сэкигахара и несколько других небольших рассказов, которые не были опубликованы при его жизни. Все они были написаны на классическом письменном языке (Бунго) под псевдонимом.
B 1896 году Арисима, закончив среднюю школу первой ступени, перешёл в среднюю школу старшей ступени, окончание которой давало право поступления в университет. Однако Арисима предпочел уйти из школы и уехал на Хоккайдо, чтобы поступить в Сельскохозяйственный колледж в Саппоро.
Сельскохозяйственный колледж в Саппоро был основан в 1872 году с целью содействия освоению земель на Хоккайдо. Для достижения реальных результатов из США был приглашён преподавателем Уильям Смит Кларк (англ. ; 1826—1886), основатель и третий президент Массачусетского сельскохозяйственного колледжа в Амхерсте (англ. Massachusetts Agricultural College). Он оказал большое влияние на формирование учебной программы и на атмосферу в этом учебном заведении. Кларк требовал от студентов самостоятельности и самоуважения. Одним из результатов его политики было принятие Библии в качестве основного морально-этического текста. B 1896 году, в момент поступления в колледж Арисима, среди преподавателей было несколько человек, принадлежавших к первому выпуску, учившемуся ещё у Кларка. Среди них был Нитобэ Инадзо (1862—1933), знакомство, a затем и дружба с которым сыграли заметную роль в жизни Арисима. Нитобэ родился в Мориока и происходил из семьи самураев того же княжества Намбу, что и мать писателя, так что приехавший в Саппоро Арисима остановился у него.
Каждое воскресенье Нитобэ проводил у себя дома занятия по Библии для студентов, и Арисима присоединился к этой группе в изучении христианского вероучения. В круг интересов Арисима в этот период входило также творчество Т. Карлейля.
После отъезда Нитобэ в Камакура, a затем в США, ближайшим другом Арисима стал Моримото Кокити. Моримото ещё в Токио посещал христианскую школу и был крещён, что позволило Арисима продолжать изучение и обсуждение темы христианства: собственно проблемы христианской теологии, и особенно вопросы греха и искупления.
Большое влияние на Арисима оказало его знакомство в 1897 году с Утимура Кандзо, одним из первых выпускников Сельскохозяйственного колледжа и ревностным последователем христианства. Арисима изучал работы Утимура «В поисках мира» («Кюанроку») и «Утешение верующего христианина» («Киристо синто нагусамэ»), вышедшие в 1893 году. По рекомендации Утимура он был принят в общину Индепендентской церкви Саппоро, но не крестился, считая это необязательным.
B 1872 году в Японии была введена всеобщая воинская повинность, и Арисима после колледжа со степенью «ногакуси» (бакалавра агрономии) был призван в армию. Один год, проведённый им на военной службе, навсегда сделал Арисима пацифистом. Тогда же Арисима начал интересоваться взглядами социалистов.
B 1903 году Арисима уехал в США, чтобы продолжить свое образование в расположенном неподалеку от Филадельфии основанном квакерами Хаверфордском колледже, который рекомендовал ему Нитобэ. Пребывание в христианской Америке показало Арисиме противоречивость христианского учения и христианской практики.
B 1904 г. Арисима перешёл в аспирантуру Гарвардского университета, где познакомился с Канэко Киити, сотрудником журналов социалистического направления и участником социалистического движения в Америке. Под его влиянием интерес Арисима к социализму ещё более углубился. Он читает труды Уолта Уитмена, Генрика Ибсена, Петра Кропоткина.
События этого времени нашли отражение в романе Арисима «Лабиринт» («Мэйро»), в значительной степени основанном на автобиографическом материале. Роман публиковался частями. Первая часть вышла в 1915 году в журнале «Сиракаба», вторая — в 1917 году в «Тюо корон» и третья — в 1918 году в журнале «Синсёсэцу». Герой романа — японский студент в США. Среди его знакомых японский социалист К, в котором нетрудно узнать Канэко, и американец — юрист П. (Пибоди, с которым Арисима познакомился в Бостоне). Основной темой первой части романа является отход героя от христианства и растущий интерес к социализму.
В 1910 году Арисима женился, но в 1916 году его жена умерла от туберкулёза, оставив его с тремя детьми. В 1922 году Арисима познакомился с Акико Хатано, редактором женского журнала Фудзин Корон, замужней женщиной. У них возник роман, о котором стало известно мужу Акико. В результате Арисима и Хатано совершили двойное самоубийство, повесившись в Каруидзаве.
Сын Юкимицу (1911—1973) стал известным актёром, выступал под псевдонимом Масаюки Мори.
После смерти Арисима стал знаменит благодаря подробным дневникам, составляющим около двадцати томов сокровенного жизнеописания, страхов и надежд. Современники считали Арисима философом и общественным критиком в той же степени, что и писателем. В своём творчестве он критиковал христианство, находился под влиянием социализма, Библии, гуманистических идей Толстого и идей анархизма.