Илья Голосов родился 31 июля 1883 года в Москве в семье священника. В 1898 году был принят в Строгановское художественно-промышленное училище. По окончании полного курса поступил в Московское училище живописи, ваяния и зодчества, которое окончил в 1912 году, получив звание архитектора. Во время учёбы работал помощником у таких архитекторов и художников, как Иван Кузнецов, Сергей Соловьёв, Алексей Щусев, Игорь Грабарь. Занимался обмерами памятников архитектуры и оформлял их для «Истории русского зодчества» и журнала «Старые годы».
Первые работы отличаются стилевым разнообразием. По проектам Голосова было построено несколько особняков, в том числе особняк Зимина в Киржаче (1912) и особняк Зуева в Москве (1913). Он спроектировал также несколько доходных домов и церквей. В 1914 году был призван в армию, и до конца войны занимался строительством сооружений для тыловых частей.
В 1918 году поступил в архитектурную мастерскую Моссовета, которой руководил Иван Жолтовский, и под его влиянием увлекся формообразованием в архитектуре. В 1918 году в рамках разработки первого плана реконструкции Москвы, Голосов разрабатывает проект планировки одного из районов. В это же время создает два проекта, в которых используется классический ордер — амбулаторный корпус Бассманной больницы в Москве и конкурсный проект школы-памятника Льву Толстому в Ясной Поляне.
В феврале 1919 года проекты Голосова получили три первых премии на конкурсе крематория в Москве. Проекты были выполнены в стиле неоклассицизма и послужили толчком к переосмыслению истоков формообразования и созданию теории «построения архитектурного организма». В 1918—1923 годах Голосов принимает активное участие в конкурсах на малоэтажные жилые дома и различные общественные и хозяйственные сооружения для села, используя традиции народного жилища и опыт пригородного строительства.
В 1920 году Голосов примкнул к направлению «символического романтизма» и занял в нём место признаного лидера. Проекты этих лет имеют подчеркнутую динамичность: радиостанция (1921), конный завод в Останкине (1922), Дворец труда в Москве (1923).
С 1925 года Голосов создаёт множество конструктивистских проектов: «Дом текстиля» (1925, совместно с Б. Улиничем), Русгерторг (1926), Электробанк (1926), Дом культуры имени Зуева (1928). В своих проектах он сплавляет в единое целое крупные формы с простой геометрией (куб, параллелепипед и цилиндр), длинные плоскости фасадов разбивает переплётами окон.
Голосов являлся членом Объединения современных архитекторов (ОСА) вместе с Моисеем Гинзбургом, братьями Весниными, Иваном Леонидовым и другими.
Один из самых значительных проектов Ильи Голосова 30-х годов, выполненный в постконструктивистском стиле — это жилой дом на Яузском бульваре в Москве (1936—1941).
С 1919 года по 1945 год Голосов преподавал архитектуру в различных учебных заведениях, в том числе, во ВХУТЕМАСе-ВХУТЕИНе (руководил архитектурной мастерской совместно с К. С. Мельниковым) и в Московском архитектурном институте (МАРХИ).
Похоронен на Новодевичьем кладбище в Москве.
Русгерторг, проект, 1926
Здание ОГИЗ, эскиз, 1934
Школа профсоюзного движения, эскиз, 1938