Андрей Николаевич Терехов родился 3 сентября 1949 года.
В 1971 году с отличием окончил математико-механический факультет Ленинградского Государственного Университета по специальности «математическое обеспечение ЭВМ».
В 1978 году защитил кандидатскую диссертацию «Методы синтеза эффективной рабочей программы».
В 1991 году защитил докторскую диссертацию «Технология программирования встроенных систем реального времени».
В том же 1991 году создал и возглавил ГП «ТЕРКОМ».
В 1996 году организовал и возглавил кафедру системного программирования Санкт-Петербургского государственного университета.
В 1998 году основал и возглавил ЗАО «ЛАНИТ-ТЕРКОМ».
В 2002 году был назначен директором вновь созданного НИИ информационных технологий СПбГУ.
В сентябре 2004 года избран председателем правления ассоциации разработчиков программного обеспечения, созданной на базе консорциума ФОРТ-РОСС и ассоциации «Руссофт» (в данный момент — член Совета Правления).
В 1970-х годах научная деятельность Андрея Николаевича была в основном связана с разработкой новых методов компиляции языков программирования. Прикладным результатом этих исследований стала реализация трансляторов и кросс-трансляторов языков со статическим контролем типов (Алгол 68, Ада, Паскаль, Оберон и т. п.) для целого ряда различных платформ. В частности, в рамках этих работ коллективов разработчиков ЛГУ под руководством Андрея Николаевича был реализован транслятор Алгола 68, одного из наиболее сложных языков программирования, существовавших на тот момент, для наиболее массовой платформы тех лет, ЕС ЭВМ. Впоследствии этот транслятор был перенесен на ряд других платформ, в том числе, IBM PC.
В 1980-х годах Андрей Николаевич Терехов начал работать над промышленными проектами в области телекоммуникаций. В связи с этим в сферу научных интересов Андрея Николаевича вошли вопросы технологии программирования и реализации систем реального времени, в том числе, встроенных систем.
Начиная с середины 1990-х годов, Андрей Николаевич занимается исследованиями в области реинжиниринга программного обеспечения, а также вопросами преподавания информационных технологий.
В 2002 году награжден Министерством образования Российсой Федерации медалью «Почетный работник высшего профессионального образования»
В 2005 году указом Президента Российской Федерации Андрей Николаевич Терехов награжден медалью ордена «За заслуги перед Отечеством» II степени «за заслуги в научной и педагогической деятельности и большой вклад в подготовку высококвалифицированных специалистов».