Происходил из семьи ремесленников и коммерсантов. В 1907—1915 гг. посещал гимназию в Ландсхуте. В 1915—1917 гг. изучал филологию в Мюнхене и Фрайбурге. Во время Первой мировой войны в ранге унтер-офицера служил телеграфистом на Западном и Палестинском фронтах.
После демобилизации доучивался в различных университетах. В сентябре 1924 г. основал журнал «Родные страницы Аммерзее». В 1925 г. защитил кандидатскую диссертацию на тему «Диалекты земли Изар-Лех» во Фрайбурге. В 1927—1931 гг. работал ассистентом в Марбурге. В 1928 г. принимает участие в работе над языковым атласом Германии. В 1930 г. получает стипендию на исследование диалектов Австрии. Участвовал в деятельности земляческих организаций Аммерзее. Выступал с публичными лекциями на радио.
В 1933—1935 гг. ассистент Института исследований германской народности на Юге и Юго-Востоке при Мюнхенском университете. Одновременно дважды побывал в Исландии. В 1937 г. занимался исследованиями языка немецких меньшинств в Северной Италии. В том же году начинает работать в Аненербе. В 1938 г. занимается этнографическими исследованиями в Липпе. В том же году возглавил исследовательский отдел германской филологии и местного фольклора Аненербе, также короткое время руководил учебно-исследовательским отделом германистики Аненербе.
В 1938—1939 гг. возглавял экспедицию Аненербе в Исландию. Её целью было изучение местных методов земледелия, архитектуры, записи народных песен и танцев, а также сбор образцов почвы для анализа пыльцы. В своих отчётах жаловался Гиммлеру, что исландцы забыли свои традиционные промыслы и мифы. В ходе экспедиции Швейцер публикует заметки в исландских газетах, например, «Гитлер, Геринг и Геббельс — потомки викингов» (Margunbladid, 23.2.1939), делает фотографии рунических надписей. Однако вся экспедиция была высмеяна в скандинавской прессе, указывавшей, что нацисты ищут следы никогда не существовавшей культуры. Исландское правительство неохотно сотрудничало с представителями Аненербе и даже не допустило их в некоторые места острова.
По возвращении в Германию Швейцер в октябре-декабре 1939 г. работал над грамматикой кимврского языка.
С началом Второй мировой войны вступил в вермахт, с сентября 1939 по сентябрь 1940 гг. служил радистом, сотрудником информационной службы. Затем занимался изучением немецких диалектов Южного Тироля. В 1944 г. выдвинул предложение совершить поездку по Дании и Норвегии для установления сотрудничества со скандинавскими учёными. В конце войны служил в фольксштурме, при этом оставаясь в распоряжении Гиммлера для особых поручений.
Впоследствии многие доводы Швейцера были опровергнуты как ненаучные.