Hitler nomme Speer « inspecteur général de la construction pour la capitale du Reich », par un « décret du führer » pris à la date très symbolique du 30 janvier 1937, jour anniversaire de l’arrivée au pouvoir du régime nazi. Dès lors, il dispose de compétences semblables à celles d’un ministre et les consolide, conscient de son pouvoir. Ainsi, Speer peut prendre des mesures et des dispositions visant à garantir une physionomie uniforme de la ville de Berlin. Près de la moitié de la surface de la ville est en outre déclarée « domaine d’intérêt ». Son institution y a entre autres des droits de veto concernant l’ensemble des bâtiments, des rues et des espaces verts. Ce sont non seulement les maîtres d’ouvrage privés, mais aussi les autorités du Reich, du land de Prusse et de la capitale du Reich qui sont placés sous cette autorité puissante. Ceci entraîne des conflits avec l’administration de la ville de Berlin. Lorsque, en juillet 1940, le premier bourgmestre Julius Lippert, qui dispose d’un excellent réseau au sein du NSDAP, refuse de recevoir des ordres de l’inspecteur général de la construction, Speer impose son renvoi immédiat.
L’institution de Speer prépare la démolition de quartiers entiers pour insérer les deux grands axes prévus dans la physionomie de la ville : il est alors prévu de raser 53 000 logements, occupés par 150 000 personnes, ce qui aggrave la crise du loge-ment permanente à Berlin. Karl Maria Hettlage, le spécialiste de Speer pour les questions administratives, élabore une solution infâme : les Juifs sont enregistrés dans un fichier et expulsés de leurs logements, lesquels seront ensuite proposés aux « camarades du peuple » concernés par les déplacements forcés. C’est à l’aide de ce fichier que seront établies plus tard les listes de déportation de la Gestapo, utilisées pour déporter les Juifs berlinois dans les camps d’extermination. Pendant la guerre, l’inspecteur général de la construction est également responsable de la planification, de l’autorisation et de la construction d’environ 3000 camps de travaux forcés dans la région urbaine de Berlin ; 70 camps sont exploités en régie propre. Avant même que Speer devienne ministre de l’Armement et des Munitions du Reich en 1942, son action témoigne de l’amalgame funeste avec la logique de crime crapuleux du nazisme.
