Pierwsze koszary, tak zwane Bergkaserne, wybudowano w Ostródzie już w latach 40. XIX wieku przy dzisiejszej ulicy Garnizonowej.
Stacjonowało około dwóch tysięcy żołnierzy, setki koni i dziesiątki armat. Wybudowano koszarowce, kantynę, stołówkę, magazyny, warsztaty i rusznikarnie, stajnie z ujeżdżalniami, wartownie, budynki dowództwa i inne obiekty. Na terenie miasta powstały także mieszkania dla kadry.
Budynki koszarowe wybudowane zostały w czternaście miesięcy. Prace rozpoczęto 12 sierpnia 1912 roku, ostatnie budynki oddano do użytku 1 października 1913 roku. Szybkie tempo prac budowlanych wynikało z prośby dowódcy XVII Korpusu generała Mackensena, który chciał oszczędzić nowo powstałemu pułkowi artylerii polowej kolejnego zimowania pod namiotami. Uroczystość powitania pułku na rynku ostródzkim odbyła się 20 września 1913 roku, po czym nastąpiła ceremonia wprowadzenia wojsk do koszar i przekazania przez władze miejskie kluczy dowództwu jednostki. W okresie pierwszej wojny światowej stacjonujące w koszarach jednostki zostały przerzucone w rejon Działdowa, a później nad Dunaj.
Po zakończeniu działań wojennych, w związku z koniecznością zmniejszenia przez Niemcy liczebności wojska, część budynków koszarowych zaadaptowano do funkcji cywilnych. W koszarach miały swą siedzibę m.in. szkoły i urząd skarbowy. W 1927 roku miasto odsprzedało część koszar w użytkowanie kawalerii. W 1934 roku wyprowadzono urząd skarbowy i oddano koszary w całości na użytek wojska: wojsk przeciwpancernych i kawalerii, która w 1935 roku wyprowadziła się z Ostródy. Aż do stycznia 1945 roku gospodarzem terenu był 21 dywizjon artylerii pancernej. Po zakończeniu drugiej wojny światowej do koszar wprowadziła się Armia Czerwona. W wyniku jej działania, obiekt uległ nieznacznym zniszczeniom. Spalono jeden budynek (kasyno podoficerskie), a pozostałe zdewastowano, nie naruszając jednak ich struktury. Po przejęciu koszar przez Wojsko Polskie, do 1951 roku mieściło się tu Centrum Wyszkolenia Wojsk Ochrony Pogranicza.
Na przełomie lat 1954/55 do koszar wprowadził się 35 batalion ciężkich czołgów, wkrótce przemianowany na 35 Pułk Czołgów i Artylerii Pancernej. Od 1957 roku był już pułkiem czołgów średnich (sowieckich T 34-85).W latach 80. funkcjonowała w koszarach szkoła młodszych specjalistów czołgowych, to znaczy kierowców i mechaników. Pułk składał się z 5 kompanii mających na wyposażeniu po 16 czołgów. Po jego rozformowaniu cały sprzęt przekazano Składnicy Technicznej w Kutnie.
W Białych Koszarach stacjonowała też JW. 1330, czyli dywizyjny 15 Batalion Remontowy, który powstał w 1967 roku na bazie 54 Warsztatu Naprawy Czołgów. Rozformowany został w 1996 roku. Ostatnią jednostką wojskową stacjonującą w koszarach był Batalion Zabezpieczenia im. Gen. Stanisława Fiszera. Wojsko opuściło koszary w 2001 roku. Dziś w rękach prywatnych.
