Obiekt powstał na wzgórzu o nazwie Galgenberg (Góra Szubieniczna).
Prawdopodobnie jeszcze do końca XVIII w. znajdowały się tam szubienica i koło do łamania członków, gdyż w tym miejscu wymierzano sprawiedliwość złoczyńcom. Lektura kroniki waleckich jezuitów wskazuje, że w XVII w. na Galgenbergu spalono wiele kobiet oskarżonych o czary.
Na parterze seminaryjnego gmachu mieściły się klasy lekcyjne, w tym specjalnie urządzony i wyposażony gabinet do nauczania fizyki. Były tam ponadto pomieszczenia na instrumenty muzyczne, biblioteka, pokój nauczycielski i sala konferencyjna. Na pierwszym piętrze znajdowały się pracownie dla seminarzystów, a na drugim sypialnie. Na poddaszu urządzono pokój do zajęć z rysunku. W jednym ze skrzydeł seminarium miał mieszkanie dyrektor oraz niektórzy nauczyciele. W innym skrzydle mieściły się kuchnia, stołówka i sale muzyczne. Do dyspozycji były też mieszkania dla rodzin dozorcy i palacza.
Seminarzyści uczyli się tam przez trzy lata. Co ciekawe, katolickie seminarium narzucało im wręcz klasztorną dyscyplinę. Była to dla nich nieprzyjemna odmiana, gdyż wcześniej kończyli w Wałczu dwuletnią szkołę przygotowawczą zwaną preparandą nauczycielską, gdzie panowała znacznie większa swoboda.
Wałeckie seminarium istniało do połowy lat dwudziestych XX w. Potem w gmachu pracowała trzyletnia koedukacyjna szkoła ponadpodstawowa, a następnie gimnazjum dla dziewcząt. Przez ostatnie dwa lata II wojny światowej w dawnym gmachu seminarium mieścił się lazaret wojskowy.
