Niemieckojęzyczna bibliografia historyczna wskazuje, iż w 1932 r. wybudowano w Pasymiu magazyn zbożowy dla potrzeb ówczesnych Prus Wschodnich i miejscowego młyna. Natomiast na żebrze stropu drugiego Piętra budynku umieszczona jest data 1935 r. Prawdopodobnie jest to data ukończenia budowy tego obiektu. Z informacji uzyskanych od dawnych mieszkańców Pasymia do wiedzieliśmy się, że w tym budynku była manufaktura tkacka, gdzie wyrabiano materiały jedwabne.
Jedna z mieszkanek pokazała nam, że nawet pracowała w tym zakładzie przy produkcji jedwabiu. Niestety z powodu trudności (ze względów klimatycznych) hodowli jedwabników przedsięwzięcie upadło. Były również plany utworzenia koszar wojskowych wokół budynku, ten zaś miał służyć jako olbrzymia piekarnia dla potrzeb wojska. Żelbetonowa konstrukcja tego budynku świadczy, iż był zbudowany z myślą o dużym obciążeniu składowanymi tam materiałami lub o ustawieniu maszyn piekarskich czy tkackich.
W 1938 r. albo na początku 1939 r. budynek ten został oddany dla potrzeb III Rzeszy Niemieckiej i zapewne był w nim magazyn wojskowy do stycznia 1945 roku, który kolejno przechodził w ręce wojsk radzieckich (w styczniu 1945), a później w sierpniu 1945 r. wojsk polskich. Pierwsi powojenni osadnicy pasymscy wspominają handel wymienny z żołnierzami stacjonującymi w magazynie na artykuły żywnościowe: mąkę, cukier… Według lekarza Urlicha Rasta, byłego mieszkańca pobliskiego Elganowa, który w tym roku odwiedził Pasym, w 1945 roku, tuż po wojnie, w magazynie znajdowało się mnóstwo pochodni, które najprawdopodobniej miały służyć wojsku niemieckiemu do świętowania dnia zwycięstwa… Wykorzystywano je inaczej- chłopcy znosili pochodnie do domu, matki odrapywały wosk, który służył potem do oświetlani domostw. W 1949 r. w Pasymiu swą działalność zaopatrzeniowo- handlową podjęła Gminna Spółdzielnia „Samopomoc Chłopska”. Od tego czasu budynek był w jej posiadaniu na potrzeby magazynowe. W 1952 r. magazyn został przejęty prze przedsiębiorstwo „Technomag” na składowanie zboża i jej przetworów. W obiegowym twierdzeniu był to „magazyn rezerwy państwa”.
1 Stycznia 1970 r. budynek przejmuje Zespół Spichlerzów w Pasymiu podległych pod polskie zakłady zbożowe (PZZ). Po przemianach ustrojowo-gospodarczych kraju w 1990 r. nastąpiła likwidacja PZZ, a w 1993 r. znalazła się krótko w prywatnych rękach. Nowy właściciel nie potrafił zagospodarować budynku magazynowego, a jego młyn wkrótce zaczął przynosić straty. Magazyn z biegiem czasu uległ niszczeni i za długi został zajęty przez komornika i banki, a ostatecznie sprzedany. W związku z reformą oświaty i powołaniem z dniem 1 września 1999 r. Publicznego Gimnazjum w Pasymiu zarząd miasta zakupił 3 sierpnia 1999 r. budynek dawnego spichrza z przeznaczeniem adaptacji na Gimnazjum.
17 maja 2000 r. ogłoszono nieograniczony przetarg dwustopniowy na opracowanie koncepcji i dokumentacji technicznej na adaptacje i rozbudowę istniejącego budynku spichlerza oraz budowę sali gimnastycznej z zespołem boisk. 6 Grudnia 2000 r. podpisano umowę z przedsiębiorstwem Budowlanym „ARBET” z Olsztyna. W styczniu 2001 r. wykonawca rozpoczął roboty budowlane, a dziś z podziwem patrzymy na metamorfozę magazynu zbożowego w „Nowy Przybytek Wiedzy”.