A kis kolostort a 14. század végén kezdték építeni a pálosok a Zempléni-hegységben, Gönc külterületén, 320 méterrel a tengerszint felett.

A gönci monostort első ízben Nagy Lajos király 1371. december 8-án, Fónyban kelt oklevele említette. 1384-ben Mária királynő a gönci, regéci és a boldogkői várnagyokkal és alvárnagyaikkal tudatta parancsát, mely szerint a gönci kolostor szőlőiben termett bor után kilencedet, malomházuk után rendkívüli adót nem szedhetnek, a pálosokat meg kell tartani és védeni régi jogaikban. Zsigmond király 1385-ben a gönci monostor birtokai utáni adószedést tiltotta meg a regéci várnagynak és utódainak. 1419-ben pedig Zsigmond császár, édesanyja Erzsébet és felesége Mária királynék a gönci kolostort felmentették a hegyvám fizetése alól is.

A Boldogasszony monostor szentélyét a főoltárral és a Mária oltárt Miklós megyéspüspök szentelte fel 1429-ben, majd János moldovai püspök 1464-ben már az egész templomot megáldotta, annak 7 oltárával együtt, valamint 40 napi búcsút engedélyezett neki. A pálos szerzeteseknek ekkor már malmuk is volt Bányapatakán, ugyanis Pelsőci Bebek Imre erdélyi vajda és Pelsőci Bebek (Detre) nádor fia László a részüket a pálosoknak adományozták.

A számos adomány mellett 1459-ben újabb kúriát, telkeket, fürdőt, malmot és más malomhelyeket ajándékoztak a gönci pálos remetéknek. A szerzetesek további életéről a csekély számú fennmaradt írott forrás okán nem sokat tudunk. 1513-ban Fráter István generális perjel bérbe adta a gönci kolostor puszta malmát Bányapatakán. Az is kiderül az oklevelekből, hogy 1540-ben a szerzetesek már szegények voltak és szükséget szenvedtek, amiért a terebesi kolostor kisegítette őket egy kaszáló felének hasznaival. Végül 1558-ban hallunk utoljára a gönci kolostorról, mikor Fráter György vizitátor, sátoraljaújhelyi prior a két gönci kolostort, a Boldogasszony és Szent Katalin kolostorát és ispotályt bérbeadta Gönc városának évi 100 forintért.

Már a mohácsi vész évében számos pálos kolostor elpusztult, ezen a vidéken a következő évtizedekben Szapolyai János és Ferdinánd király, illetve a csatlakozó főurak csapatai, az általános zűrzavart fosztogatásra, dúlásra használták fel. Ennek esett áldozatul a gönci monostor is, mely 1540 után, a 16. közepe táján néptelenedett el, majd rommá vált.

A gönci pálos monostor helye sosem merülhetett feledésbe, hiszen templomának jelentős romjai maradtak fenn, a rendház viszont teljesen elpusztult. 1935-ben történetek először lépések a rom állagmegóvására, a munkálatokat a Magyar Turista Egyesület Történelmi és Természeti Emlékbizottsága végezte. A tényleges munkák 1941-ben kezdődtek meg, amikor a leomlott falak köveinek felhasználásával kiegészítették és megerősítették a kritikus részeket. Ekkor szűkítették be a nyugati kaput, a szentély és a sekrestye közötti átjárót, valamint befalazták a hajó és a kolostorszárny közötti átjárót is.

1990-ben Tamási Judit végzett kisebb ásatást a területen. A miskolci Herman Ottó Múzeum Pusztai Tamás vezetésével 2004-ben végzett régészeti feltárást a kolostor területén, a kutatás célja a napjainkra megromlott állapotú torony állagmegóvását szolgáló építészeti tervek szakmai, régészeti megalapozása volt. A déli kolostorszárny északi hajófalhoz kapcsolódó szakaszának kutatását a 2005. év során végezték el a múzeum munkatársai.

A szinte tetőig álló templomhajó falai viszonylag épek, a szentély déli és keleti oldala jobban sérült. A templomhajó nyugati homlokzatán található a bejárat, míg a kolostor felől csak a szentélybe vezetett a sekrestye ajtaja (az 1941-es állagmegóvás alkalmával befalazták a hajó és kolostorszárny közötti átjárót). Mind a hajó, mind nyolcszög három oldalával záródó szentély 3-3 boltszakaszos, egyszerű keresztboltozatos volt, a templom sarkain, illetve a hajó és a szentély falpilléreinek vonalában támpillérekkel erősített. A templom északi oldalához a diadalív vonalában négyzetes alaprajzú, 3 emeletes torony csatlakozik. A templomhoz emeletes kolostor épült, melyet mára vastag aljnövényzet borít.

A templom hajójában és szentélyében egységes, visszafogott, de nagyon kifinomult geometrikus díszítés vonul végig. A hajóban és a szentélyben a diadalívnél a boltozati elemeket oszlopok tartották, a szentély többi részében a tartóelemek konzolokról indultak. A faloszlopok és a konzolok fejezete egységesen geometrikus kialakítású. Külön figyelmet érdemel a szentély északi falának denevérszárnyú konzolja. Ez a megoldás az építőmester egyéni fantáziájának terméke, sem az egykorú pálos emlékeken, sem az Anjou-kori királyi építkezéseken nem alkalmazták.

A rom megközelíthető Gönc városától a piros kereszt turistajelzésen (5 km), illetve Telkibányától a piros turistajelzésen (úgynevezett Rákóczi-út), Potácsháza érintésével (3 km).