Historia tego zabytku jest bardzo bogata i wiąże się ściśle z historią zakonu franciszkanów w Kłodzku. Pierwsi przedstawiciele zakonu braci mniejszych przybyli do Kłodzka z Czech ok. poł. XIII w. Wiadomo, że konsekracja kaplicy franciszkanów miała miejsce w 1257 r., dlatego musiał już wtedy istnieć zaczątek budowy kościoła. Niedługo też ufundowano dla świątyni franciszkańskiej trzy ołtarze.

Nie wiemy jednak dokładnie kiedy rozpoczęła się budowa kościoła i klasztoru. W 1270 r. król czeski Ottokar II wydał dokument stwierdzający nadanie ziemi franciszkanom na Wyspie Piasek. Niestety, kilka następnych wieków nie okazały się dla nich tak łaskawe. Najpierw w 1428 r. kościół i klasztor, które znajdowały się poza obrębem murów miejskich zostały zburzone przez husytów. Ponownie odbudowywany kościół w późniejszym okresie doznał poważnych szkód podczas powodzi w 1475 r. Został opuszczony przez braci w 1564 r., a następnie rozebrany.

Dawna posiadłość powróciła w ręce franciszkanów na rozkaz Ferdynanda II, który w 1622 r. zdobył miasto. Obecna barokowa świątynia wzniesiona została w latach 1628-31. Wykańczano ją jednak bardzo długo na skutek niespokojnych czasów, oraz trudności finansowych. Po odbudowaniu jednak i tym razem los nie był dla franciszkanów łaskawy. Już w 1783 r. olbrzymia powódź narusza fundamenty i mury zabudowań kościoła i przyległego klasztoru.

W 1810 r. na skutek wydanego w państwie pruskim dekretu o sekularyzacji klasztor uległ kasacie. Kościół przekształcono w magazyn słomy i siana dla garnizonu pruskiego. W klasztorze zaś osiadli podoficerowie i urzędnicy wojskowi z rodzinami. Przejściowo część klasztoru pełniła również rolę szpitala. W 1834 r. rząd pruski zamienił kościół z katolickiego na ewangelicki.

W czasach tych bardzo ucierpiały zabytkowe wnętrza klasztoru. Na szczęście do dzisiaj przetrwały freski Feliksa Antoniego Schefflera, zdobiące sklepienie sali jadalnej. Na większym malowidle umieścił on adorację Trójcy Świętej przez Matkę Boską, oraz skupionych w czterech grupach braci zakonnych. Znajdują się na nich m.in. patron zakonu św. Franciszek z Asyżu, najważniejsze postacie zakonu, oraz bracia którzy ponieśli śmierć męczeńską. Dwa mniejsze malowidła przedstawiają adorację krzyża przez świecki odłam zakonu tzw. tercjarzy, oraz adorację eucharystii przez siostry klaryski skupione wokół św. Klary z Asyżu, która była założycielką zakonu. Dzieło dodatkowo uzupełniają mniejsze freski obrazujące główne cnoty zakonu: ubóstwo, pokorę, posłuszeństwo, nadzieję, wiarę i miłość.

W 1619 r. Rada Miejska która na krótko przejęła klasztor, zorganizowała w nim pierwszą w Kłodzku drukarnię.