W ciągu wieków powstało o Górze Krzyży wiele legend i trudno dzisiaj dociec, ile ziaren prawdy jest w nich zawarte. Według jednej z nich płonął tutaj święty ogień, podtrzymywany przez piękne panny, a starzec z siwą brodą snuł przepowiednie. Było to też miejsce składania pogańskich ofiar. Inna legenda głosi, że w czasach chrześcijańskich znajdował się tutaj piękny kościół, jednak władca tego wzgórza - bóg pogański Perkunas (piorun) pewnej nocy zniszczył świątynię, która zapadła się pod ziemię w miejscu, gdzie dzisiaj jest przełęcz dzieląca górę na dwie połowy.
Tyle legendy, natomiast przekazy historyczne mówią o zamku wybudowanym tutaj pośród mokradeł, w których tonęły konie wrogów. Zamek mógł wytrzymać nawet najcięższe oblężenia, bo posiadał źródło wody.
Trudno dzisiaj wskazać, kiedy pojawiła się tradycja stawiania w tym miejscu krzyży. Było to najprawdopodobniej po powstaniu w 1831 r. Krzyże miały upamiętniać tych, którzy polegli w walce lub zginęli na zesłaniu na Syberii. Najtragiczniejsze wydarzenia miały miejsce na tym wzgórzu w 1863 r., kiedy dokonywano tutaj egzekucji na powstańcach. Według przekazów czterech z nich zostało tu pochowanych, jednak góra nigdy nie była cmentarzem.
Nie zdołano policzyć małych krzyżyków, które nawiedzający to miejsce pozostawili na górze. W 1895 r. doliczono się 150 dużych krzyży, w 1940 r. było ich już ok. 400, jednak najwięcej krzyży postawiono w czasach Związku Radzieckiego, zwłaszcza w czasie wywózek na Syberię.
To miejsce bólu i cierpienia narodu litewskiego urosło do rangi symbolu, dlatego władze sowieckie wielokrotnie próbowały je zniszczyć. Najtragiczniejsza była noc 4 kwietnia 1961 r., kiedy zniszczono prawie 5000 krzyży. Posłużono się wtedy poborowymi z wschodniej części Związku Radzieckiego, którzy byli głównie mahometanami. Żelazne krzyże znalazły się wtedy w składnicy złomu w Szawlach, a betonowe rozbijano. Policja szczelnym kordonem obstawiła wzgórze, nie dopuszczając nikogo. Wtedy także zasypano źródełko, które od wieków tryskało w tym miejscu. Ludzie jednak nocami przybywali na wzgórze i stawiali kolejne krzyże. Tej wiary i uporu nie zdołały złamać kolejne próby niszczenia krzyży w latach 1973-75. W pewnym okresie pojawiła się nawet koncepcja zatopienia wzgórza, zaczęto w tym celu budować tamę. Na szczęście jednak nigdy tego projektu nie zrealizowano.
Dzisiaj wiarę ludu litewskiego upamiętniają dziesiątki tysięcy krzyży, których nikt nie jest w stanie policzyć, wykonanych z różnego materiału i w różnych formach. Niektóre są trwałe, inne już w stanie znacznego zniszczenia, przez każdy jednak krzyż przemawia ta sama wiara pielgrzyma lub ich grupy. Spacerując w zadumie po tej szczególnej Golgocie, co chwilę można natrafić na krzyże z niemal wszystkich kontynentów świata. Najcenniejszy upamiętnia wizytę Ojca Świętego Jana Pawła II, który przybył tutaj w 1993 r. Podczas Mszy św. sprawowanej przy stojącym jeszcze dzisiaj ołtarzu polowym Papież powiedział m. in.: "Dziękuję Wam, Litwini, za tę Górę Krzyży, która świadczy przed narodami Europy i całego świata o głębokiej wierze ludzi tego kraju". Te słowa zostały wyryte na granitowej płycie u podstawy krzyża ofiarowanego przez Ojca Świętego.
Wśród krzyży pozostawionych przez Polaków uwagę przykuwa także ten, przyniesiony tutaj w pieszej pielgrzymce z okazji 10. rocznicy męczeńskiej śmierci ks. Jerzego Popiełuszki.
Dzisiaj tym szczególnym miejscem opiekują się Ojcowie Franciszkanie, którzy w pobliżu wybudowali klasztor. Za oszkloną tylnią ścianą prezbiterium franciszkańskiej kaplicy widnieje w swym tajemniczym majestacie Góra Krzyży.
Tego miejsca nie można zwiedzać, tak jak zwiedza się zabytki. Trudno oprowadzać pielgrzymów i turystów po Górze Krzyży. Spacerując wąskimi dróżkami, kontempluje się Mękę Pana Jezusa i cierpienia tych, którzy mieli w swoim życiu odwagę do Niego się przyznawać. Każdy krzyż to znak wiary konkretnego człowieka lub grupy ludzi, którzy stawiając go w tym miejscu, zaświadczają, że wyryli go również w swoim sercu.