Mówiąc o historii WCK trzeba zacząć od miejsca, w którym powstało. Obecny budynek, choć wielu to może zaskoczyć, znajduje się tam, gdzie dawniej znajdował się kirkut i synagoga.
Wiele dziesiątek lat temu gmina żydowska stanowiła ważną część społeczności w mieście. Jej napływ na ziemie powiatu wałeckiego zaczęto odnotowywać około XV-XVI wieku. Początkowo Żydzi nie cieszyli się tu szczególnymi przywilejami. Odmawiano im obywatelstwa, zabraniano zakupu domów i ziemi, nie zezwalano na budowę synagogi. Prawo do osiedlania się w specjalnie wyznaczonej w tym celu części tzw. Nowego Miasta Żydzi otrzymali dopiero w 1623 roku. Osadnicy pochodzili prawdopodobnie z Pomorza lub Nowej Marchii.
Gmina żydowska w Wałczu systematycznie się powiększała - pod koniec XVII w. Żydzi zajmowali trzydzieści siedem domów, po cztery rodziny w każdym. Głównym źródłem ich utrzymania był drobny handel, jarmarki i czerpanie zysków z oprocentowanych pożyczek. Pod koniec XVIII w. gmina stanowiła około 20% mieszkańców. W wieku XIX sytuację Żydów nieco poprawiły wydane w 1812 r. edykty, i choć oparte na pewnych warunkach, to jednak nadające Żydom i ich rodzinom prawa obywatelskie, a dzieciom obowiązek kształcenia. Pod koniec XIX w. gmina żydowska zaczęła jednak się zmniejszać. W 1913 roku pozostało już jedynie 337 Żydów.
Po I wojnie światowej sytuacja stała się jeszcze trudniejsza, ale gminie udało się ufundować w Wałczu murowaną synagogę. Nową bożnicę ukończono w 1922 roku, stanęła na od dawna zajmowanym przez Żydów placu przy obecnej Królowej Jadwigi. Zaraz obok synagogi znajdował się również cmentarz żydowski.
Kirkut, jak i sama synagoga, zostały zniszczone w Noc kryształową z 9 na 10 listopada 1938 r. Na ich miejscu w czasie II wojny światowej Niemcy wybudowali schron przeciwlotniczy. Część zachowanych macew przeniesiono na cmentarz ewangelicki, większość jednak wykorzystano m.in. do umocnienia brzegów jeziora Raduń.
U progu lat 60. XX wieku podjęto decyzję o wykorzystaniu terenu, na którym przed wojną zanajdowały się synagoga i kirkut. W ten sposób Powiatowy Dom Kultury w Wałczu, mieszczący się dotychczas w budynku przy ul. Kilińszczaków, zyskał nową siedzibę. PDK na przestrzeni lat zmieniał swoją nazwę. Obecnie jest to Wałeckie Centrum Kultury.