Kasernen i Taagerup på Sydlolland var - indtil den blev fredet - i en noget miserabel stand. Formanden for en lokal forening af beboere i det tidligere Taagerup-Torslunde sogn, redaktør Torsten Elsvor, tog i 1984 initiativ til at danne en selvejende institution, hvis formål det var at drive og vedligeholde bygningen som en del af den lollandske kulturarv, dels med museum og mindestuer for de polske sæsonarbejdere, som bygningen oprindeligt var opført til og dels som beboerhus.
Renoveringsomkostninger blev finansieret ved indsamlinger af pengemidler, donationer fra fonde. banker, virksomheder og private personer. Senere kom det til et brud mellem beboerforeningen og den selvejende institution, og det blev herefter besluttet at benytte hele bygningen til museumsformål. Der blev stiftet en støtteforening, og driften i dag finansieres af entreindtægterne, en beskeden offentlig støtte, mens der til vedligeholdelse søges midler fra fonde og godgørende foreninger. Alt arbejde i museets bestyrelser er frivilligt og ulønnet.
