Укрепление в Люцине (нынешней Лудзе) было возведено на замковой горе между Большим и Малым Лудзенскими озерами для защиты восточных границ Ливонского ордена. История Люцинского замка тесно связана с Россией: русские войска трижды его разрушали.
Трехэтажная каменная постройка с шестью башнями, тремя воротами и двумя форбургами была окружена внушительным водяным рвом. Замок строился из серых валунов и красного кирпича.
Самая ранняя датировка постройки - 1285 год связана с именем рыцаря Конрада фон Торберга. Но замок был преимущественно кирпичным, а лишь в ХIV веке в строительстве ливонских орденских замков кирпич вытеснил камень. Наиболее поздней возможной датой возведения считается 1399 год (при ландмейстере Ливонского ордена Веннемаре фон Брюггенееме). В письменных источниках замок впервые упоминается в 1433 году.
Зато достоверно известно, когда замок в первый раз был разрушен, - это случилось в 1481 году, когда войска Ивана III вторглись в Ливонию. Лишь в 1525 году Ливонскому ордену удалось замок восстановить. Но в 1552 году замок снова разрушили, и опять русские войска, на этот раз под руководством князя Григория Ивановича Тёмкина-Ростовского. Во время Ливонской войны, прибывший в Люцин польский король Стефан Баторий, приказал замок укрепить и разместить в нём гарнизон.
Сто лет спустя в 1654 году, замок был осажден войском царя Алексея Михайловича. Его взяли штурмом лишь после подкопа, разрушившего часть крепостной стены.
В 1660 году Люцинский замок вернулся в польское владение. Но решением польского сейма все замки, кроме Динабургского (нынешний Даугавпилс), не подлежали восстановлению. С того момента замок в Люцине превратился в источник дармовых стройматериалов для местных жителей. До сих пор на проходящей под замком Talavijas iela можно угадать постройки, собранные из отличного средневекового кирпича.
В 1830 году, когда Люцин уже входил в состав Витебской губернии Российской Империи, город посетил генерал-губернатор. Обратив внимание на плачевное состояние руин, он распорядился взять оставшееся от замка под охрану и препятствовать его дальнейшему разрушению. В результате, до наших дней сохранилась часть стен жилого корпуса и часть крепостной стены главного замка.
