Укрепление в Люцине (нынешней Лудзе) было возведено на замковой горе между двумя озерами для защиты восточных границ Ливонского ордена. История Люцинского замка тесно связана со всей средневековой историей Латгалии. А также России: русские войска трижды замок разрушали.
Трехэтажная каменная постройка с шестью башнями, тремя воротами и двумя форбургами была окружена внушительным водяным рвом. Замок строился из серых валунов и красного кирпича. Самая ранняя датировка постройки - 1285 год связана с именем рыцаря Конрада фон Торберга. Но замок был преимущественно кирпичным, а лишь в ХIV веке в строительстве ливонских орденских замков кирпич вытеснил камень. Наиболее вероятной датой возведения считается 1399 год (при ландмейстере Ливонского ордена Веннемаре фон Брюггенееме). В письменных источниках замок впервые упоминается в 1433 году.
Зато достоверно известно, когда замок в первый раз был разрушен, - это случилось в 1481 году, когда войска Ивана III вторглись в Ливонию. Лишь в 1525 году Ливонскому ордену удалось замок восстановить. Но в 1552 году замок снова разрушили, и опять русские войска, на этот раз под руководством князя Григория Ивановича Тёмкина-Ростовского. Во время Ливонской войны, прибывший в Люцин польский король Стефан Баторий, приказал замок укрепить и разместить в нём гарнизон. Был замок в ходе войны и в русских руках, и назначенный в Люцин Иваном Грозным, воевода Григорий Колычёв-Гуща, замок тоже укреплял.
После Ливонской войны, в 1583 году, замок стал частью Речи Посполитой, но новые хозяева практически не ремонтировали укрепление. Когда в городе ненадолго укрепились шведы, замок был уже необжитым. Хотя в 1625 году в Люцине и располагалась ставка шведского короля Густава II Адольфа. В 1654 году, замок был осажден войском русского царя Алексея Михайловича. Его взяли штурмом лишь после подкопа, разрушившего часть крепостной стены.
В 1660 году Люцинский замок вернулся в польское владение. Но решением польского сейма все замки, кроме Динабургского (нынешний Даугавпилс), не подлежали восстановлению. С того момента замок в Люцине превратился в источник дармовых стройматериалов для местных жителей. До сих пор на проходящей под замком Talavijas iela можно угадать постройки, собранные из отличного средневекового кирпича.
В 1830 году, когда Люцин уже входил в состав Витебской губернии Российской Империи, губернские власти распорядились взять оставшееся от замка под охрану и препятствовать его дальнейшему разрушению. В результате, до наших дней сохранилась часть стен жилого корпуса и часть крепостной стены главного замка.
