Віцебскі замак быў пабудаваны на левым беразе Дзвіны пры ўпадзенні ў яе ракі Віцьба. Ён складаўся з двух частак, верхняй і ніжняй, з агульнай даўжынёй 300 метраў і шырынёй 150 метраў. Ва ўсходняй частцы на гары (вышынёй прыблізна 15 метраў і роўнай пляцоўкай наверсе памерам у 0.7 га) размяшчаўся Верхні замак. Гэтая частка гары і была першапачаткова умацаваным цэнтрам Віцебска, дзе ў VI-IX стст. размяшчалася гарадзішча Крывічоў, а ў X – першай палове XIV стст. на дадзеным месцы быў заснаваны драўляны дзяцінец, каля якога на мысе, пры ўпадзенні Віцьбы ў заходнюю Дзвіну, размяшчаўся вакольны горад.
У 1320 годзе Віцебск увайшоў у склад ВКЛ, перайшоўшы па спадчыне да сына Вялікага князя Літоўскага Гедыміна Альгерда, які быў жанаты на Марыі Яраслаўне, дачцэ апошняга ўдзельнага князя Віцебска Яраслава. З гэтага моманту на Віцебскі замак была ўскладзена важная стратэгічная ролю ва ўсходняй палітыцы ВКЛ, таму Альгерд загадаў пабудаваць каменныя ўмацаванні. Будаўніцтва пачалося ў 30-х гадах XIV стагоддзя і скончылася ў 1351-ым годзе ўжо пад кіраваннем другой жонкі Альгерда Ульяны Цвярской. Каменныя сцены будаваліся па перыметры старога дзяцінца і прылеглага горада, у выніку ўтварылася адзіная абарончая сістэма, якая складалася з Верхняга і Ніжняга замкаў.
Ніжняя частка сцен ўзводзілася з вялікіх камянёў-валуноў, а ўжо па-над імі клаўся цагляны мур як у Крэўскім і Лідскім замках. Сцены ўглыб прадаваліся ўсяго на 0.5 метра, аднак за кошт таўшчыні і ўнутранага драўлянага каркаса, які складаецца з сямі шэрагаў бярвення, запоўненага глінай, яны былі вельмі моцныя і ўстойлівыя. Заканчваліся сцены баявой галерэй з зубцамі і мелі агульную працягласць 688 метраў.
Аснову абарончых збудаванняў Віцебскага замка складалі восем каменных шмат’ярусных вежаў, у тым ліку: вялікая брама з боку Ніжняга замка, брамы, якія выходзілі на Дзвіну, і брама – на Віцьбу. Усе вежы выходзілі за сцены, што дазваляла весці франтальны і флангавы абстрэл па прылеглай тэрыторыі.
Разам з вежамі, якія ўваходзілі ў лінію замкавых сцен і якія прадстаўлялі сабой самастойныя абарончыя элементы, меліся дадатковыя выступы са сцен, якія звычайна не былі замкнёныя з унутранага боку і не перавышалі па вышыні замкавыя сцены. Гэтыя выступы ня выконвалі самастойнай абарончай функцыі, а толькі выкарыстоўваліся для дадатковай флангавыя атакі па ворагам. У выніку Віцебскі замак уяўляў з сябе абарончую фартыфікацыю, па форме падобную на абрэзаную піраміду.
Нягледзячы на сваю моц, пабудаваныя ў сярэдзіне XIV стагоддзя каменныя ўмацавання Віцебскага замка праіснавалі ў першапачатковым выглядзе нядоўга. З-за свайго месцазнаходжання Віцебск часта падвяргаўся нападам, таму ўжо да канца стагоддзя яны былі моцна пашкоджаны падчас барацьбы за ўладу ў ВКЛ паміж Вітаўтам і Ягайлам. У 1437-м годзе, падчас аблогі горада войскам Вялікага князя Літоўскага Жыгімонта Кейстутавіча, каменныя ўмацаванні Віцебскага замка былі зноў разбураныя. Нягледзячы на моцны супраціў, гараджанам ўсё ж прыйшлося прызнаць уладу Жыгімонта.
З-за частых разбурэнняў ўжо да сярэдзіны XVI стагоддзя ад каменных умацаванняў засталася толькі адна разбураная сцяна і моцна пашкоджаная мураваная вежа над Дзвіной, пра што кажа запіс у «Хроніцы Літоўскай і Жамойцкай». Усё гэта прывяло да таго, што ў XVI-XVII стст. каменныя ўмацаванні паступова трансфармаваліся ў драўляныя, іх хутчэй было ўзводзіць. Гэта і дазволіла Пятру I падчас Паўночнай вайны пры адступленні спаліць замак.
