Врхлаб се спомиње 1302. године када је краљ Милутин закључио са Дубровчанима уговор о миру. Сачуван је део бедема и кула за које се сматра да су били заштита летњег краљевског дворца. У непосредној околини овог утврђења уочавају се многобројни трагови темеља кућа, правоугаоне основе са остацима преградних зидова одаја. Такође су уочени и остаци металне згуре као и остаци зграда где се руда прерађивала. Грађевине у насељу су распоређене дуж пута који је водио уз реку, а нека од њих је вероватно била црква.