Hrad byl založen na přelomu 13. a 14. století, mezi roky 1290 – 1310, patrně jako rodové sídlo pánů z Velhartic, kteří zde sídlili až do roku 1390. O významu hradu svědčí i to, že za Menharta z Hradce zde v době poděbradské byly dočasně uloženy české korunovační klenoty. V průběhu třicetileté války hrad získal Martin Huerta, který hrad významně přestavěl. S jeho činností je spojen především vznik palácového křídla opatřeného arkádami, které zaujalo boční stranu hradu. Mladší úpravy již do podoby hradu, jehož některé části se postupně změnily ve zříceninu, příliš nezasáhly.
Hrad byl založen na přelomu 13. a 14. století, mezi roky 1290 – 1310, patrně jako rodové sídlo pánů z Velhartic, kteří zde sídlili až do roku 1390. O významu hradu svědčí i to, že za Menharta z Hradce zde v době poděbradské byly dočasně uloženy české korunovační klenoty. V průběhu třicetileté války hrad získal Martin Huerta, který hrad významně přestavěl. S jeho činností je spojen především vznik palácového křídla opatřeného arkádami, které zaujalo boční stranu hradu. Mladší úpravy již do podoby hradu, jehož některé části se postupně změnily ve zříceninu, příliš nezasáhly.
Z nejstaršího hradu pánů z Velhartic známe podobu jádra. Jeho obrys se zaoblenými nárožími byl determinován tvarem staveniště. Přesto se zakladatelé rozhodli realizovat zde módní dvoupalácový hrad, byť za cenu určité deformace základního pravidelného schematu. Nejprve byl vystavěn čelní palác zvaný Rajský dům a zbytek obvodu hradu zpevnila hradba s cimbuřím. Až poté byl do zadní části vestavěn druhý palác, zakončený nepravidelně okrouhlou vížkou, který dle tradice obsahoval i kapli. Protože spojovací hradba mezi oběma paláci je prolomena několika původními střílnovými okénky, předpokládáme zde nějakou dnes blíže neznámou zástavbu, která nepřevyšovala hradební ochoz, i podél této strany nádvoří. Vstupní brána prolamovala protilehlou hradbu při jejím styku s nárožím rajského domu. Celek byl obíhán ze tří čtvrtin obvodu ještě parkánem.
Výrazného rozšíření hradu dostalo v průběhu 15. století, kdy byl opatřen novým opevněním, umožňujícím dělostřeleckou obranu i poskytujícím mu dostatečnou bezpečnost ve změněných podmínkách. Na ostrožně před starým jádrem byla vystavěna nová, nepravidelná přední část hradu. Její hradby při úrovni terénu obsahují štěrbinové střílny a byly zpevněny dvěmi dovnitř otevřenými polookrouhlými a jednou trojbokou baštou. Do této části hradu se vcházelo obdélnou, dovnitř otevřenou věží první brány. Na nejvyšším místě staveniště se za hradbou vypíná masivní obdélná plochostropá věž, dle charakteristické siluety dnes nazývaná Putna. S Rajským domem ji spojuje zděný most se čtyřmi oblouky, který původně nesl krytou spojovací chodbu. Přístup do ní z obou stran umožňovaly padací můstky. Tento most je unikátním prvkem hradu a nemá obdoby na žádném jiném evropském hradě. Je dlouhý 32 m, široký 3 m a vysoký téměř 10 metrů.
Z boční strany se k jádru hradu připojilo nové předhradí, kde se kumulovaly hospodářské objekty. Z nich se nejlépe zachoval pivovar (dnes rekonstruovaný s novou střechou), který sem byl dostavěn nejspíše až v 16. století.
Prvá fáze hradu náleží mezi dvoupalácové dispozice. Výstavba vnějšího dělostřeleckého opevnění představuje mimořádný a zcela ojedinělý počin. Stavitel zde použil ve vzájemné kombinaci prvků pasivní a aktivní obrany. Věž Putna plní vlastně funkci mohutného štítu, kryjícího za svou těžkou hmotou ostatní stavby hradu. Pokročilé vnější opevnění s trojbokou baštou, polookrouhlými baštami a se střílnami v hradbách, z nichž některé jsou vedeny i šikmo, náleží k předním realizacím z doby hledání nejúčinnějších fortifikačních článků v dělostřeleckém vedení boje, jak dokládají malé rozměry omezující účinnost bašt. Celý systém je možno datovat do pohusitské doby, nejspíše však ještě před polovinu století, a považovat ho za jeden z vrcholů soudobého fortifikačního stavitelství.
Jméno Martina de Hoeff Huerty provází mnoho hrůzostrašných pověstí o jeho působení na velhartickém panství, kdy se svými třiceti jezdci tvrdě rekatolizoval zdejší kraj. Tento španělský dobrodruh, původem švec, získal během třicetileté války různými svými loupežemi a lstmi velké jmění, dosáhl hodnosti generála a nakonec i šlechtického titulu svobodného pána z Velhartic. Pověst praví, že během hledání pokladu ve věži Putna, kdy byl proražen vstup v přízemí, bylo odtud vyvezeno několik vozů plně naložených kostmi nešťastníků, kteří zahynuli ve zdejší hladomorně. Že jeho vláda na Velharticích však nebyla pro poddané jenom utrpením dokazuje i to, že na velhartickém panství zrušil robotu. Nedaleko od hradu se nachází hřbitovní kostel sv. Máří Magdaleny, kam podle pověstí ústí tajná chodba z hradu. Za povšimnutí stojí také nedaleký stříbrný důl, jehož spodní patra jsou v současnosti zatopena a přístupné je jen jeho nejvyšší patro.
