Det var daværende eiere av Verket, Hans Smidt og kona Magdalene Marie Clasen, som fikk bygget huset og bodde her til han døde i 1804. Seinere bodde hun og sønnen Sivert med familie i huset frem til først på 1830 tallet og det var hos dem Nils Henrik Abel var gjest julen 1828, da han som kjent ble alvorlig syk og døde den 6. april 1829.
Rommet han døde i kalles fremdeles for Abels værelse eller Bukkerommet etter tapeten der. Det ligger i 3 etg. og ved siden av, er rommet hvor hans forlovede Christine Kemp bodde. Hun var guvernante hos familien Smith.
Å være Jernverkseier betydde også at familien var blant det høyeste sosiale lag av folket og boligen måtte selvsagt være standsmessig og av en viss størrelse.
Det finnes trolig ingen dokumentasjon om selve byggingen, men det må ha vært en om- og påbygging av et hus som allerede eksisterte. Hvem som sto for dette arbeidet eller tegnet huset er ukjent, men arkitekten var fra Danmark og kan derfor gjerne ha vært en bekjent av Clasen-familien. De var også dansker og fru Smith selv var nok i høy grad med i byggeprosessen, slik hun var det når det gjaldt utforminga av hagen. Tømmermenn, snekkere og malere ble nok i stor grad hentet utenfra, men også lokale håndverkere skal ha vært med på å utføre arbeidet.
Allerede i den første verkstida ble det bygget en forvalterbolig og anlagt en liten hage her. Det antas at dette var et mindre hus i Barokk stil. De 3 stuene man fremdeles finner i første etg. av husets østre del er fra denne tiden. De står nokså uforandret og det kan se ut som den midtre stuen har vært hovedinngangen, en gang som gikk tvers igjennom huset.
Herfra er det trapp ned til husets solide kjeller og trappa som førte opp til 2 etg. var nok også plassert her. Forvalteren, Jens Gram, var trolig husets første beboer, men fra omkr. 1770 ble Johannes Clasen Verkets forvalter og overtok da hus og hage.
Den praktfulle hagen som ble anlagt i samme tidsrom, gikk da i ett med huset og dannet sammen med dette en harmonisk enhet. Som huset var også hagen en utvidelse, en fortsettelse av en mindre barokk-hage som trolig ble anlagt i de første åra etter oppstarten av Verket.
Hovedveien gikk på baksiden, igjennom tunet og det var seinere, i forbindelse med det store veianlegget fra Arendal til Evje i 1860 åra at veien ble lagt på fremsiden. Det sies at daværende forvalter Georg Fredrik Sverdrup gjerne ville ha det slik, for å følge med på trafikken.
Hans Sivertsen Smith som var Sorenskriver i Råbyggelaget kom hit fra gården Nes i Herefoss først på 1780 tallet og ble eneeier av Verket ved skjøte av 15.juni 1786. Kona Magdalene Marie som var søster til forvalter Johannes Clasen hadde selvsagt vært på besøk her og både hun og mannen kjente nok godt til huset fra før.
Var det kanskje planer om en utvidelse allerede før de kom hit? I alle fall, det var etter at de hadde overtatt som eiere her at ”Verkets gylne år” startet. Økonomien blomstret og familien ble større, så det var vel heilt naturlig å utvide hus og hage.
Ombyggingen besto trolig i at trappegangen og den vestre leiligheten ble bygget på, samtidig som hele andre og tredje etg. ble ominnredet.
I husets første etg. er det 2 leiligheter. Her lå også det store kjøkkenet som ble ominnredet til peisestue i 1950 åra og nå er tatt i bruk som kontor for Kapp Abel. Ved sider av dette er tjenergangen og trappa som fører opp til andre og tredje etasje, samt til de gamle privetene ( utedoene ). Hovedinngangen / trapperommet ble i 1832 beskrevet som en forstuegang med trapp opp til 2 etg. og lofter ovenover. I rommet under trappa var salmakerverkstedet og her ble seletøyet sydd og reparert.
Andre etg. har vært residens for verkets eiere og bestyrere. Her er 4 store stuer eller saler som vender ut mot hagen mens soverom og anretningskjøkken er plassert mot tunet.
Bukkerommet hvor N.H. Abel oppholdt seg sine siste uker av sitt unge liv, og rommet hvor hans forlovede Christine Kemp bodde finnes i 3. etg. Disse rommene står nokså uberørte men i årenes løp er de preget av alderen og det er meningen og restaurere værelset til Abel. Istandsetting av tapetene ble foretatt av Norsk Institutt for Kultur-minneforskning i 2002.
Utvendig er det bare gjort små forandringer i løpet av disse tohundre åra. Vinduene er trolig skiftet en gang etter 1840 og minst en kvist på taket er fjernet ( bare en kan dokumenteres ved bilde ).
Blant lokalbefolkningen kalles Hovedbygningen alltid for Storgården. Gamle branntakster beskriver den som "Det gamle vaanhus". Benevnelsen Storgården har også blitt brukt om alle husene her på tunet, men i alle fall den senere tid var det helst bare ”Gården” som ble brukt når det var snakk om den samla bebyggelsen.