Nel 1747 William Adam aveva elaborato piani per la creazione di una nuova Inveraray. Nel 1770 poco era stato fatto e il quinto duca iniziò a ricostruire la città nella sua forma attuale. Alcuni dei lavori sull'Inveraray ricostruita sono stati eseguiti da John Adam. L'Inveraray Inn (precedentemente noto come New Inn, Great Inn, Argyll Arms Hotel e Argyll Hotel) su Front Street è suo, così come la Town House. Gran parte del resto della città, compresa la chiesa, fu progettata e costruita dal celebre architetto di Edimburgo Robert Mylne (1733-1811) tra il 1772 e il 1800.[10] Il prodotto finale era una città attraente che comprendeva case per i lavoratori terrieri, un lanificio e un molo per sfruttare la pesca dell'aringa, che negli anni successivi sarebbe diventata un fungo per svolgere un ruolo importante nell'economia della città. Il prodotto finito è uno dei migliori esempi di città nuova del 18° secolo in Scozia e la stragrande maggioranza delle proprietà nel centro di Inveraray è considerata degna di protezione a causa del significato architettonico della città.
Progettato da James Gillespie Graham (1776–1855) nel 1813 dopo i piani originali di Robert Reid nel 1807. I piani originali prevedevano un tribunale e tre prigioni, una per maschi, una per femmine e una per debitori. Il terreno ottenuto era sufficiente per un piano così ambizioso, ma i finanziamenti non lo erano e i Commissari penitenziari si dovettero accontentare di un solo carcere.
Sia il tribunale che le prigioni furono aperti nel 1820. L'aula del tribunale, al primo piano, ha un semicerchio di grandi finestre che offrono una magnifica vista sul cortile della prigione e, oltre, sul Loch Fyne.
La prigione a due piani ha pareti spesse tre piedi di massiccia pietra rossa sbozzata e originariamente conteneva celle su entrambi i piani, otto in totale. Un terzo del pianterreno era occupato da una stanza di soggiorno illuminata, come le celle, da strette finestre senza vetri. Il Prisons (Scotland) Act 1839 ha apportato molti cambiamenti, inclusa la separazione dei prigionieri. Una seconda prigione fu finalmente costruita su un terreno libero, aperta negli ultimi giorni del 1848. Progettata da Thomas Brown di Edimburgo, la nuova prigione consisteva in dodici celle su tre piani con una galleria di esercizi nella parte superiore. Sono stati costruiti anche un paio di cortili per esercizi all'aperto, separati l'uno dall'altro da un muro. Ai prigionieri non era permesso fraternizzare. Il sistema separato è stato progettato per dare loro il tempo di riflettere sui propri peccati.
Il Prisons (Scotland) Act 1877 ha annunciato un altro importante cambiamento nell'amministrazione delle carceri. Gli enti locali non avrebbero più la responsabilità di gestire e finanziare le carceri; il governo stava prendendo il controllo. Grandi prigioni furono costruite nel centro della popolazione. Barlinnie a Glasgow aprì nel 1882 e piccole prigioni locali nell'ovest della Scozia iniziarono a chiudere. Inveraray sarebbe l'ultimo. Il 20 luglio 1889 i lettori dell'Argyllshire Herald furono informati che "la prigione di Inveraray sarà chiusa il 31 agosto".
Nonostante le modifiche al sistema carcerario, il tribunale era ancora in carica, continuando fino al 1954, con una piccola attività da allora. In diverse occasioni i locali hanno rischiato di essere abbandonati, soprattutto quando è stato necessario spendere soldi per le riparazioni. Negli anni '80 l'Ufficio scozzese ha intrapreso un ampio restauro, ma poi tutti i piani sono falliti e l'edificio è rimasto vuoto.
Nel maggio 1989, la prigione di Inveraray è stata riaperta come attrazione turistica di proprietà privata, rievocando le prove e la vita dei detenuti del 19° secolo.