Bauherr des ursprünglichen Schlossbaus war Bartholomäus Khevenhüller (1539–1613), Freiherr von Aichelberg, der dem einflussreichen Kärntner Adelsgeschlecht der Khevenhüller angehörte. Khevenhüller war sowohl Unternehmer als auch Funktionär der Kärntner Landstände und brachte es als solcher bis zum Klagenfurter Burggrafen (1581). Da er ständig zwischen Burg Landskron, dem Stammsitz der Khevenhüller, und Klagenfurt pendelte, erwarb er 1585 ungefähr auf halbem Weg im Bauerndorf Velden am Westufer des Wörthersees ein Anwesen, auf dem zunächst nur eine Mühle stand. Er ließ sich dort direkt am See ein Haus errichten und allmählich mit erheblichem finanziellen Aufwand (23.000 Gulden) zu einem repräsentativen Anwesen ausbauen. Das eigentliche Herrenhaus der nach der Inschrift am Gartenportal 1603 endgültig fertiggestellten Schlossanlage war ein dreieinhalbgeschossiger, rechteckiger Bau mit vier polygonalen Ecktürmen.
Das Schloss blieb nach Barthlmäs Tod zunächst in Familienbesitz, bis der protestantische Adel, zu dem auch die Khevenhüller zählten, 1629 Kärnten verlassen musste. 1639 eignete sich der Präsident der Hofkammer, die mit der Verwaltung des beschlagnahmten Gutes betraut war, Siegmund Ludwig von Dietrichstein, das Schloss Velden an. Die Liegenschaft blieb bis 1861 im Besitz der Dietrichsteiner, seine repräsentative Nutzung für Familienfeste ist jedoch nur noch bis 1716 belegt. Im Jahr 1762 zerstörte ein Brand große Teile des Schlosses, das anschließend nur notdürftig wiederhergestellt wurde, wobei die Ecktürme teilweise abgetragen werden mussten. Es wurde danach nur noch als Poststation und Gasthaus genutzt.
m Zuge des aufkommenden Wörthersee-Tourismus Ende des 19. Jahrhunderts erwarb der Wiener Porzellanfabrikant Ernst Wahliss, der zuvor bereits auf der Pörtschacher Halbinsel das Parkhotel und eine ganze Villenanlage hatte errichten lassen, 1890 das heruntergekommene Anwesen in Velden. Er ließ das Gebäude durch den Architekten Wilhelm Heß im Stil der Neorenaissance umbauen, wobei die Fassade nach alten Ansichten rekonstruiert wurde. Die Räume im Inneren wurden für die Nutzung als exklusive Hotelanlage hergerichtet. Weitere Um- und Ausbauten folgten in den 1920er und 1930er Jahren unter der Leitung von Franz Baumgartner; zuletzt erfolgte 1993 eine Außenrestaurierung.
Ab 1952 diente das Schlosshotel als Drehort für Filme und Fernsehproduktionen; die bekannteste darunter ist die Fernsehserie Ein Schloß am Wörthersee (1990–92); an deren Hauptdarsteller Roy Black erinnerte eine Gedenkbüste im Café schräg gegenüber dem Schloss. Gunter Sachs erwarb Schloss Velden 1990 und ließ es aufwendig renovieren. 2003 verkaufte er es an einen Immobilien-Verbund; dieser eröffnete mit der US-amerikanischen Hotel-Gruppe West Paces unter der Marke „Capella“ das Schlosshotel zu Pfingsten 2007 neu.
Der große Schlossbau über rechteckigem Grundriss besitzt vier seitliche Ecktürme mit Haubendächern. Die östliche, zum See gewandte Front ist dreigeschossig, die gegenüberliegende Front zum Park zweigeschossig. Das rustikale Portal nördlich des Gebäudes ist mit der Jahreszahl 1603 bezeichnet und wird von gebänderten Pilastern flankiert. Darüber befindet sich zwischen zwei Obelisken ein Aufsatz mit den Wappen des Bartholomäus Khevenhüller und seiner drei Frauen. Vom Nordportal führt ein Verbindungsgang zu einem der Ecktürme. Ein weiterer Überrest aus der Erbauungszeit sind die Biforenfenster oberhalb des rundbogigen Westportals.