Als der Friedhof im Jahr 1874 wegen Platzmangels auf dem Alten Friedhof errichtet wurde, lag er eine halbe Stunde zu Fuß von den Stadttoren entfernt. Heute wird im Gegenteil immer weniger Platz auf dem Friedhof benötigt, da die Zahl der Urnenbestattungen deutlich zunimmt.
Angelegt nach dem Prinzip der englischen Gartengestaltung
Im Jahr 1871 beginnen die ersten Pläne zur Errichtung des neuen Friedhofs – der Alte Friedhof südöstlich der Kapellenstraße in der Karlsruher Oststadt ist zu klein geworden. Aber es läuft nicht alles glatt. Oberbürgermeister Wilhelm Lauter muss mit der Gemeinde Rintheim verhandeln, um das Land zu erwerben, was dann schließlich enteignet wird.

Das gelingt Lauter erst im Februar 1874, wie die Badische Landeszeitung berichtet. So findet auf dem Hauptfriedhof die erste Bestattung vor genau 150 Jahren statt. Stadtbaumeister Josef Durm legt den Friedhof nach dem Prinzip der englischen Gartengestaltung an – ganz ungewöhnlich für diese Zeit.

Er wollte einen anderen Friedhof schaffen, als die Leute gekannt hatten. Der Besucher soll hier verweilen. Der Friedhof ist zum Gedenken und Lustwandeln, mit Rasenflächen, Baumgruppen, einem künstlich angelegten Hügel sowie Platanen- und Eibenwegen, gedacht.
Größere Denkmäler und Kunstwerke stehen an den Hauptwegen, während die einfacheren Grabstätten hinter Hecken liegen. Im Gegensatz zu den Gräbern an den Wegen, die Geld kosten, sind die Plätze hinter den Hecken kostenfrei.

Damals gab es fast ausschließlich Sargbestattungen mit wenigen Einäscherungen, heute ist es jedoch fast umgekehrt. Bis 1980 musste das Friedhofsgebiet immer wieder erweitert werden. Inzwischen ist die Zahl der Urnenbeisetzungen so gestiegen, dass sich der Platzbedarf deutlich verringert hat.
Jugendstil und Renaissancegebäude
Der Eingangsportal des Friedhofs ist im Stil eines römischen Triumphbogens gestaltet. Hinter diesem Portal steht ein Hof, der Durm im Stil der italienischen Frührenaissance errichtet und ein erstes Baubeispiel für diesen Stil in Baden darstellt. Er wird von der Gruftenhalle im Renaissancestil, der Leichenhalle und der Begräbniskapelle umrahmt.

Am Eingang steht auch das heutige Info-Center, die ehemalige Wartehalle der früheren Karlsruher Lokalbahn, die nach Hagsfeld fuhr, und die vom Architekten Friedrich Beichel 1905-1906 im Jugendstil gebaut wird.

Aber als die Kapelle 1876 eingeweiht wird und der Friedhof eröffnet, gibt es noch kein öffentliches Verkehrsmittel und die Leute müssen eine halbe Stunde zu den Stadttoren laufen. Das heißt, dass einige Traditionen jetzt wegfallen – beispielsweise sind die häusliche Aufbahrung oder der Leichenzug durch die Straßen nicht mehr möglich. Erst ab 1891 kann man mit der dampfbetriebenen Lokalbahn zum Friedhof fahren.
Jüdische Friedhöfe werden eingeweiht
Bereits 1873 wird ein orthodoxer Friedhof der Israelistischen Religionsgemeinschaft eingeweiht und 1897 ein allgemeiner jüdischer Friedhof der jüdisch-liberalen Gemeinde Karlsruhe. Hier liegt Werner Nachmann, der ehemalige Vorsitzende des Zentralrats der Juden in Deutschland. Nach 1945 wird der allgemeine Friedhof für Bestattungen genutzt, der orthodoxe Friedhof ist nicht öffentlich zugänglich.

Nach 30 Jahren muss die Anlage erweitert werden. In den Jahren 1903 bis 1904 wird eines der ersten Krematorien Badens, seit 2002 als Trauerhalle genutzt, nach Plänen vom städtischen Hochbauinspektor und Architekten August Stürzenacker gebaut. Das Krematorium ist auch das erste im christlichen Stil – bis dahin hat man für Krematorien orientalische Baustile gewählt. 1998 wurde ein neues Krematorium in Betrieb genommen.
Gräberfelder für andere Religionen
Der inzwischen über 34 Hektar große Friedhof mit gegenwärtig zirka 34.000 Gräbern umfasst auch Gräberfelder anderer Religionen. Abgesehen vom liberalen-jüdischen Friedhof gibt es seit 1984 auch ein Islamisches Gräberfeld, wo spezielle Totenriten für Muslime, wie die rituelle Waschung der Toten, durchgeführt werden können.

In den Begräbnisbereichen liegen die Verstorbenen mit der rechten Körperseite zu Mekka gewandt. Seit 2003 gibt es in dem separaten Bereich "Mein letzter Garten" auch Naturbestattungen. Dieser Bereich enthält einen künstlichen Wasserfall, Teiche und Skulpturen.
Erinnerung an die Weltkriege und berühmte Karlsruher Persönlichkeiten
Auf dem Hauptfriedhof liegen mehrere Gräberfelder mit Tausenden von Gräbern für Opfer der beiden Weltkriege, darunter Zivilisten, Soldaten und Euthanasieopfer des Dritten Reichs.
Der Volksbund Deutsche Kriegsgräberfürsorge veranstaltet jedes Jahr ein Workcamp in Baden-Württemberg für junge Leute aus ganz Europa. Während ihres zweiwöchigen Aufenthaltes hier pflegen sie die Soldatengräber und die Gräber von Kriegsopfern.

Das Denkmal "Mutter und Kind" des Bildhauers Erich Lipp erinnert an die Luftkriegsopfer der Weltkriege. Und für politische Opfer des Nationalsozialismus wie Reinhold Frank und Ludwig Marum gibt es Gedenkstätten.
Außerdem findet man Ehrengräber für bekannte Minister, Akademiker und Künstler. Auf dem Karlsruher Hauptfriedhof sind Karl Freiherr von Drais, der Erfinder des Zweirads, Schriftsteller Joseph Victor von Scheffel und Künstler Hans Thoma begraben.

Das Bürklin’sche Mausoleum, die von Joseph Durm errichtete Grabstelle für die Familie des Politikers Albert Bürklin, liegt auch auf dem Friedhof und wurde 1963 der Stadt übergeben. Das Gefallenendenkmal für den Ersten Weltkrieg von Hermann Binz und Hermann Billing wird 1930 fertiggestellt.
Vor dem Denkmal werden am Volkstrauertag Reden gehalten und an die Toten der Weltkriege erinnert. Am Hauptfriedhof sammelt auch die Reservistenkameradschaft Karlsruhe jedes Jahr für den Volksbund Deutsche Kriegsgräberfürsorge.