In den Jahren 1920/21 begann man auch in Höfen Fußball zu spielen und im Jahre 1923 trat man zum ersten mal gegen Nachbarvereine an, ein eigenes Spielgelände besaß man jedoch nicht. Im Jahr 1926 fanden sich im Gasthaus zur „Sonne“ ein paar beherzte Männer zusammen und gründeten einen „Sportverein“. Danach erfolgte die Anmeldung beim Süddeutschen Fußballverband und damit die regelmäßige Austragung von Verbandsspielen. Als Sportplatz diente der heutige Turnplatz. Schon 1938 begann man mit dem Bau des Sportplatzes in der Gräfenau, Richtung Calmbach. Während des Zweiten Weltkrieges musste im Jahr 1943 der Spielbetrieb völlig eingestellt werden.
Nach den Kriegswirren taten sich die verbliebenen alten Fußballer zusammen und vollzogen am 20. 6. 1948 die Neugründung des Sportvereins Höfen mit Eugen Knöller als Vorstand.
1954, als just der deutsche Fußball aus dem Nichts zur Weltspitze vordrang, begann auch der Höhenflug des VfL Höfen. Die Elf gewann damals alles, was es für sie in der Saison 1953/54 zu gewinnen gab. Meisterschaft der B-Klasse Enz, Pokalmeisterschaft der B-Klasse, Wanderpokal der A-Klasse, Bezirkspokalmeister der Gruppen Enz/Nagold. Der plötzliche Verlust der fast kompletten ersten Mannschaft führte 1958 zum Abstieg in die B-Klasse.
Danach begann man mit dem Aufbau einer erfolgreichen Jugendmannschaft, deren Früchte man mit dem Wiederaufstieg in die A-Liga im Jahre1963/64 einfahren konnte. 1963 wurde unter dem Vorsitzenden Erich Schönberg das dringend benötigte Sportheim und die sanitären Anlagen in der Gräfenau gebaut. Im Jahre 1966, als sich der erneute Abstieg in die B-Liga schon abzeichnete, übernahm Wilhelm Großmann das Amt des 1. Vorsitzenden. Er legte sein Hauptaugenmerk auf die regelmäßige Durchführung von Sportfesten und die Erweiterung der Sportanlagen.
1980 löste Manfred Lörcher Wilhelm Großmann in der Vereinsführung ab.
Eine Jugendspielgemeinschaft mit dem 1. FC Calmbach wurde gebildet, welche heute noch bei den älteren Altersklassen Bestand hat. Als dann das Sportgelände der Erweiterung der Firma Schneeberger weichen musste, einigte man sich auf ein Ausweichen in die Simonswiesen am anderen Ortsausgang von Höfen in Richtung Pforzheim. Die Gemeinde gab die Erbauung eines Hartplatzes und eines Rasenplatzes in Auftrag, Gleichzeitig erfolgt der Spatenstich für die Erbauung eines Vereinsheimes (1983-1985), größtenteils in Eigenleistung unter dem rührigen Vorsitzenden Lörcher. Vom 5. bis 21. Juli 1985 feierte der VfL die Einweihung des Sportgeländes und des prächtigen Clubheims. Die Stuttgarter Kickers bestritten das Einweihungsspiel unter der Leitung des zu dieser Zeit wohl populärstem deutschen Schiedsrichters Walter Eschweiler.
1989 wurde dann Fritz Kappler als Nachfolger von Manfred Lörcher zum ersten Vorsitzenden gewählt und als eine seiner ersten Amtshandlung durfte er den Aufstieg in die A-Klasse mitfeiern. Aber dann folgten die Rückschläge im Vereinsleben des VfL Höfen. Im Februar 1990 gab es ein verheerendes Hochwasser. Es verwüstete das gesamte Sportgelände und die unteren Räume des Vereinsheims. Das Rasenspielfeld musste in Eigenarbeit von Schlamm und Schlick befreit werden. Im Zuge der Instandsetzung wurde der Hartplatz wieder erneuert und vergrößert, so dass er jetzt auch als Ausweichplatz vom Verband anerkannt wurde. Diese äußerlichen Missstände, keine Trainingsgelegenheit und keine Heimspiele, brachten zwangsläufig auch den Abstieg in die B-Klasse mit sich.
Aber noch viel schlimmer war ein erneuter Schicksalsschlag im März 1993. Wieder schlug das Hochwasser zu und riss den Hartplatz vollkommen weg. Nun hieß es für die VfL-Familie wieder die Ärmel hochkrempeln und das Sportgelände und das Clubheim von den Spuren des Hochwassers zu befreien. Die Gemeinde war nicht mehr bereit und konnte aus verständlichen Gründen kein Geld mehr in das Sportgelände stecken. Wiederum in Eigenleistung und unter der Leitung von Fritz Kappler und Manfred Lörcher wurde für den Hartplatz ein Rasenplatz angelegt und Maßnahmen ergriffen, um gegen weitere Hochwasser besser gerüstet zu sein.
Im Frühjahr 1999 löste Frank Neuweiler den langjährigen ersten Vorsitzenden Fritz Kappler ab und einer seiner großen Aufgaben in seiner noch jungen Karriere war die Ausrichtung des 75-jährigen Jubiläums des Vereins vom 20. bis 22. Juni 2001.
Sportlich bewegt man sich in den letzten Jahren immer im vorderen Drittel der B-Liga-Tabelle mit dem Blick in Richtung Aufstieg.
Das schöne Sportgelände des VfL Höfen diente auch schon des Öfteren in Zusammenarbeit mit dem Hotel „Ochsen“ als Trainingslager prominenter Teams aus dem In- und Ausland. So waren unter anderem die Moldawische Nationalmannschaft, Leeds United, die Stuttgarter Kickers und der 1. FC Pforzheim zu Gast. Als einer der Höhepunkte im Vereinsleben des VfL Höfen waren seine zwei Trainingslager in Udine (Italien) mit Freundschaftsspielen gegen die Elf von Oliver Bierhoff.
Nachdem einige Jahre das Clubheim in Eigenregie betrieben wurde, fand man 1997 geeignete Pächter, welche das Lokal „Zum Karle und Dieter“ zu einer in der Umgebung beliebten und gut frequentierten Speisegaststätte machten.