Figlio illegittimo, ebbe un'infanzia travagliata, privata sin dall'inizio della presenza materna (Giovanna Caldarelli abbandonò la famiglia quando Vincenzo era un bambino piccolo), caratterizzata da una menomazione al braccio sinistro e dalla solitudine. Compì studi irregolari, formandosi prevalentemente da autodidatta. All'età di diciassette anni fuggì di casa e approdò a Roma dove, per vivere, fece i più svariati mestieri, fra i quali il correttore di bozze presso il quotidiano Avanti!. Sull' Avanti!, del quale divenne redattore, ebbe inizio, nel 1909, la sua carriera giornalistica.
Collaborò a Il Marzocco, La Voce, la rivista Lirica, Il Resto del Carlino e, dopo gli anni della Prima guerra mondiale che aveva trascorso tra la Toscana, il Veneto e la Lombardia, rientrò a Roma e insieme ad un gruppo di intellettuali fondò la rivista La Ronda attraverso la quale espresse il suo programma di restaurazione classica. Fu direttore della Fiera letteraria, insieme al drammaturgo forlivese Diego Fabbri.
Nel settembre del 1915 è a Firenze dove frequenta l'ambiente vociano, legandosi in particolare ad Ardengo Soffici e a Giuseppe De Robertis. Nel gennaio del 1916 invia Prologhi all'editore, che lo pubblicherà il mese successivo. Nel 1918 prende a collaborare a Il Tempo. Nella sede del giornale romano stringe amicizia con Giovanni Papini, che lo presenta all'editore Vallecchi per il nuovo volume Viaggi nel tempo.
Nell'aprile dello stesso anno nasce La Ronda. Cardarelli abbandona Il Tempo per occuparsi attivamente dell'allestimento della rivista. Nel febbraio del 1920 esce Viaggi nel tempo. Nel 1925 inizia a collaborare al quotidiano Il Tevere di Telesio Interlandi, inizialmente come critico drammatico, in seguito occupandosi di letteratura. Tra settembre e dicembre compaiono sul medesimo giornale diverse prose liriche (confluite in seguito nel Sole a picco). Dall'agosto del 1926 scrive di frequente sul Corriere padano di Ferrara. Nel 1928 si reca in Russia, inviato dal Il Tevere: le corrispondenze appariranno nel quotidiano romano dal novembre sino all'aprile del 1929. Nel 1930 di ritorno dalla Russia, scrive su Il Bargello di Firenze. Il quadro Amici al caffè di Amerigo Bartoli, in cui compare Cardarelli, vince il premio di composizione alla XVII Biennale di Venezia. In esso è fissato uno dei tanti raduni al caffè Aragno cui Cardarelli soleva prendere parte, insieme agli amici Soffici, Cecchi, Baldini, Ungaretti e Bartoli.
Nel 1931 escono tre volumi: la ristampa, con alcune variazioni, di Prologhi. Viaggi. Favole; i due testi critici Parole all'orecchio e Parliamo dell'Italia. Nel gennaio del 1934 esce la prima edizione di sole poesie, Giorni in piena. Nel 1939 esce Il cielo sulle città presso Bompiani. Progetta nel frattempo la silloge critica Solitario in Arcadia. Nel 1942 si dedica alla sistemazione delle Poesie, in vista di una pubblicazione presso Bompiani, che avviene nello stesso anno, con prefazione di Giansiro Ferrata, inaugurando la collezione poetica Lo Specchio. Il 21 aprile riceve il Premio Poesia 1942. XX, dell'Accademia d'Italia.
La sua fama resta legata alle numerose poesie e prose autobiografiche di costume e di viaggio, raccolte in Prologhi (1916), Viaggi nel tempo (1920), Favole e memorie (1925), Il sole a picco (1929) romanzo con illustrazioni del pittore bolognese Giorgio Morandi, Il cielo sulle città (1939), Lettere non spedite (1946), Villa Tarantola (1948).
Fu un conversatore brillante ed un letterato polemico e severo, avendo vissuto una vita vagabonda, solitaria e di austera e scontrosa dignità. Suoi maestri sono stati Baudelaire, Nietzsche, Leopardi, Pascal, che lo hanno portato ad esprimere le proprie passioni con un senso razionale, senza troppe esaltazioni spirituali. La sua è una poesia descrittiva lineare, legata a ricordi passati di qualunque tipo, siano paesaggi animali persone e stati d'animo, che vengono espressi con un uso di un linguaggio discorsivo e nello stesso tempo impetuoso e profondo.
Vincenzo Cardarelli è stato un uomo solo, ha vissuto nella solitudine quasi tutta la vita ed è morto a Roma il 18 giugno 1959 nell'Ospedale Policlinico, solo e povero. In merito il critico musicale Piero Buscaroli, in un'intervista apparsa su Il Giornale del 3 febbraio 2013, ha raccontato:
« Montale, che non gli fu amico, scrisse che era stato lo scopritore del vero Leopardi, quello dello Zibaldone e delle Operette morali. Ma quando lo conobbi, a Roma, negli anni ’50 era un fagotto. Stava al primo caffè di via Veneto, aveva sempre freddo. Era nato naufrago, abbandonato dal padre. Longanesi l’aveva scaricato crudamente, e lui l’aveva capito. Una volta avrebbe dovuto portarselo dietro alla mostra che organizzava al Sistina, ma lo lasciò lì. Longanesi era capace di freddezze assolute. Quando Longanesi morì Cardarelli disse: 'È l’ultimo dispetto che potevi farmi'. »
Episodi degli ultimi tempi di Cardarelli sono narrati da Ennio Flaiano in "La solitudine del satiro".
Riposa nel cimitero di Tarquinia di fronte alla Civiltà etrusca secondo la sua volontà espressa nel proprio testamento. La Civiltà etrusca, frequentemente evocata nelle sue poesie e nelle sue prose aveva ai suoi occhi il valore di un simbolo morale, oltre che tema autobiografico, in quanto era stata il faro che lo aveva guidato durante il suo periplo tra le difficoltà della vita.