Su padre era pintor y músico, así que Carl pudo tocar en la orquesta de baile de su padre desde niño. Al mismo tiempo integraba la orquesta amateur local, Braga, cuyo repertorio, aparte de música bailable y festiva, incluía sinfonías del clasicismo vienés. Casi a los catorce años Carl fue contratado como trombonista en una banda de Odense. Junto a su trabajo como músico militar, Nielsen interpretaba cuartetos de cuerda con sus amigos y estudiaba El Clavecín Bien Temperado por iniciativa propia. Desde esos años aparecen sus intentos reales por componer, sobretodo obras de cámara en estilo clásico.

Gracias a los patrones de Odense, Nielsen tuvo la oportunidad de ir a Copenhague, donde estudió en la Academia Real de Música entre 1884 y 1886 con el violín como principal materia y Valdemar Tofte, un alumno de Joachim, como profesor. También aprendió teoría, piano e historia musical. Después de sus años en la Academia continuó sus estudios teóricos con Rosenhoff y en 1888 se sintió capaz de publicar su Op.1, la Pequeña Suite para cuerdas. Al año siguiente fue contratado como violinista en la Orquesta Real, un cargo que mantuvo hasta 1905.

En 1890, como reconocimiento a su talento, Nielsen fue premiado con la beca Det Ancker’ske Legat, la que le permitió ir a estudiar al continente. Durante este viaje, en 1891, se casó con la escultora Anne Marie Brodersen, con quien permaneció toda su vida a pesar de que el matrimonio pasó por varias crisis en distintos periodos. En la década de 1890 consolidó su sitial como uno de los compositores más importantes de su país con obras como la Sinfonía N°1 Op.7 (1890-92), las Canciones Ops.4 y 6 (1891), la Sonata para Violín Op.9 (1895) y la obra coral Hymnus Amoris (1896-97).

Con el cambio de siglo Nielsen produjo dos óperas, Saúl y David (1898-1901) y Maskarade (1904-6), la última de las cuales ganó el estatus de ópera nacional danesa. Desde 1901 recibió un salario del gobierno, lo que le permitió dejar de realizar clases privadas para mantener las finanzas familiares. Unos pocos años después firmó un contrato con el editor Wilhelm Hansen, quien publicó casi todas sus obras desde 1924. Junto a la carrera de compositor, Nielsen realizó diversas actividades dentro de la vida musical danesa. En el periodo 1908-1914 condujo en el Teatro Real y desde 1915 hasta 1927 dirigió los conciertos de la sociedad Musikforeningen.

En 1915 comenzó a enseñar teoría y composición en la Academia Real. Luego integró las directivas de la Sociedad de Compositores Daneses y la Sociedad para la Publicación de Música Danesa. Aunque sus primeras obras recogen la estética clásica evitando deliberadamente elementos del romanticismo tardío, a partir de la década de 1910 se orientó hacia las nuevas tendencias en la música europea. Poco a poco fue incluyendo elementos modernos en su música, pero sin abandonar su estilo muy personal. Este desarrollo es muy claro en las últimas tres sinfonías, N°4 (1914-16), N°5 (1921-22) y N°6 (1924-25).

Al lado de sus obras instrumentales crecientemente modernistas, Nielsen trabajó, con su amigo Thomas Laub, la reforma de la canción tradicional danesa. Esto produjo una cantidad de colecciones de simples canciones estróficas donde deliberadamente trató de perpetuar los ideales de Lieder im Volkston (1784) de J.A.P.Schulz. Nielsen tenía un original talento literario que tradujo en obras como las memorias infantiles Min fynske Barndom y el ensayo Levende Musik, donde su estética anti-romántica se expresa claramente. En sus últimos años Nielsen sufrió del corazón y murió de un ataque a los 66 años.