En 1907 realiza su primera obra, la casa Riehl. De 1908 a 1911 trabajó en el despacho de Peter Behrens, del cual Mies desarrolló un estilo arquitectónico basado en técnicas estructurales avanzadas y en el clasicismo prusiano. También realizó diseños innovadores con acero y vidrio. En 1911 dirigió la construcción de la embajada alemana en San Petersburgo. En ese mismo año se mudó a La Haya y planificó una casa de campo para el matrimonio Kröller-Müller.
En 1912 abrió con mucho esfuerzo su propio estudio en Berlín. Durante los primeros años recibió muy pocos encargos, pero las primeras obras ya mostraban el camino que continuaría durante el resto de su carrera. En 1913, con su esposa Ada Bruhn, se traslada a Werder (a las afueras de Berlín). Allí nacen sus hijas Marianne y Waltrani, y más tarde Dorotea. Hasta entonces las relaciones entre la familia y el trabajo habían sido buenas, pero la Primera Guerra Mundial de 1914-1918 provocó que Ludwig fuera destinado a Rumania durante este periodo y la familia quedase separada.
En 1922 se hizo miembro del "Novembergruppe" y se puso por nombre Mies van der Rohe. Junto con van Doesburg, Lissitzky y Richter editó en 1923 la revista "G" . A partir de su participación en G, quedó fuertemente influido por el neoplasticismo de van Doesburg. En esos años, trabajó en los planos de dos casas de campo hechas de ladrillo, cuyos extensos muros y difuminadas líneas revolucionaron el concepto de vivienda.
En 1926 fue vicepresidente de la Deutscher Werkbund y llevó a cabo obras de cierta envergadura, como la casa Wolf en Guben, toda de ladrillo, y la casa Hermann Lange en Krefeld. Fue director de la exposición de viviendas de Weissenhof, en Stuttgart en 1927, donde conoció a la diseñadora e interiorista Lilly Reich y diseñó para ella un bloque de viviendas de estructuras deacero. De 1927 a 1930 construyó una villa en Krefeld para el fabricante de sedas Hermann Lange, y en 1929 Mies recibe el encargo de proyectar el Pabellón nacional de Alemania para laExposición Internacional de Barcelona, para el que diseñó también la famosa silla Barcelona, de acero cromado y cuero.
En 1930 concluyó la Villa Tugendhat en Brünn (actual República Checa) y dirigió la Bauhaus de Dessau hasta que se cerró en 1933 debido a las presiones para modificar el régimen de estudio de la escuela. El auge del nazismo en Alemania le obligó a emigrar a Estados Unidos en 1937, donde fue nombrado director de la facultad de arquitectura del Instituto de Tecnología de Illinoisde Chicago, que posteriormente remodelaría para que fuera dedicado a la enseñanza y a la investigación, y que se concluyeron a lo largo de los años 50.
En 1940 conoce a Lora Marx, que lo acompañaría hasta su muerte. En 1944 se hace ciudadano de los Estados Unidos. De 1945 a 1950 construye la casa Farnsworth en Plano, Illinois.
Entre los años 1948 y 1951 hace realidad su sueño de construir un rascacielos de vidrio con las dos torres del Lake Shore Drive Apartments de Chicago, y, más tarde, el Commonwealth Promenade Apartments, también en la misma ciudad (1953-1956).
Entre sus obras más emblemáticas de esta etapa destaca el Edificio Seagram (1958), un rascacielos de 37 pisos de vidrio y bronce construido en Nueva York junto con su discípulo Philip Johnson.
En 1959 se jubila del Instituto de Tecnología de Illinois.
De 1962 a 1968 construye en Berlín la Galería Nacional. Se trata de un edificio dedicado a exposiciones de obras de arte, formado por una gran sala cuadrada construida completamente en cristal y acero y situada sobre una extensa terraza de losas de granito.
El 17 de agosto de 1969 muere en Chicago dejando como legado unos nuevos cánones para la arquitectura que bajo sus tan divulgados lemas «Less is more» («Menos es más») y «God is in the details» («Dios está en los detalles»), que lo considera como uno de los maestros más importantes de la arquitectura moderna.
