Nació en Washington (Estados Unidos). Estudió en el Mills College de Oakland, California en donde se formó en la técnica de Martha Graham. Se trasladó a Nueva York en 1961 y estudió con Marce Cunningham. Tomó contacto con el músico   vanguardista John Cage quién se basó en la idea de que la música debía abrirse a la vida y al entorno a través de tres principios fundamentales que Brown tomó para  sus composiciones. Estos son: el azar, la improvisación y el entorno.