Родился в Нижнем Новгороде, с детства пел в церковном хоре. С 1876 года обучался в Московской консерватории по классу скрипки, за год до окончания курса прошел отбор в создаваемый по указу императора Придворный музыкантский хор (оркестр). С 1881 года жил в Санкт-Петербурге, где служил концертмейстером оркестра, параллельно обучаясь живописи: сначала в Рисовальной школе Общества поощрения художеств, затем – в студии Яна Ционглинского. На занятиях познакомился с поэтессой и художницей Еленой Гуро, на которой спустя несколько лет женился. Вместе они в 1909 году создали объединение авангардистов «Союз молодежи» и издательство «Журавль», где публиковали книги футуристов – Алексея Крученых, Велимира Хлебникова, Владимира Маяковского и самой Гуро. В ее сборники «Шарманка» и «Осенний сон» вошли также ноты сочинений Матюшина, после 40 начавшего композиторскую деятельность.
В 1913 году Матюшин ушел из оркестра, тогда же не стало Елены Гуро. Летом 1913-го Матюшин вместе с Казимиром Малевичем, Крученых и Хлебниковым начал работу над оперой «Победа над Солнцем». Параллельно с сочинением музыки Матюшин занимался живописью, разрабатывая собственный подход к абстракции. К этому периоду относятся полотна «Движение в пространстве» (Русский музей) и «Геометризация пространства (Кристалл)» (Третьяковская галерея). Тогда же художник создавал «корневые скульптуры», демонстрируя корни деревьев в качестве арт-объектов и призывая увидеть в них внутреннее движение. Свои взгляды на искусство Матюшин излагал в программных статьях о кубизме и «четвертом измерении». Он опирался на теософские гипотезы о существовании невидимого глазу времени-пространства и вслед за Петром Успенским утверждал, что «художник должен быть ясновидящим».
После революции началась активная педагогическая деятельность Матюшина. Музыкальные дисциплины он преподавал в районных школах, стремясь дать образование детям из бедных семей, изобразительным искусством занимался со студентами Академии художеств (переименованной в Государственные свободные художественно-учебные мастерские). В 1923 году возглавил отдел органической культуры в Государственном институте художественной культуры (ГИНХУК), где разрабатывал новаторскую теорию цвета и исследовал явление синестезии. В 1920–1923 гг. Матюшин вместе с учениками поставил ряд экспериментальных музыкально-театральных спектаклей, где выступал одновременно композитором, режиссером, художником и исполнителем. В 1932-м опубликовал «Справочник по цвету» – первое в СССР практическое руководство по сочетанию цветов. Последние два года жизни посвятил работе над мемуарами.