Однако из-за несогласия с политикой военного министра Д.А.Милютина молодой генерал вынужден был выйти в отставку. Вместе с другими противниками Милютина генералом В.А.Фадеевым и полковником В.В.Комаровым, он начал издавать газету «Русский мир». В это время Черняев сблизился с лидером московских славянофилов И.С.Аксаковым.
Когда в Боснии вспыхнуло восстание против османского ига, а Сербия объявила войну Турции, Черняев почти нелегально уехал добровольцем сражаться за братьев-сербов. Князь Милан Обренович назначил его командующим сербской армией. Прибывшие вместе с Черняевым русские офицеры-добровольцы стали командирами соединений. В публицистике того времени Черняева называли «архистратигом славянской рати». В ряде сражений Черняев разбил турок, однако силы были неравные и сербская армия потерпела тяжелейшее поражение. От полной гибели спасло сербов только вступление в войну России. Черняева обвинили в поражении, припомнили неподчинение приказам в Туркестане, самовольный отъезд в Сербию, он был забыт, вел жизнь частного человека в Кишиневе.
Император Александр III в ознаменование былых заслуг генерала назначил его в 1882 г. Туркестанским генерал-губернатором. Затем Черняев некоторое время был членом Военного совета. Скончался генерал в 1898 г. в своем имении в Могилевской губернии.