Старейшее село на Енисее расположено двумя крупными левыми притоками — реками Кас и Сым. Благодаря удачному расположению, Ярцево стало одним из первых русских поселений на Енисее, форпостом в освоении Приенисейской Сибири.
Есть несколько версий происхождения названия села. По одной из них Ярцево названо в честь лихого атамана Ярцева, сподвижника Ермака, построившего зимовье Ярцевское. По другой версии, промышленник Федор Цапаня, проделав долгий путь, срубил здесь зимовье, которое позже выросло в заимку, но заимку эту постоянно сносило весенним ледоходом, и ее каждый раз восстанавливали заново все выше и выше по Енисею, пока не построили село на высоком яру, откуда и пошло название.

В конце 19 века Ярцево стало местом ссылки многих знаменитых людей и видных деятелей, например, тут отбывал ссылку А. Енукидзе - революционер и соратник Сталина.

За всю историю здесь накопилась память о многих событиях и людях, которую здесь чтят с особой любовью и трепетом.

Сегодня Ярцево большое село с развитой инфраструктурой. Как и много лет назад люди работают на лесозаготовках и ведут свои хозяйства.