"...Есть в системе видеокарта GeForce GTX 1060. Появилась необходимость в кодирования нескольких потоков (AVC) для формирования HLS..."
На вашей карте не получится кодировать более 2-х потоков. Это техническое ограничение всех моделей GeForce. Если нужно более двух потоков, то нужно использовать что-нибудь типа NVidia Quadro P200.
Здесь табличка. В колонке "Max # of concurrent sessions" указано максимальное число потоков. Unrestricted - это без ограничений (явных). Хотя ограничение всё же есть (в районе 6 потоков для HD) по нашему опыту .