"...Какая модель NVidia будет оптимальной для кодирования IP потока? Достаточно будет модели GeForce?..."Понятие оптимальной в данном случае не совсем к месту. Видеокарта либо поддерживает технологию аппаратного кодирования NVENC, либо не поддерживает. Это может быть и GeForce в том числе. Здесь список видеокарт с поддержкой аппаратного кодирования NVENC.
При выборе видеокарты важен такой момент - сколько потоков кодирования у вас будет. Все модели GeForce поддерживают только 3 потока кодирования. Количество потоков кодирования у той или иной модели можно посмотреть здесь (колонка Max # of concurrent sessions).