Prezado, referente a mensagem que aparece é devido a você não ter selecionado sua placa de captura Pinnacle no Transcoder PRO, ele deve estar selecionando automaticamente uma outra entrada, talvez uma webcam.
Siga as orientações do tutorial -
CLIQUE AQUI
Veja atentamente a imagem abaixo orientando como selecionar sua placa de captura:
Vc pode também desligar provisoriamente (pelo Painel de Controle do Windows >> Sistema >> Gerenciador de dispositivos) o drive do dispositivo que está sobrepondo a placa de captura ao abrir o Transcoder PRO, assim ao abrir o Transcoder PRO automaticamente ele vai selecionar sua placa de captura.