забавно. если не рассказывать xfce4 о том, что хочется юзать именно ssh-agent, то оно, найдя установленный gpg-agent юзает именно его, ссука.
этот дикий AI можно отключить вот так:
xfconf-query -c xfce4-session -p /startup/ssh-agent/type -n -t string -s ssh-agent