Danke @alcalzone! Das hat mir schon geholfen.
Wenns von generellem Interesse ist. Es liegt tatsächlich daran, das ab Version 5 die websockets über ws:// kommunizieren (vorher ging das glaub über http://.../socket.io), und diese im Reverse Proxy nun separat behandelt werden müssen.
Für NGINX hatz @alcalzone ja schon eine passende Lösung geteilt. Für Apache2 kann das folgendermassen gemacht werden:
ProxyPreserveHost On
ProxyAddHeaders On
ProxyRequests Off
RewriteEngine On
RewriteCond %{HTTP:Upgrade} = websocket [NC]
RewriteRule /(.*) ws://10.64.50.4:8081/$1 [P,L]
RewriteCond %{HTTP:Upgrade} != websocket [NC]
RewriteRule /(.*) http://10.64.50.4:8081/$1 [P,L]
Vielen Dank für eure Hilfe!