現在、example.comというドメインを所持しているとして、example.comはレンタルサーバーに、xx.example.comはVPSに割り振ることができたらと思っています。DNSレコードをいろいろと書き換えてみましたが、どのようにやってもうまくいきませんでした。このような使用方法は無理なのでしょうか。ちなみにレンタルサーバーもVPSもドメインの管理も全てXserverです。
よろしくお願いします。
サブドメインのみVPSで運用すること自体は可能です。
DNSの設定をしているのに失敗するとの場合、VPS側の設定に起因しているかと思われます。
（DNSの変更直後であれば、反映に時間がかかっているだけという可能性もあるので時間をあけて確認してください）
詳細な手順などについては、自身での対応経験はないので少し調べたところ参考になりそうな記事があったのでご参照ください。
■サブドメインだけVPSサーバーのKUSANAGIへ向ける
https://pecoegg.com/887
■VPSでサブドメインを設定する方法 【CentOS7 + Apache】
https://devil-code.com/blogs/Apache/setting-subdomain/
DNSレコードについて補足します。
ハマりやすい点としては以下です。うまくいかない場合は参考にしてみてください。
・Aレコードはサブドメインに対して1つのみ。複数設定されていないかチェックする。
・XserverドメインのデフォルトのTTL値は1時間のため、1じかんたってからVPS側へアクセスを試す。
・WEBアクセスする場合は、ブラウザのキャッシュを削除してからアクセスする。
なお、VPS側でメールを運用する場合、サブドメインのMXレコードの追加が必要です。
SPFレコード・DKIM等もサブドメイン用に追加してください。