TextMesh Proは便利ですが、デフォルトフォントの参照を
「Assets/TextMesh Pro/Resources/」内の「TMP Settings.asset」というScriptableObjectの「Default Font Asset」というパラメタで持っているため、
ここに設定したフォントアセットはResourcesフォルダ外に置いていたとしても、ビルド時にはResources内に含まれてしまいます。
tmpfont01
最初から指定されている「LiberationSans SDF.asset」は1MBですが、
仮に日本語フォントアセットを2048x2048サイズで生成して「Default Font Asset」に指定した場合は、4MBのフォントアセットファイルがResources内に入ることになります。

これを、Resourcesのサイズは抑えた上で、サイズの大きいフォントアセットをデフォルトフォントっぽく使えるように変更します。

まずは「TMP Settings.asset」の「Default Font Asset」を「None」に設定して、
Resources内に含まれている「LiberationSans SDF.asset」は削除するか、
Resourcesフォルダ外へ移動させます。
tmpfont02

これでResourcesからフォントアセットは除けましたが、
Hierarchyメニューの「Create/UI/TextMesh Pro - Text」でTextMesh ProのGameObjectを生成した際に、デフォルトフォントが存在しないとエラーになります。
tmpfont03

このエラーを解消するために、以下のような設定でサイズの小さいフォントアセットを作ります。
tmpfont04
64x64サイズで4KB。(もっと縮めても良いかも)
↑で生成したフォントアセットを「TMP Settings.asset」の「Default Font Asset」に設定することで、Resourcesのサイズを抑えつつ、TextMesh ProのGameObject生成時のエラーが発生しないようにします。
tmpfont02

この状態でHierarchyメニューの「Create/UI/TextMesh Pro - Text」で生成すると、
サイズの小さいデフォルトフォントが適用されたボケボケのTextMesh ProのGameObjectができます。
tmpfont06
その後でInspector上からTextMeshProUGUIコンポーネントのFontAssetを、
Resources外のフォルダにあるサイズの大きいフォントアセットに差し替えれば良いのですが、毎回手で指定するのも面倒なので、カスタム生成メニューを作ります。

※フォントパスやTextMeshProUGUIの設定は適宜変更してください。

↑のスクリプトをプロジェクト内に配置して、
Hierarchy上でCanvas配下を選択した状態で、
メニューの「Create/UI/Custom TextMesh Pro - Text」で生成すると、
フォントアセットを差し替えた状態のTextMesh ProのGameObjectが生成されます。
tmpfont07

これで、Resourcesのサイズは抑えつつ
Resources外にあるフォントアセットをデフォルトで使用する形にできました。