В DeepPavlov еще делали вот такую модельку https://huggingface.co/DeepPavlov/distilrubert-tiny-cased-conversational-v1 она на наших бенчмарках была лучше, чем https://huggingface.co/DeepPavlov/distilrubert-tiny-cased-conversational, которую ты сравнивал и очень близка к rubert-tiny-2. Бенчмарки есть в таблице 1 (строка distil-tiny30, RF, MLM, MSE) и 2 (строка distil-tiny-3) в https://arxiv.org/abs/2205.02340.