-
Notifications
You must be signed in to change notification settings - Fork 35
Open
Description
Привет, есть предложение считать все символы emoji за отдельные токены.
Сейчас библиотека склеивает их с нормальными словами:
Например, для такого текста:
✅Сдается комната. стиралка,wifi... Сдается без комиссии.Соседи семья без детей.Можно с животными. Вся необходимая инфраструктура в пешей доступности. М. Восстания Ул.Гончарная 8000+счетчики💰 8-906-271-28-93 📲 Все фото на стене🌅
Результат будет следующий:
[Substring(0, 8, '✅Сдается'),
Substring(9, 16, 'комната'),
Substring(16, 17, '.'),
Substring(18, 26, 'стиралка'),
Substring(26, 27, ','),
Substring(27, 31, 'wifi'),
Substring(31, 34, '...'),
Substring(35, 42, 'Сдается'),
Substring(43, 46, 'без'),
Substring(47, 55, 'комиссии'),
Substring(55, 56, '.'),
Substring(56, 62, 'Соседи'),
Substring(63, 68, 'семья'),
Substring(69, 72, 'без'),
Substring(73, 78, 'детей'),
Substring(78, 79, '.'),
Substring(79, 84, 'Можно'),
Substring(85, 86, 'с'),
Substring(87, 96, 'животными'),
Substring(96, 97, '.'),
Substring(98, 101, 'Вся'),
Substring(102, 113, 'необходимая'),
Substring(114, 128, 'инфраструктура'),
Substring(129, 130, 'в'),
Substring(131, 136, 'пешей'),
Substring(137, 148, 'доступности'),
Substring(148, 149, '.'),
Substring(150, 151, 'М'),
Substring(151, 152, '.'),
Substring(153, 162, 'Восстания'),
Substring(163, 165, 'Ул'),
Substring(165, 166, '.'),
Substring(166, 175, 'Гончарная'),
Substring(176, 180, '8000'),
Substring(180, 181, '+'),
Substring(181, 190, 'счетчики💰'),
Substring(191, 206, '8-906-271-28-93'),
Substring(207, 208, '📲'),
Substring(209, 212, 'Все'),
Substring(213, 217, 'фото'),
Substring(218, 220, 'на'),
Substring(221, 227, 'стене🌅')]Metadata
Metadata
Assignees
Labels
No labels