ruby-dev

Issue #5820 has been updated by Yui NARUSE.


= 現状の非互換について

Rubyへの取り込み方:
cd Onigmo
cp reg{comp,enc,error,exec,parse,syntax}.c reg{enc,int,parse}.h ~/ruby
cp oniguruma.h ~/ruby/include/ruby/

Onigmo: edf9df1cefc28472085a857116153529253ffab5 (tmp/ruby-2.0.x)
Ruby: r34150

>   1) Failure:
> test_parse_utf8(TestDateParse)
> [/home/naruse/ruby/test/date/test_date_parse.rb:651]:
> <"日本"> expected but was
> <nil>.

原因: 解析に正規表現を用いており、
[:alpha:] が ASCII にしかマッチしない問題を踏んでいる。

>   2) Failure:
> test_iso_8859_1(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
> >   3) Failure:
> > test_iso_8859_10(TestISO8859) [(eval):7]:
> > Expected /^SS$/i to match "\xDF".
>
>   4) Failure:
> test_iso_8859_13(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>   5) Failure:
> test_iso_8859_14(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>   6) Failure:
> test_iso_8859_15(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>   7) Failure:
> test_iso_8859_16(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>   8) Failure:
> test_iso_8859_2(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>   9) Failure:
> test_iso_8859_3(TestISO8859) [(eval):5]:
> Expected /^SS$/i to match "\xDF".
>
>  10) Failure:
> test_iso_8859_4(TestISO8859) [(eval):7]:
> Expected /^SS$/i to match "\xDF".
>
>  11) Failure:
> test_iso_8859_9(TestISO8859) [(eval):5]:
> Expected /^SS$/i to match "\xDF".

未調査
大文字小文字テーブル対応が壊れた?

>  12) Failure:
> test_regexp_named_class(TestM17N) [/home/naruse/ruby/test/ruby/test_m17n.rb:543]:
> Expected /[[:space:]]/ to match " ".
>
>  13) Failure:
> test_posix_bracket(TestRegexp) [/home/naruse/ruby/test/ruby/test_regexp.rb:716]:
> Expected /\A[[:digit:]]+\z/ to match "０１２３４５６７８９".

POSIX 文字クラスが ASCII の範囲なため。

>  14) Failure:
> test_unicode(TestRegexp) [/home/naruse/ruby/test/ruby/test_regexp.rb:792]:
> Expected /^\u0149$/i to match "ŉ".

2)-11) と同じ問題?
----------------------------------------
Feature #5820: Merge Onigmo to Ruby 2.0
https://bugs.ruby-lang.org/issues/5820

Author: Yui NARUSE
Status: Assigned
Priority: Normal
Assignee: Yui NARUSE
Category: M17N
Target version: 2.0.0


Ruby 1.9 では正規表現エンジンや M17N の基盤として Oniguruma を用いています。
これを 2.0 では Oniguruma の改造版である、k-takata さんの Onigmo に置き換えようという話です。
https://github.com/k-takata/Onigmo/tree/tmp/ruby-2.0.x

この取り込みによる影響は以下の通りです。
* 100%互換 (既存のテストが全て無修正で通る)
* いくつかの新機能 [ruby-dev:44410]
  * 正規表現
　  * \K, \R, \X, (?(cond)yes|no), \g<0>, \g<+n>, (?au)
　  * Perl 5.10互換の名前参照（←Rubyには不要でしょう。）
    * Shift_JIS, EUC-JPで、全角アルファベットなどの大文字小文字同一視検索に対応。
    * Shift_JIS, EUC-JPで、\p{Han}, \p{Latin}, \p{Greek}, \p{Cyrillic} に対応。
    * 最適化
      * 暗黙のアンカーによる最適化を実装。
      * http://redmine.ruby-lang.org/issues/3568 で無効化された最適化を再度有効化。

現状は POSIX 文字クラスに非互換があり、それが解決されればマージ可能と認識しています。


-- 
http://redmine.ruby-lang.org

Thread

Prev Next

In This Thread

Prev Next

[#44912] [ruby-trunk - Feature #4147] Array#sample で重みを指定したい — Shyouhei Urabe <shyouhei@...>

[#44918] [ruby-trunk - Bug #5699][Open] Windowsで一部のFloat値が正しく扱えない — 剛 奥山 <oku1111@...>

[#44925] [Backport93 - Backport #5702][Open] backport r33935 — Yusuke Endoh <mame@...>

[#44928] [ruby-trunk - Bug #5708][Open] Tempfile.new(pre) with block in test_autoclose — Akira Tanaka <akr@...>

[#44933] [ruby-trunk - Bug #5711][Assigned] r32774 (and r32783) broke nmake support — Usaku NAKAMURA <usa@...>

[#44940] Re: [ruby-cvs:41134] naruse:r33956 (trunk): Comment out tests which fails with GDBM-DBM compat mode. — Tanaka Akira <akr@...>

[#44950] [ruby-trunk - Bug #5725][Assigned] Coverage doesn't honor file path encodings — Shyouhei Urabe <shyouhei@...>

[#44951] [ruby-trunk - Bug #5728][Open] SystemExit.new(bool, message) — Akira Tanaka <akr@...>

[#44961] [ruby-trunk - Bug #5731][Open] enum_for を使うと method_missing にブロックが渡されない — Masahiro Tomita <tommy@...>

[#44962] [ruby-trunk - Feature #5735][Open] Extending the use of splat operator to when it is inside a hash — Tsuyoshi Sawada <sawadatsuyoshi@...>

[#44963] [ruby-trunk - Bug #5738][Open] if false; BEGIN {}; end が syntax error になる — Sho Hashimoto <sho-h@...>

[#44974] githubへの移行 — Shugo Maeda <shugo@...>

[#44983] [ruby-trunk - Bug #5748][Open] class_eval ブロック内での定数のスコープがドキュメントと矛盾 — Yasunori Miyamoto <m.yasunori.eip@...>

[#44984] [ruby-trunk - Bug #5753][Open] [Ripper] on_magic_comment doesn't pass proper value — Nobuyoshi Nakada <nobu@...>

[#44985] [ruby-trunk - Bug #5757][Open] main threadがreadやselectで待っていると、^C でなかなか死なない — Yui NARUSE <naruse@...>

[#44988] [ruby-trunk - Bug #5758][Open] webrickのhttpresponseについて — 寿宣 梶原 <kennyj@...>

[#44998] [Feature] st_update() — Nobuyoshi Nakada <nobu@...>

[#45000] [ruby-trunk - Bug #5762][Open] Bug#4178 が sparc Solaris 10 + Oracle Solaris Studio 12.2 で再発 — Naohisa Goto <ngotogenome@...>

[#45001] Rubyの次世代リファレンスマニュアルを構想する会 — Yutaka Hara <yutaka.hara@...>

[#45002] [ruby-trunk - Bug #5768][Assigned] TestRequire#test_race_exceptionで競合するケースがまだある — Yui NARUSE <naruse@...>

[#45008] Date.jd について — Yoshida Masato <yoshidam@...>

[#45016] [ruby-trunk - Bug #5783][Open] r33949からVC++6.0でminiprelude.c、newline.cの生成ができなくなった — Masahiro Kitajima <redmine@...>

[#45017] [ruby-trunk - Feature #5784][Open] Readline.special_prefixes の追加 — Tomoyuki Chikanaga <nagachika00@...>

[#45018] [ruby-trunk - Feature #5785][Open] Readline に pre_input_hook, insert_text, redisplay を追加 — Tomoyuki Chikanaga <nagachika00@...>

[#45021] [ruby-trunk - Bug #5786][Open] LoadError: cannot load such file -- openssl — Kazuhiro NISHIYAMA <redmine@...>

[#45030] [ruby-trunk - Bug #5790][Open] net/http の EOFError と Keep-Alive — Yui NARUSE <naruse@...>

[#45034] Re: [ruby-dev:44974] githubへの移行 — Daehyub Kim <lateau@...>

[#45040] [ruby-trunk - Bug #5801][Open] Enumerable#take_while の proc を外に出して使うと Segv — satoshi shiba <shiba@...>

[#45042] [ruby-trunk - Bug #5802][Open] 0 assretions in test/readline/test_readline.rb:test_line_buffer__point — Nobuhiro IMAI <nov@...>

[#45043] [ruby-trunk - Bug #5803][Open] closed output and Readline.readline dumps core — Nobuhiro IMAI <nov@...>

[#45048] [ruby-trunk - Bug #5808][Open] "a = []; a << a; puts JSON.dump(a)" aborted — Akira Tanaka <akr@...>

[#45051] [ruby-trunk - Bug #5812][Assigned] test-all is stuck on Windows — Usaku NAKAMURA <usa@...>

[#45057] [ruby-trunk - Feature #5820][Assigned] Merge Onigmo to Ruby 2.0 — Yui NARUSE <naruse@...>

[#45060] [ruby-trunk - Bug #5819][Assigned] Windowsで空のドライブのルートディレクトリに対するFile.stat が失敗する — Yui NARUSE <naruse@...>

[#45061] [ruby-trunk - Bug #5822][Open] testunit に -j オプションを渡すと稀にテストを実行せずに終了する — Tomoyuki Chikanaga <nagachika00@...>

[#45068] Re: [ruby-core:41846] [ruby-trunk - Feature #5361] Lice? — Ayumu Aizawa <ayumu.aizawa@...>

[ruby-dev:45058] [ruby-trunk - Feature #5820] Merge Onigmo to Ruby 2.0

Thread

In This Thread

[#44918] [ruby-trunk - Bug #5699][Open] Windowsで一部のFloat値が正しく扱えない — 剛奥山 <oku1111@...>

[#44988] [ruby-trunk - Bug #5758][Open] webrickのhttpresponseについて — 寿宣梶原 <kennyj@...>