ruby-dev

成瀬です。

Ruby レイヤーから string の CODERANGE 情報が取得したいです。

UTF-8 文字カウントの高速化を入れて気付いたのですが、r15519 までは str1 +
str2 や str * 3 等で CODERANGE の情報が消失していました。これは修正した
のでいいのですが、現在は直してもテストがないのできちんと直っているか後々
確認できません。

一案としては、
--- string.c	(revision 15519)
+++ string.c	(working copy)
@@ -6009,6 +6009,33 @@ rb_str_is_ascii_only_p(VALUE str)
     return cr == ENC_CODERANGE_7BIT ? Qtrue : Qfalse;
 }

+/*
+ * vendor-specific method for testing CRuby coderange
+ */
+static VALUE
+rb_str_coderange(VALUE self)
+{
+    VALUE val;
+    switch (ENC_CODERANGE(self))
+    {
+    case ENC_CODERANGE_UNKNOWN:
+	val = LONG2FIX(0);
+	break;
+    case ENC_CODERANGE_7BIT:
+	val = LONG2FIX(1);
+	break;
+    case ENC_CODERANGE_VALID:
+	val = LONG2FIX(2);
+	break;
+    case ENC_CODERANGE_BROKEN:
+	val = LONG2FIX(3);
+	break;
+    default:
+	rb_raise(rb_eRuntimeError, "invalid coderange value");
+    }
+    return val;
+}
+
 /**********************************************************************
  * Document-class: Symbol
  *
@@ -6424,6 +6451,7 @@ Init_String(void)
     rb_define_method(rb_cString, "force_encoding",
rb_str_force_encoding, 1);
     rb_define_method(rb_cString, "valid_encoding?",
rb_str_valid_encoding_p, 0);
     rb_define_method(rb_cString, "ascii_only?", rb_str_is_ascii_only_p, 0);
+    rb_define_method(rb_cString, "__coderange__", rb_str_coderange, 0);

     id_to_s = rb_intern("to_s");

こんな感じで、以下のようなテストを書くことができます。

#! ruby19
# coding: utf-8

require 'test/unit'

class TestCoderange < Test::Unit::TestCase
  CODERANGE_UNKNOWN = 0
  CODERANGE_7BIT = 1
  CODERANGE_VALID = 2
  CODERANGE_BROKEN = 3

  def setup
    @str1 = "いろは"
    @str1v = @str1.dup
    @str1v.valid_encoding?
    @str2 = "アイウ"
    @str2v = @str2.dup
    @str2v.valid_encoding?
    @str3 = "ABC"
    @str3v = "ABC"
    @str3v.valid_encoding?
  end

  def test_literal
    assert_equal(CODERANGE_UNKNOWN, @str1.__coderange__)
    assert_equal(CODERANGE_VALID,   @str1v.__coderange__)
    assert_equal(CODERANGE_UNKNOWN, @str3.__coderange__)
    assert_equal(CODERANGE_7BIT,    @str3v.__coderange__)
  end

  def test_plus_valid
    assert_equal(CODERANGE_UNKNOWN, (@[email protected]).__coderange__)
    assert_equal(CODERANGE_UNKNOWN, (@str1v   [email protected]).__coderange__)
    assert_equal(CODERANGE_UNKNOWN, (@str1.dup+@str2v   ).__coderange__)
    assert_equal(CODERANGE_VALID,   (@str1v   +@str2v   ).__coderange__)
    assert_equal(CODERANGE_VALID,   (@[email protected]).__coderange__)
    assert_equal(CODERANGE_VALID,   (@str1v   [email protected]).__coderange__)
    assert_equal(CODERANGE_VALID,   (@str1.dup+@str3v   ).__coderange__)
    assert_equal(CODERANGE_VALID,   (@str1v   +@str3v   ).__coderange__)
  end

  def test_plus_7bit
    assert_equal(CODERANGE_UNKNOWN, (@[email protected]).__coderange__)
    assert_equal(CODERANGE_UNKNOWN, (@str3v   [email protected]).__coderange__)
    assert_equal(CODERANGE_UNKNOWN, (@str3.dup+@str3v   ).__coderange__)
    assert_equal(CODERANGE_7BIT,    (@str3v   +@str3v   ).__coderange__)
  end
end


-- 
NARUSE, Yui  <[email protected]>
DBDB A476 FDBD 9450 02CD 0EFC BCE3 C388 472E C1EA