この記事について この記事は「わいわいswiftc #8」という勉強会で話した内容をまとめ直したものです。 UTF-8 UTF-8という文字エンコーディングがあります。これはUnicodeのコードポイントの列を、バイト列と相互変換する規則の1つです。これを使うことで我々は文字列をデータとして扱っています。Unicodeをバイト列へ変換することをエンコード、バイト列からUnicodeに復元することをデコードと呼びます。 オートマトン オートマトンという計算のモデルがあります。例えばこのような図で表されます。 https://ja.wikipedia.org/wiki/有限オートマトン オートマトンには状態と入力があります。入力を受け取ると現在の状態に応じて次の状態に変化します。最終的に入力を受理したり拒否したりします。上図でいえば、緑の丸が状態です。ここでは1から6まで6つの状態があります。
おさらい。 ∥ Unicode正規化 - Wikipedia 正規化形式 NFC: Normalization Form Canonical Compression | 文字に何がくっついていようと、組み合わせて作られた文字であろうと、「一文字」は「一文字」じゃ。圧縮形式。Linux のファイルシステムや Windows の NTFS などが普通に使っている。 NFD: Normalization Form Canonical Decompression | 濁点・半濁点を、あるいはウムラウト等のダイアクリティカルマークを、本体の文字とは分離してエンコードした形式。OS X の HFS+ が、これを採用してくれちゃっている。 基本としては、OS X 上に置かれるファイルは NFD であってくれて、Linux や Windows 上にあるファイルは NFC であってくれると平和で助かる。 追
前提 ActiveRecordをutf8mb4で動かす - Qiita 気合でコンテナ上の MySQL の設定を変更する circle.yml database: override: - mysql -u root -e 'set global innodb_file_format = Barracuda' - mysql -u root -e 'set global innodb_file_per_table = 1' - mysql -u root -e 'set global innodb_large_prefix = 1' - bundle exec rake db:create db:schema:load --trace
Archives 2022 (8) December (3) October (1) August (1) May (2) April (1) 2021 (6) December (3) October (1) September (1) April (1) 2020 (5) December (5) 2019 (1) December (1) 2018 (1) December (1) 2017 (2) January (2) 2016 (8) August (2) May (2) March (1) February (1) January (2) 2015 (19) October (2) September (4) August (10) July (1) January (2) 2014 (7) November (4) July (3) 2013 (23) December (
photo credit: gonzalo_ar via photopin cc はじめに このエントリでは、ExcelでUTF-8エンコーディングされたCSVファイルを開く方法を紹介します。 Excel VBAのプログラミングのツボとコツがゼッタイにわかる本―最初からそう教えてくれればいいのに!Excel2007/2003対応posted with amazlet at 12.12.23立山 秀利 秀和システム 売り上げランキング: 1,346 Amazon.co.jp で詳細を見る 結論 以下のような３つの方法があります。 拡張子をcsvからtxtに変更してから開く。 CSVファイルをBOMつきのUTF-8ファイルに保存しなおしてから開く。 CSVファイルの保存形式をANSIに変更してから開く。 ExcelはCSVファイルをShift_JISで開こうとする Excelは、CSVファイル
レビログ (Make a little happier) 13周年+2i年 レビログの半分は管理人の独断と偏見でできています。残りの半分は現在残 希少につき 入荷待ちです。旧称 貧乏だけど心は萌え : UTF8にはサロゲートペアはありませんが異字体セレクタがあるので最大８バイトしかも・・・ 2014年4月16日 Category > 6_日記 > うだうだ日記 > TAG( ) Comment : 1 (link this page) 31bitまで表現できるのでサロゲートペアが必要ない Unicodeを斬りたい – Yahoo! JAPAN Tech Blog 残念ながらUTF8にも異字体セレクタというものが有り。 ユニコード＋異字体セレクタという構造を取り、異字体セレクタはU+FE00〜U+FE0FおよびU+E0100〜U+E01EFにマッピングされているので３バイトまたは４バイトのU
前回からの続き。 改行コードの違いを体感してみる - ザリガニが見ていた...。 文字エンコードとロケールを体感する - ザリガニが見ていた...。 改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。 実験環境 OSX 10.8 Mountain Lion以前((OSX 10.9 Mavericksでは、Mac仕様なNFDのUTF-8を表示しようとするとエラーになってしまったため、10.8以前の環境で実験した。Assertion failed: (width > 0), function conv_c, file /SourceCache/shell_cmds/shell_cmds-175/hexdump/conv.c, line 137. ** ** Abort trap: 6
The Unicode Standard includes characters from the Basic Multilingual Plane (BMP) and supplementary characters that lie outside the BMP. This section describes support for Unicode in MySQL. For information about the Unicode Standard itself, visit the Unicode Consortium website. BMP characters have these characteristics: Their code point values are between 0 and 65535 (or U+0000 and U+FFFF). They ca
▼ [雑] メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる JANOG31 のページをつらつら見てたら気になるセッションがあった。 「メールアドレスの国際化(JANOG25からの変更点)」というものだ。（多用されているかはともかく）Web で使われるドメイン名では国際化が進んでいたけど、メールアドレスに関してはほとんど進んでいなかった印象だったのに、どうも RFC での標準化がほぼ完了したらしい。 セッションページからダウンロードできる「IETF 85 報告 DNS, 国際化関連」という資料を見てみたら、次のような記述があった。 ほとんどすべてのメールヘッダにUTF-8を許可 – メールアドレス部 <ローカルパート@ドメイン名> – Display-name, (コメント), SubjectヘッダにもUTF-8 (従来はMIME) 資料には具体例も記載さ
はじめに たとえばこんなDDLを投げる。 CREATE TABLE test ( id int(10) unsigned NOT NULL AUTO_INCREMENT PRIMARY KEY, hoge varchar(256) NOT NULL, UNIQUE KEY (hoge) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; するとエラーになる。 Specified key was too long; max key length is 767 bytes (SQLState:S1000)エラーに書かれているとおり、keyは最大で767byteまでしか使えないらしい。 ちなみにkeyはPRIMARY KEYとUNIQUE KEYがダメ、ただのKEYならOK。 で、どうするか。 1.素直に諦める 上記例ではテーブルがCHARSET=utf8のため1文字3b
まえがき Mysql5.5以前だと4バイト以上のutf8の文字が入らない。 言い換えると３バイトまでなら入る。 Mysql5.5以降でも意識しないで使うと残念ながら入らない。。 なんじゃこりゃと思ったのでまとめておく。 ちなみにRailsから使う場合で、 MysqlはAmazon RDS上で動いている。 Amazon RDS これがちょっと厄介で、 Amazon RDSのAPI（もしくはCLI Toolkit）が utf8mb4に対応していない。 なので、Paramater Groupに設定して、、、ってことは出来ない。 DB作るときに指定しておけばいいんだけど、忘れると悲惨。 Rails mysql2 大変お世話になっているmysql2ですが、 この時点でutf8mb4に対応していない。 どういうことかというと、database.ymlで って書くと怒られる。 unknown chars
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
