はてなブックマーク

transformersとaozorabunko-cleanで、日本語ModernBERTモデルを作ってみることにした。ただ、ModernBERT-baseのトークナイザは日本語にあまりに不向きなので、昨年1月2日の記事で作ったDebertaV2TokenizerFastを使い回すことにした。また、ModernBERTの入力トークン幅は8192と大きいので、train.txtも各行10000文字程度にした。 #! /usr/bin/python3 #pip3 install transformers accelerate deepspeed triton datasets fugashi unidic-lite import os,json os.system(""" if test -d transformers then : else git clone --depth=1 https

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 『家庭の法と裁判』の今月号を読んでいたところ、「令和6年11月11日付け法務省民一第2451号法務省民事局民事第一課長通知」が掲載されているのを見つけた(pp.165-167)。 以前「戸籍統一文字に関するワーキンググループ」でも指摘した覚えがあるのだが、この通知の なお，仮に，家庭裁判所が氏若しくは名の変更についての許可の審判又は戸籍の訂正についての許可の審判において，規則に反する文字を戸籍に記載する旨の審判をした場合には，当該文字を電算化戸籍に記録することはできないので，規則第69条の電子情報処理組織による取扱いに適合しない戸籍とし

『民事月報』2024年6月号(Vol.79, No.6)を見ていたところ、「令和6年5月10日付け法務省民一第1083号法務省民事局長通達」が掲載されていた(pp.209-238)。 戸籍法の一部を改正する法律(令和元年法律第17号)が公布されたことに伴い、戸籍事務において社会保障・税番号制度に基づく情報連携が開始されることを契機として、当該情報連携を円滑に実施するため令和元年9月に「戸籍統一文字に関するワーキンググループ」を設置し、令和6年2月までの間、戸籍に記録されている文字について、有識者による漢和辞典等の確認作業を行いました。 これを踏まえ、平成16年10月14日付け法務省民一第2842号当職通達「氏又は名の記載に用いる文字の取扱いに関する「誤字俗字・正字一覧表」について」を下記のとおり改めますので、これを了知の上、貴管下支局長及び管内市区町村長に周知方取り計らい願います。 あら、

昨日の記事で検討した宮古諸語の簡易音素表記をもとに『南琉球宮古方言調査報告書』(国立国語研究所, 2012年8月)の基礎語彙aデータを単語ベクトル化し、各郵便番号「方言」単語ベクトルのハミング距離をnetworkxのspectral_layoutで3D可視化してみた。Google Colaboratoryだと、こんな感じ。 !pip install networkx plotly import os,glob,numpy,networkx from plotly.express import scatter_3d url="https://github.com/KoichiYasuoka/UD-Miyakoan" m=os.path.basename(url) !test -d {m} || git clone --depth=1 {url} d={} for f in glob.glob