From h-taguchi @ secom.co.jp Mon May 16 22:04:03 2005 From: h-taguchi @ secom.co.jp (h-taguchi@secom.co.jp) Date: Tue, 17 May 2005 14:04:03 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= Message-ID: 弾さん、お久しぶりです。 Jcode-2.00がCPANにアップされたのを知りメールする ことにしました。 以前、同じ内容のメールを弾さん宛てにだしたのですが、 返事がこなったので、このMLに送信します。 で、表題の件ですが、私はテッキリ、最近のEncodeモジュールでは、 13区の特殊文字、 NEC選定IBM拡張文字、 IBM拡張文字 についても対応しているものとばかり思っていました。 「最近のPerlはCPANモジュール入れなくても、これらの文字コード変換できる」 と周りに言ってしまい、焦ってます。 やりたいのは、特殊文字やIBM拡張文字を含むSJISのファイルを EUCのファイルに変換したり、その逆だったりです。 下の実行は、少し前の実行結果ですが、今でも機種依存文字は 非対応に思えますが、これは何とかならないのでしょうか? これができないと、ずっとNKF.pmを使い続けないと行けないです。 C:\@ai\#Perl_test\SJIS2EUC>TestEncode_cp932_1.pl SJIS.txt > EUC.txt "\x{2460}" does not map to euc-jp at C:/Perl/lib/Encode.pm line 186, <> line 2. C:\@ai\#Perl_test\SJIS2EUC>TestEncode_cp932.pl SJIS.txt > EUC.txt C:\@ai\#Perl_test\SJIS2EUC> -- 田口@tokyo.pm.org taguti @ tokyo.pm.org From dankogai @ dan.co.jp Mon May 16 23:18:16 2005 From: dankogai @ dan.co.jp (Dan Kogai) Date: Tue, 17 May 2005 15:18:16 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= In-Reply-To: References: Message-ID: <6da21b960a460e2cf3b7fcd5708915fe@dan.co.jp> 弾です。 On May 17, 2005, at 14:04, wrote: > 弾さん、お久しぶりです。 > > Jcode-2.00がCPANにアップされたのを知りメールする > ことにしました。 > > 以前、同じ内容のメールを弾さん宛てにだしたのですが、 > 返事がこなったので、このMLに送信します。 あれ?出したような記憶もおぼろげに....いずれにせよ対応がsloppyだった点はお詫びします。 > で、表題の件ですが、私はテッキリ、最近のEncodeモジュールでは、 > 13区の特殊文字、 > NEC選定IBM拡張文字、 > IBM拡張文字 > についても対応しているものとばかり思っていました。 > 「最近のPerlはCPANモジュール入れなくても、これらの文字コード変換できる」 > と周りに言ってしまい、焦ってます。 これの問題は、cp932ではなく、euc-jpの方にあります。 > やりたいのは、特殊文字やIBM拡張文字を含むSJISのファイルを > EUCのファイルに変換したり、その逆だったりです。 この拡張文字、cp932 の方にはあっても euc-jp の方にはありません。そのことは > 下の実行は、少し前の実行結果ですが、今でも機種依存文字は > 非対応に思えますが、これは何とかならないのでしょうか? > これができないと、ずっとNKF.pmを使い続けないと行けないです。 > > C:\@ai\#Perl_test\SJIS2EUC>TestEncode_cp932_1.pl SJIS.txt > EUC.txt > "\x{2460}" does not map to euc-jp at C:/Perl/lib/Encode.pm line 186, > <> line 2. これでも明らかです。こういう場合は、例えば my $euc_with_vendor_maps = encode('euc-jp', $utf8, Encode::FB_XMLCREF); とかして、うまくfallbackを使うという解決法が一番いいのではないでしょうか?これであれば、旗手依存文字は "①"となり、ブラウザなどではきちんと表示されますし。FB_PERLQQだと "\x{2460}"となり、そのままperlに食わせられます。 以上取り急ぎ Dan the (J|En)code Maintainer From h-taguchi @ secom.co.jp Mon May 16 23:32:39 2005 From: h-taguchi @ secom.co.jp (h-taguchi@secom.co.jp) Date: Tue, 17 May 2005 15:32:39 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= Message-ID: 田口です。返事貰えて嬉しいです。 > > で、表題の件ですが、私はテッキリ、最近のEncodeモジュールでは、 > > 13区の特殊文字、 > > NEC選定IBM拡張文字、 > > IBM拡張文字 > > についても対応しているものとばかり思っていました。 > > 「最近のPerlはCPANモジュール入れなくても、これらの文字コード変換できる」 > > と周りに言ってしまい、焦ってます。 > > これの問題は、cp932ではなく、euc-jpの方にあります。 (略) > この拡張文字、cp932 の方にはあっても euc-jp の方にはありません。そのことは そうでしたか? 私の理解では、 SJISは⇒UTF-8⇒SJISで元のコードに完全に戻るが、EUCはそうでなく、 同じ文字に対して複数のコードを重複してもっていて、 EUCは"round-trip safe"ではないから、Encodeが対応していないのだと 思っていました。 しかし、NKF.pmにできるのだから何とかして欲しい。 何時になってもNKFから卒業できません。 Hirosi Taguti taguti @ tokyo.pm.org From dankogai @ dan.co.jp Tue May 17 00:55:34 2005 From: dankogai @ dan.co.jp (Dan Kogai) Date: Tue, 17 May 2005 16:55:34 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= In-Reply-To: References: Message-ID: <53679c40cc2e91601a2122b929b8d95b@dan.co.jp> On May 17, 2005, at 15:32, wrote: > そうでしたか? > 私の理解では、 > SJISは⇒UTF-8⇒SJISで元のコードに完全に戻るが、EUCはそうでなく、 > 同じ文字に対して複数のコードを重複してもっていて、 > EUCは"round-trip safe"ではないから、Encodeが対応していないのだと > 思っていました。 まず、sjis != cp932 ということをご理解ください。character repertoire としては、 sjis: ASCII + JIS X 0201 + JIS X 0208 euc-jp: ASCII + JIS X 0201 + JIS X 0208 + JIS X 0212 と<厳密>になっています。機種依存文字はどちらにもありません。だから、 cp932 -> utf8 は出来ても utf8 -> euc-jp ができない。よって cp932 -> euc-jp ができない。というわけです。 > しかし、NKF.pmにできるのだから何とかして欲しい。 > 何時になってもNKFから卒業できません。 NKF.pm は、euc-jp における機種依存文字をどう扱っているのですか?まずそれをご教授いただかないと。 #ソース嫁はなしよ。その程度の説明責任を求める権利はあると存じます。 Dan the (J|En)code Maintainer From h-taguchi @ secom.co.jp Tue May 17 01:52:24 2005 From: h-taguchi @ secom.co.jp (h-taguchi@secom.co.jp) Date: Tue, 17 May 2005 17:52:24 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= Message-ID: > From: Dan Kogai [mailto:dankogai @ dan.co.jp] > > $B$7$+$7!"(JNKF.pm$B$K$G$-$k$N$@$+$i2?$H$+$7$FM_$7$$!#(J > > NKF.pm $B$O!"(Jeuc-jp $B$K$*$1$k5! > $B!t%=!<%92G$O$J$7$h!#$=$NDxEY$N @ bL@@UG$$r5a$a$k8"Mx$O$"$k$HB8$8$^$9!#(J NKF.pm$B$NCf?H$rCN$i$J$$$N$G @ bL@$G$-$^$;$s!#(J $B$,!"$=$NA0$K;d$N8@$C$F$$$k$3$H$,EA$o$C$F$$$k$N$+3NG'$5$;$F2<$5$$!#(J $B2<$N%m%0$G<($9$3$H$r$7$?$$$N$G$9!#(J $B!J%a!<%k$G4]J8;z$O$$$1$J$$$i$7$$$G$9$,!":#$@$14*J[!K(J $BI=<($N0Y$K(JWindows$B$H(JLinux$BN>J}$N2hLL%m%0$rE=$jIU$1$^$7$?!#(J Linux$B$O(JEUC$B$G$9!#(J SJIS$B$G=q$+$l$?%U%!%$%k!V(JSJIS.txt$B!W$r(JNKF$B$r;H$C$F(JEUC$B$KJQ49$7$F$$$^$9!#(J $B!J(JWindows$B>e$G!K(J $B @ 5$7$/(JEUC$B$KJQ49=PMh$?$+3NG'$9$k$?$a$K!"(JLinux$B%5!<%P!<$X!V(JEUC.txt$B!W$rE>Aw$7$F(J cat$B$GI=<($5$;$F$_$^$7$?!#(J $B!V-!!W$d!V-j!W$, @ 5$7$/I=<($5$l$F$$$^$9!#(J $B$J$*!"(JNKF$B$G$b(J2.00$B0JA0$N8E$$%P!<%8%g%s$G$OJQ49$G$-$^$;$s!#(J $B;d$N4uK>$O!"$3$l$r(JJcode/Encode$B$G$d$j$?$$$N$G$9!#(J $B my $euc_with_vendor_maps = encode('euc-jp', $utf8, Encode::FB_XMLCREF); > $B$H$+$7$F!"$&$^$/(Jfallback$B$r;H$&(J $B$3$3$ONI$/M}2r$G$-$^$;$s$G$7$?!&!&!&(J -------------------$B!Z(JWindows XP$B![(J------------------- C:\@ai\@@$B4A;z%3!<%I(J\NKF>type SJIS.txt $B$3$N%U%!%$%k$O!"#S#J#I#S%G!<%?(J $B-!!);3(J $B$O$7$4$@$+(J $B-"%;%3%`-j(J C:\@ai\@@$B4A;z%3!<%I(J\NKF>perl -MNKF -le "print $NKF::VERSION" 2.00 C:\@ai\@@$B4A;z%3!<%I(J\NKF>perl -MNKF -nle "print nkf('-eS', $_)" SJIS.txt > EUC.txt C:\@ai\@@$B4A;z%3!<%I(J\NKF>type EUC.txt $B!"%&!"%[!&%f!&!#!&!"!&!&%^!#!V!W%b!W%O!W%N!W%b!&%L!#%7!&%=(J $B%e!#!&%5%&(J $B!"%^!"%-!"%(!"%?!"%)(J $B%e!V!&%5!&%&!&`/!&(J C:\@ai\@@$B4A;z%3!<%I(J\NKF> -------------------$B!Z(JRed Hat Linux$B![(J------------------- 17:40:19 /tmp $ cat EUC.txt $B$3$N%U%!%$%k$O!"#S#J#I#S%G!<%?(J $B-!!);3(J $B$O$7$4$@$+(J $B-"%;%3%`-j(J 17:40:20 /tmp $ -------------------$B!Z=*$o$j![(J------------------- Hirosi Taguti taguti @ tokyo.pm.org From yamagai @ core-s.co.jp Tue May 17 02:07:14 2005 From: yamagai @ core-s.co.jp (Shingo Yamagai) Date: Tue, 17 May 2005 18:07:14 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= References: <53679c40cc2e91601a2122b929b8d95b@dan.co.jp> Message-ID: <006401c55abf$d1b2da60$2000170a@tanpopo> 山貝です。 あてずっぽうで横槍入れます。外してたらごめんなさい。 > cp932 -> euc-jp > ができない。というわけです。 これは、Jcode.pmは内部でutf8を経由しているから、 utf8から変換できないものへの変換は不完全になる、ってことですよね。 NKF.pmは、(そのものを取得できなかったのであてずっぽうなんですが) 内部でnkfを使うもののようです。 nkfは随分前からあるものなので、恐らく、少なくともsjis -> euc-jpの変換では utf8を経由しないのだろうと思います。 ところが、Jcode.pmは内部でutf8を使うので、必ずutf8を経由する… (という理解でよろしいですか?) となると、nkfと同様の実装というのは根本的に不可能になるかと思います。 同じ機能を実現しようとすると、nkfですっきり処理できている部分が、 Jcode.pmでは独自の変換テーブルを用いたものになるでしょう。 この変換テーブルは、いわゆる「機種」の数だけ用意する必要があるでしょう。 (例えば、sjis-mac, sjis-nec, sjis-msx,,,) また、どの機種かの自動判別はまず不可能かと思います。 …というわけで、Jcode.pm本体での対応はしない方がいいだろうと思います。 --  山貝 真吾 From vmi @ jp.fujitsu.com Tue May 17 03:22:24 2005 From: vmi @ jp.fujitsu.com (IWAMURO Motonori) Date: Tue, 17 May 2005 19:22:24 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= In-Reply-To: <006401c55abf$d1b2da60$2000170a@tanpopo> References: <53679c40cc2e91601a2122b929b8d95b@dan.co.jp> <006401c55abf$d1b2da60$2000170a@tanpopo> Message-ID: 岩室です。 At Tue, 17 May 2005 18:07:14 +0900, Shingo Yamagai wrote: > NKF.pmは、(そのものを取得できなかったのであてずっぽうなんですが) > 内部でnkfを使うもののようです。 ちょっと違っていて、nkfのコアをソースレベルでwrapしてperlモジュールに 仕立てたものだったはずです。 > 同じ機能を実現しようとすると、nkfですっきり処理できている部分が、 少なくともnkfのver1は、算術演算によるマッピングだったので、コードポイ ントに1:1の対応が付けられるものは全部変換できます。(ver2はわかりません) > Jcode.pmでは独自の変換テーブルを用いたものになるでしょう。 これはその通りですが、Debian GNU/Linux に入ってるiconvの場合、こんなの が存在するようです。 ---------------------------------------------------------------------- > iconv -l | grep -i 'euc.*jp' EUC-JP-MS// EUC-JP// EUCJP-MS// EUCJP-OPEN// EUCJP-WIN// EUCJP// ---------------------------------------------------------------------- 件の問題は、euc-jp-ms が導入されれば(とりあえずは)解決するのではないで しょうか。 # 導入の是非はともかく(^^; # しかし、上記のエンコーディング、MSとOPENとWINでどー違うのだろう……。 -- 岩室元典@Webソリューション部.ネットワークサービス事業本部.富士通株式会社 E-Mail: vmi @ jp.fujitsu.com Tel: 03-3734-5261(外) / 7053-7860(内) Fax: 03-6424-6386(外) / 7053-9106(内) From msyk @ mtg.biglobe.ne.jp Mon May 23 03:24:40 2005 From: msyk @ mtg.biglobe.ne.jp (MORIYAMA Masayuki) Date: Mon, 23 May 2005 19:24:40 +0900 (JST) Subject: [Tokyo-pm] =?iso-2022-jp?b?SmNvZGUvRW5jb2RlGyRCJEckTjUhPG8bKEI=?= =?iso-2022-jp?b?GyRCME1COEo4O3obKEI=?= In-Reply-To: umzquup7j.wl%vmi@jp.fujitsu.com References: Message-ID: <20050523184530.7C75.MSYK@mtg.biglobe.ne.jp> はじめまして、森山と申します。 > ---------------------------------------------------------------------- > > iconv -l | grep -i 'euc.*jp' > EUC-JP-MS// > EUC-JP// > EUCJP-MS// > EUCJP-OPEN// > EUCJP-WIN// > EUCJP// > ---------------------------------------------------------------------- > > 件の問題は、euc-jp-ms が導入されれば(とりあえずは)解決するのではないで > しょうか。 euc-jp-ms の導入だけでは、解決しないでしょう。 理由は、後で述べます。 > # 導入の是非はともかく(^^; > # しかし、上記のエンコーディング、MSとOPENとWINでどー違うのだろう……。 EUCJP-MS, EUCJP-OPEN, EUCJP-WIN は、EUC-JP-MS のエイリアスとして登録さ れています。 # /usr/lib/gconv/gconv-modules を見てもらえると、どういったエイリアス # が定義されているか分ります。 EUCJP-MS は glibc のメンテの方が 元々 EUCJP-MS だったものを EUC-JP-MS に変更したので、EUCJP-MS をエイリアスに登録しなおしたという経緯があり ます。 EUCJP-WIN は PHP での名称です。 EUCJP-OPEN は EUCJP-0201, EUCJP-ASCII の追加を考えると、EUC-JP-MS のエ イリアスとして登録するのは不適切だったかもしれません。 Windows での EUC-JP は Code-page 51932 と呼ばれるもので (MLANG.DLL が 提供するエンコーディング変換の API でサポートされている)、 eucJP-ms と は互換性がありませんのでご注意ください。 nkf 2.0.5 では、Windows標準キャラクタセットに対応のEUC-JPエンコーディ ングは cp51932 互換のようですので、eucJP-ms を Encode.pm に追加実装し ても NKF.pm と同じ変換にはならないという事になります。 From ryuchi @ ryuchi.org Thu May 26 04:27:58 2005 From: ryuchi @ ryuchi.org (Tetsuya Ryuchi) Date: Thu, 26 May 2005 20:27:58 +0900 (JST) Subject: [Tokyo-pm] =?iso-2022-jp?b?TExETiAbJEIzKzpFJE4kKiQ3JGkkOxsoQg==?= Message-ID: <20050526.202758.71145387.ryuchi@ryuchi.org> りゅうちです すみません、 送ったつもりになっていて、すっかり遅くなりました。 今年も 下記の概要で LL を開催します。 みなさん、よろしくお願い します。 質問などはお気軽に どうぞ。 (龍) -- # From Tetsuya Ryuchi ryuchi @ ryuchi.org # Powered By FreeBSD 6.x-CURRENT --------------- ====================================================================== Lightweight Language Day and Night 開催のお知らせ ====================================================================== 2003年はLL Saturday、2004年はLL Weekend、そして今年はLLDN。 軽量プログラミング言語に関するイベントとして多くの方に、参加、注目い ただいているLightweight Languageカンファレンスですが、みなさまのご意見 を参考にして進化しています。 ・ 濃い内容だし、扱う言語も多いので1日では ・ さすがに2日間参加するのは ・ より知識を深めるためのイベントを期待したい ・ お祭り的なイベントを期待したい 一見すると相反するような要望もありますが、なるべくみなさまのご要望に こたえて行きたいと考えています。そこで今年は、1日をもう少し長く利用し、 昼の部と夜の部に分けて開催します。昼の部は少しアカデミックに、夜の部は お祭り的な要素を増幅させたものを企画中です。 昼の部、夜の部ということで「Lightweight Language Day and Night」(通称 LLDN)なのです。 一昨年、昨年に引き続き、各プログラミング言語コミュニティの協力を得て、 それぞれの言語の特徴などを比較しながら理解できるセッションを多数用意する 予定です。 各言語に関してなら、そのコミュニティ主催の勉強会やカンファレンスが企画 されることもありますが、LLDNのようにいろいろな言語が一堂に会す催しは、そ う多くはありません。LLDNは、さまざまな軽量プログラミング言語の面白さや楽 しさを体験できるまたとない機会です。ぜひ、ご参加ください。 ◆開催概要 名称:Lightweight Language Day and Night (通称: LLDN) 主催:LLDN実行委員会 協賛:(株)アスキー、日本UNIXユーザ会、Kahuaプロジェクト、 Tokyo Perl Mongers、日本PHPユーザ会、日本Pythonユーザ会、 日本Rubyの会 ほか 開催日 :2005年8月27日(土) 時間 (昼の部):10:00〜16:30(予定) (夜の部):19:00〜22:00(予定) 場所 (昼の部):四谷区民ホール (http://www.city.shinjuku.tokyo.jp/division/261300yotsuya/kuminhall/) (夜の部):ロフトプラスワン(http://www.loft-prj.co.jp/PLUSONE/) 参加費(昼の部):1,500円 (夜の部):1,500円(Tシャツ付き、飲食代別) 定員 (昼の部):350名(予定) (夜の部):120名(予定) 内容:軽量プログラミング言語に関する総合カンファレンスです。 各出版社による関連書籍の展示・販売も行う予定です。 URL :http://ll.jus.or.jp/2005/ 参加申込: 2005年6月頃に申し込み開始を予定 問い合わせ先:LLDN 実行委員会 E-mail:info2005 @ ll.jus.or.jp ※ 詳しい情報は、http://ll.jus.or.jp/2005/ にて発表していきます。 From ntakeda @ ceres.dti.ne.jp Thu May 26 09:09:53 2005 From: ntakeda @ ceres.dti.ne.jp (TAKEDA) Date: Fri, 27 May 2005 01:09:53 +0900 Subject: [Tokyo-pm] =?iso-2022-jp?b?TExETiAbJEIzKzpFJE4kKiQ3JGkkOxsoQg==?= In-Reply-To: <20050526.202758.71145387.ryuchi@ryuchi.org> References: <20050526.202758.71145387.ryuchi@ryuchi.org> Message-ID: <200505261609.j4QG9qHm020775@smtp3.dti.ne.jp> りゅうちさん、はじめまして。 武田と申します。 先ほど、サイトを覗いたところ、 参加申込の申し込み開始日が更新され、参加方法が記載されていました。 今日から、申し込み開始だそうです。 >参加申込 >2005年5月27日(金) 申し込み開始 Tetsuya Ryuchiさんの<20050526.202758.71145387.ryuchi @ ryuchi.org>から > りゅうちです > > すみません、 送ったつもりになっていて、すっかり遅くなりました。 > 今年も 下記の概要で LL を開催します。 みなさん、よろしくお願い >します。 > 質問などはお気軽に どうぞ。 > >(龍) -- TAKEDA mailto:ntakeda @ ceres.dti.ne.jp From ryuchi @ ryuchi.org Sun May 29 23:59:19 2005 From: ryuchi @ ryuchi.org (Tetsuya Ryuchi) Date: Mon, 30 May 2005 15:59:19 +0900 (JST) Subject: [Tokyo-pm] =?iso-2022-jp?b?TExETiAbJEIzKzpFJE4kKiQ3JGkkOxsoQg==?= In-Reply-To: <200505261609.j4QG9qHm020775@smtp3.dti.ne.jp> References: <20050526.202758.71145387.ryuchi@ryuchi.org> <200505261609.j4QG9qHm020775@smtp3.dti.ne.jp> Message-ID: <20050530.155919.71163143.ryuchi@ryuchi.org> りゅうちです > りゅうちさん、はじめまして。 > 武田と申します。 > > 先ほど、サイトを覗いたところ、 > 参加申込の申し込み開始日が更新され、参加方法が記載されていました。 > 今日から、申し込み開始だそうです。 > > >参加申込 > >2005年5月27日(金) 申し込み開始 どうも... 申込は 既に始まっています。 昼の部は 会場が広いので、まだまだ 余裕ですが、夜の部は 競争率が高いようです。 夜の部に関しては、意外に早くなくなってしまうかも... しれない です。 (龍) -- # From Tetsuya Ryuchi ryuchi @ ryuchi.org # Powered By FreeBSD 6.x-CURRENT