Jcodeを使おう(実用本位のJcode紹介)

はじめに

目的

• Jcodeを即使えるようになる。(Perlの基礎知識は必要)
  補足

  この講演資料は、Jcodeの全ての事柄を網羅しているわけではありません。

  現時点でJcodeを使い始める上で知っておくべき情報をまとめたものです。

アプローチ(5W1Hで見てみる)

1. what:Jcodeとは何か
2. why:なぜJcodeか？
3. when:どんな場面で使えるのか
4. where:どんな環境で使えるのか
5. who:だれが使うのか?(それは、もちろんあなたです。)
6. how:どうやって使うのか

Jcode概説

what:何か

1. 日本語文字コード用汎用モジュールである
   • Perl Module化されている(.pl版もあるが、perl5が普及している今日では、pm版を使うべき)
2. 基本的な機能は、文字コード判別、変換
   • 本資料ではこの機能のみ紹介
3. サポートする文字コード
   • ascii,binary,euc,sjis,jis,ucs2,utf8
4. 開発者・開発チーム
   • オリジナルであるjcode.plは歌代和正氏が開発された。(現在もメンテナンスが行なわれている)
   • Jcode.pmはjcode.plのコードを元に、RingServer上のOpenLabで開発されている

why:なぜJcodeか？

1. デバッグ済みコードを使おう
   • 車輪の再発明を避けよう
   • 要は、楽をしよう
2. なぜJcodeが必要なのか?
   • perlはいろんな日本語文字コードを認識してくれない
     • perl5.6を使えばutf-8の文字コードは認識してくれるがそれ以外の文字コードは認識してくれない
     • perl5.6でも未だ漢字コード変換はサポートされていない
   • Web上のHTMLファイルは、sjis,jis,euc等バラバラ。
     • HTMLファイルを処理するのに、あらゆるコードを処理するプログラムを書くの？->Jcodeを使おう

when:どんな場面で使えるのか

1. HTMLファイルの文字コード変換・チェック(ヘッダの文字コード指定と、ファイルの文字コードがマッチしているかどうかなど)
2. perlプログラムから送信するMailの文字コード変換
3. CGIへのフォーム入力データの文字コード変換/半角・全角変換(詳しい方、補足お願いします。)

where:どんな環境で使えるのか

• jcode.plならperl4以上で使用できる
• Jcode.pmならperl5以上で使用できる
  • 但し、perlスクリプト内で正規表現などを使って日本語を処理したい場合は、jperl4,jperl5か、perl5.6以上を使う必要があります。

who:誰が使うのか(それは、もちろんあなたです。)

• Perlで日本語を使う必要のある人はJcodeを使いましょう

how:どうやって使うのか

• 次章から次のような手順で見ていきます
  • 漢字コードについての基礎
  • getcodeメソッドとconvertメドッド
  • 簡単なデモの紹介( perl5.6のテスト・コード判別・nkfもどき)

漢字コードについての基礎(深い話題は除く)

perlとマルチバイト処理の関係

• perlでマルチバイトを操作したい場合は、jperlか、perl5.6以上を使う必要があります。
  • jperl : 2バイトの漢字を1文字として扱うことができる(jperlにはプラットフォームによって色々なバージョンがあるらしいので注意が必要)

  • perl5.6 : utf-8(マルチバイト)を扱うことができる

    perl5.6がリリースされた現在では、perl5.6を使うのが正解でしょう。

    perl5.6ならutf-8を処理できるので、マルチバイトを処理する正規表現が直接記述できます。

• この後の話は、perl5.6 + Jcode.pmを前提に進めていきます

getcodeメソッドとconvertメソッド

• jcodeはgetcodeとconvertメソッドが基本です。

jcode.plレガシーインターフェースとオブジェクト指向インターフェース

• Jcode.pmを使用する場合jcode.pl風のレガシーインターフェースと、オブジェクト指向のインターフェースの両方が使えます。
• ここでは、jcode.pl風のインターフェースでの使いかたをメインに紹介します。

getcodeメソッド -- エンコードを調べる

• @result = getcode( \$line );
  • $lineのエンコード名を、"jis", "sjis", "euc", "ucs2", "utf8",のいずれかで返します。$line中にバイナリキャラクタを見つければ、"binary"を返します。
  • この関数をリストコンテキストで使うと、２つの要素を含むリストを返します。第1要素は、$line中で、予想されているエンコードに一致したバイト数です。第2要素は、$lineのエンコード名です。

convertメソッド -- 任意のエンコードに変換する

• convert(\$line, [$ocode, $icode, $opt])
  • $lineを、$ocodeに与えられたエンコードに変換します。
  • 第2引数$ocodeには、変換したいエンコードを"jis", "sjis", "euc", "ucs2", "utf8"のどれかで与えます。
  • $optは、半角カナ等の処理に関するオプションです。(詳細は省略します。)

サンプルコードによるデモ

• Jcodeの説明のために簡単なサンプルコードを作成しました
• 具体的にコードと動作を示します

perl5.6のテスト

• perl5.6のutf-8対応がどんな状況かを見てみます
• ソースコード utf_test.pl

文字コード判別(getcodeメソッド使用)

• 文字コードの判別の実験を行います。
• ソースコード jcodeis.pl

nkfもどき(convertメソッド使用)

• nkfのようなフィルターを作ってみます。
• ソースコード nkf.pl

付録:その他のリソース

perlがインストールされている環境で見れる資料

• perldocドキュメント(コマンドラインでperldoc Jcodeしてみよう)
  • この資料では触れていませんが、ほかにも全角・半角変換やMIMEデータの作成など便利な機能があります。

インターネット上のリソース

• pkf

  歌代和正さん<utashiro@iij.ad.jp>作のnkfのperl版です。

  ftp://ftp.iij.ad.jp/pub/IIJ/dist/utashiro/perl/pkf-2.1

• Jcode.pm

  DAN Kogai<kogai@dan.co.jp>さん作で、jcode.plをモジュール化したものです。

  http://openlab.ring.gr.jp/Jcode/index-j.html

  CPAN/authors/id/D/DA/DANKOGAI/

• 「jcode.plの私的な解説書」

  jcode.plの日本語訳版(非公式)

• 「Manpage of UNICODE」

  UNICODEのmanpage(日本語)

書籍

• 「日本語情報処理」
  • 著者:Ken Lunde
  • ISBN 4-89052-708-7
  • 本体価格:4893円

  • 概要:

    コンピュータによる日本語処理について、JIS漢字コードやEUC、Unicode、各メーカー漢字コードなどの各コード体系、アプリケーションにおける日本語特有の問題についての対処法など詳解。

    ※原書が3年前に絶版なっているので、この翻訳本も入手できないかもしれません。

• 「CJKV Information Processing (Chinese, Japanese, Korean & Vietnamese Computing)」
  • By Ken Lunde
  • 1st Edition December 1998
  • 1-56592-224-7, Order Number: 2247

  • 1125 pages, $64.95

    O'Reillyの紹介ページへ

• 本ドキュメントのPDF版はこちら