P011-ネットのテキストを読み込む

今日の目標→

ネットから画像が読み込めたら、次はテキストの読み込みだろう。

●MyLibの拡張

ネット上の日本語テキストって、ほぼUTF-8に統一されたのかな？ でもやっぱり、今でも文字コードの判別は避けて通れないだろうなあ。 昔作った文字コード判定クラスがあるので、これを流用しよう。

というわけで、次のクラスをMyLibライブラリに追加する。

// プロジェクト：MyLib // ファイル名：EncodingChecker.cs using System; using System.Text; namespace MarugeProject { /// <summary> /// 日本語の文字コードを検査するクラス /// </summary> public class EncodingChecker { // 検査データの一時保管場所 private byte[] MyBuf; // 可能性の高い順に並べた文字エンコード private Encoding[] MyEncodings; /// <summary> /// コンストラクタ：検査対象のバイナリデータを引数として渡す /// </summary> public EncodingChecker(byte[] bytes) { // 検査対象のコピーを作っておく MyBuf = new byte[bytes.Length]; Array.Copy(bytes, MyBuf, bytes.Length); // 順位は未定 MyEncodings = null; } /// <summary> /// 文字エンコードを可能性の高い順に配列で返す /// </summary> public Encoding[] GetEncodings() { if (MyEncodings == null) { MyEncodings = CreateRanking(); } return MyEncodings; } /// <summary> /// 最も可能性の高い文字エンコードを返す /// </summary> public Encoding GetEncoding() { return (GetEncodings())[0]; } /// <summary> /// 文字エンコードを可能性の高い順に配列で返すstaticメソッド /// </summary> public static Encoding[] GetEncodings(byte[] bytes) { EncodingChecker checker = new EncodingChecker(bytes); return checker.GetEncodings(); } /// <summary> /// 最も可能性の高い文字エンコードを返すstaticメソッド /// </summary> public static Encoding GetEncoding(byte[] bytes) { EncodingChecker checker = new EncodingChecker(bytes); return checker.GetEncoding(); } //==================================================================== // 以下、非公開メソッド // バイナリデータの文字エンコードを調べ、可能性の高い順に配列に入れる private Encoding[] CreateRanking() { // 文字列終端までの長さを得る（+1はゼロ除算を避けるため） int valid8 = CountValid8() + 1; // 1バイト終端(0)までの長さ int valid16 = CountValid16() + 1; // 2バイト終端(0,0)までの長さ // 文字エンコードごとの得点を計算 double[] scoreList = { (double)ScoreUTF16BE() / valid16, // UTF-16BE (double)ScoreUTF16LE() / valid16, // UTF-16LE (double)ScoreJIS() / valid8, // JIS (double)ScoreEUC() / valid8, // EUC-JP (double)ScoreUTF8() / valid8, // UTF-8 (double)ScoreSJIS() / valid8, // Shift_JIS }; // 文字エンコードの候補、scoreList[]の並び順と対応させること Encoding[] encodingList = { Encoding.BigEndianUnicode, // UTF-16BE Encoding.Unicode, // UTF-16LE Encoding.GetEncoding(50221), // JIS + 半角カナ + IBM拡張文字 Encoding.GetEncoding(51932), // EUC-JP + IBM拡張文字 Encoding.UTF8, // UTF-8 Encoding.GetEncoding(932), // Shift_JIS + IBM拡張文字 }; // Sort()はデフォルトが昇順ソートなので、低得点→高得点の順になる Array.Sort(scoreList, encodingList); // 反転すると高得点→低得点の順になる Array.Reverse(encodingList); // 結果を返す return encodingList; } // iが配列範囲内ならMyBuf[i]、そうでなければ-1を返す private int Peek(int i) { if (i < MyBuf.Length) { return MyBuf[i]; } else { return -1; } } // Shift_JISの得点：Shift_JISとして有効なバイト数 private int ScoreSJIS() { int i = 0; while (i < MyBuf.Length) { int ch = MyBuf[i]; if (ascii(ch)) { // ASCII英数字 ++i; } else if (sjis_1of2(ch) && sjis_2of2(Peek(i + 1))) { // Shift_JIS 2バイト漢字 i += 2; } else if (sjis_Kana(ch)) { // Shift_JIS 半角カナ ++i; } else { // Shift_JISではない文字が出たら終了 break; } } return i; } // EUC-JPの得点：EUC-JPとして有効なバイト数 private int ScoreEUC() { int i = 0; while (i < MyBuf.Length) { int ch = MyBuf[i]; if (ascii(ch)) { // ASCII英数字 ++i; } else if (euc_1of2(ch) && euc_2of2(Peek(i + 1))) { // EUC-JP 2バイト漢字 i += 2; } else if (euc_1of3(ch) && euc_2of3(Peek(i + 1)) && euc_3of3(Peek(i + 2))) { // EUC-JP 3バイト漢字 i += 3; } else if (euc_1ofKana(ch) && euc_2ofKana(Peek(i + 1))) { // EUC-JP 2バイト半角カナ i += 2; } else { // EUC-JPではない文字が出たら終了 break; } } return i; } // JISの得点：JISとして有効なバイト数＋KI/KOっぽい記号の数 private int ScoreJIS() { int escape = 0; int i = 0; while (i < MyBuf.Length) { int ch = MyBuf[i]; if (ascii(ch)) { // ASCII英数字 ++i; } else if ((ch == 0x1B) && jis_Esc(Peek(i + 1))) { // KI/KO記号の先頭2バイト（かもしれない） i += 2; ++escape; } else if (jis_Kana(ch)) { // JIS 半角カナ ++i; } else { // JISではない文字が出たら終了 break; } } return i + escape; } // UTF-8の得点：UTF-8として有効なバイト数 private int ScoreUTF8() { int i = 0; while (i < MyBuf.Length) { int ch = MyBuf[i]; if (ascii(ch)) { // ASCII英数字 ++i; } else if (u8_1of2(ch) && u8(Peek(i + 1))) { // UTF-8 2バイト文字 i += 2; } else if (u8_1of3(ch) && u8(Peek(i + 1)) && u8(Peek(i + 2))) { // UTF-8 3バイト文字 i += 3; } else if (u8_1of4(ch) && u8(Peek(i + 1)) && u8(Peek(i + 2)) && u8(Peek(i + 3))) { // UTF-8 4バイト文字 i += 4; } else { // UTF8ではない文字が出たら終了 break; } } return i; } // UTF-16LEの得点：UTF-16LEとして有効なバイト数＋BOMボーナス private int ScoreUTF16LE() { int bom = Peek(0) * 256 + Peek(1); if (bom == 0xFeFF) { // UTF-16BEのBOMを検出したので、UTF-16LEではありえない return 0; } int i = 0; while (i < MyBuf.Length) { if ((MyBuf[i] == 0) && (Peek(i + 1) == 0)) { // 2バイト連続して0なら終端とみなす break; } else if (u16_1of2(Peek(i + 1))) { // UTF-16LE 2バイト文字 i += 2; } else if (u16_1of4(Peek(i + 1)) && u16_3of4(Peek(i + 3))) { // UTF-16LE 4バイト文字 i += 4; } else { // UTF-16LEではない文字が出たら終了 break; } } // UTF-16LEのBOMを検出したら得点+1 if (bom == 0xFFFe) { i += 1; } return i; } // UTF-16BEの得点：UTF-16BEとして有効なバイト数＋BOMボーナス private int ScoreUTF16BE() { int bom = Peek(0) * 256 + Peek(1); if (bom == 0xFFFe) { // UTF-16BEのBOMを検出したので、UTF-16LEではありえない return 0; } int i = 0; while (i < MyBuf.Length) { if ((MyBuf[i] == 0) && (Peek(i + 1) == 0)) { // 2バイト連続して0なら終端とみなす break; } else if ((i + 1 < MyBuf.Length) && u16_1of2(MyBuf[i])) { // UTF-16BE 2バイト文字 i += 2; } else if ((i + 3 < MyBuf.Length) && u16_1of4(MyBuf[i]) && u16_3of4(MyBuf[i + 2])) { // UTF-16BE 4バイト文字 i += 4; } else { // UTF-16BEではない文字が出たら終了 break; } } // UTF-16BEのBOMを検出したら得点+1 if (bom == 0xFeFF) { i += 1; } return i; } // 1バイトずつ見て、0が出るまでの長さを返す private int CountValid8() { for (int i = 0; i < MyBuf.Length; ++i) { if (MyBuf[i] == 0) return i; } return MyBuf.Length; } // 2バイトずつ見て、(0,0)が出るまでの長さを返す private int CountValid16() { for (int i = 0; i < MyBuf.Length - 1; i += 2) { if (MyBuf[i] == 0 && MyBuf[i + 1] == 0) return i; } return MyBuf.Length; } //==================================================================== // 文字コードの大まかな判定 // 厳密な定義はJISなどの資料を参照のこと // ASCII 1バイト英数記号 + 制御文字 private static bool ascii(int ch) { return (ch >= 0x07 && ch <= 0x0D) || (ch >= 0x20 && ch <= 0x7E); } // Shift_JIS 2バイト漢字の第1バイト private static bool sjis_1of2(int ch) { return (ch >= 0x81 && ch <= 0x9F) || (ch >= 0xE0 && ch <= 0xFC); } // Shift_JIS 2バイト漢字の第2バイト private static bool sjis_2of2(int ch) { return (ch >= 0x40 && ch <= 0x7E) || (ch >= 0x80 && ch <= 0xFC); } // Shift_JIS 1バイト半角カナ private static bool sjis_Kana(int ch) { return (ch >= 0xA1 && ch <= 0xDF); } // EUC-JP 2バイト漢字の第1バイト private static bool euc_1of2(int ch) { return (ch >= 0xA1 && ch <= 0xA8) || (ch == 0xAD) || (ch >= 0xB0 && ch <= 0xFE); } // EUC-JP 2バイト漢字の第2バイト private static bool euc_2of2(int ch) { return (ch >= 0xA1 && ch <= 0xFE); } // EUC-JP 3バイト漢字の第1バイト private static bool euc_1of3(int ch) { return (ch == 0x8F); } // EUC-JP 3バイト漢字の第2バイト private static bool euc_2of3(int ch) { return (ch >= 0xA1 && ch <= 0xAB) || (ch >= 0xB0 && ch <= 0xED) || (ch >= 0xF3 && ch <= 0xFE); } // EUC-JP 3バイト漢字の第3バイト private static bool euc_3of3(int ch) { return (ch >= 0xA1 && ch <= 0xFE); } // EUC-JP 2バイト半角カナの第1バイト private static bool euc_1ofKana(int ch) { return (ch == 0x8E); } // EUC-JP 2バイト半角カナの第2バイト private static bool euc_2ofKana(int ch) { return (ch >= 0xA1 && ch <= 0xDF); } // JIS エスケープ文字(0x1B)の次にくるべき文字 private static bool jis_Esc(int ch) { return (ch == '$' || ch == '(' || ch == '.'); } // JIS X0201 片仮名 （いわゆる半角カナ） private static bool jis_Kana(int ch) { return (ch >= 0xA1 && ch <= 0xDF); } // UTF-8 2バイト漢字の第1バイト private static bool u8_1of2(int ch) { return (ch >= 0xC2 && ch <= 0xDF); } // UTF-8 3バイト漢字の第1バイト private static bool u8_1of3(int ch) { return (ch >= 0xE0 && ch <= 0xEF); } // UTF-8 4バイト漢字の第1バイト private static bool u8_1of4(int ch) { return (ch >= 0xF0 && ch <= 0xF7); } // UTF-8 多バイト漢字の第2バイト以降 private static bool u8(int ch) { return (ch >= 0x80 && ch <= 0xBF); } // UTF-16 2バイト漢字の第1バイト private static bool u16_1of2(int ch) { return (ch >= 0x00 && ch <= 0xD7) || (ch >= 0xE0 && ch <= 0xFF); } // UTF-16 4バイト漢字の第1バイト private static bool u16_1of4(int ch) { return (ch >= 0xD8 && ch <= 0xDB); } // UTF-16 4バイト漢字の第3バイト private static bool u16_3of4(int ch) { return (ch >= 0xDC && ch <= 0xDF); } } }

おそらく世の中にはもっと優秀なライブラリがあるだろうが、まあ自作のコードは愛着があるよね。 コードを入力し終えたらコンパイルして、「MyLibV03.dll」というファイル名で保存する。

●プログラム本体

1. NetJob2という名前で、プロジェクトを作成する
2. ソリューションエクスプローラの「参照」で、MyLibV03.dllの参照を追加する
3. Form1.csを開き、次のコードを入力する

// プロジェクト：NetJob2 // ファイル名：Form1.cs using System; using System.Drawing; using System.IO; using System.Net; using System.Text; using System.Windows.Forms; using MarugeProject; namespace NetJob2 { public partial class Form1 : Form { // コントロールなど private SplitContainer MySplitBox; private RichTextBox MyReportBox; private RichTextBox MyWebTextBox; private TextBox MyInputBox; private Button MyGetButton; private RichReporter MyReporter; // フォームのコンストラクタ public Form1() { InitializeComponent(); // タイトルバーにプログラム名を表示する this.Text = Application.ProductName; // ウィンドウサイズを400x400にする this.Width = 400; this.Height = 400; // 上下分割コンテナを作る MySplitBox = new SplitContainer(); MySplitBox.Name = "MySplitBox"; MySplitBox.Anchor = AnchorStyles.Left | AnchorStyles.Right | AnchorStyles.Top | AnchorStyles.Bottom; MySplitBox.Left = 8; MySplitBox.Top = 8; MySplitBox.Width = this.ClientSize.Width - 16; MySplitBox.Height = this.ClientSize.Height - 40; MySplitBox.BorderStyle = BorderStyle.FixedSingle; MySplitBox.Orientation = Orientation.Horizontal; MySplitBox.SplitterDistance = 200; // 分割コンテナの上側にネットデータ表示用のRichTextBoxを配置する MyWebTextBox = new RichTextBox(); MyWebTextBox.Name = "MyWebTextBox"; MyWebTextBox.BorderStyle = BorderStyle.None; MyWebTextBox.Dock = DockStyle.Fill; MyWebTextBox.DetectUrls = false; MySplitBox.Panel1.Controls.Add(MyWebTextBox); // 分割コンテナの下側にレポート出力用のRichTextBoxを配置する MyReportBox = new RichTextBox(); MyReportBox.Name = "MyReportBox"; MyReportBox.BorderStyle = BorderStyle.None; MyReportBox.Dock = DockStyle.Fill; MySplitBox.Panel2.Controls.Add(MyReportBox); // 「テキストを読み込む」ボタンを作る MyGetButton = new Button(); MyGetButton.Name = "MyGetButton"; MyGetButton.Anchor = AnchorStyles.Right | AnchorStyles.Bottom; MyGetButton.Left = this.ClientSize.Width - 128; MyGetButton.Top = this.ClientSize.Height - 30; MyGetButton.Width = 120; MyGetButton.Text = "テキストを読み込む(&R)"; MyGetButton.Click += MyGetButton_Click; // テキスト入力ボックスを作る MyInputBox = new TextBox(); MyInputBox.Name = "MyInputBox"; MyInputBox.Anchor = AnchorStyles.Left | AnchorStyles.Right | AnchorStyles.Bottom; MyInputBox.Left = 8; MyInputBox.Top = MyGetButton.Top + 2; MyInputBox.Width = this.ClientSize.Width - MyGetButton.Width - 18; MyInputBox.Text = "http://"; // 各コントロールをフォームに配置する this.SuspendLayout(); this.Controls.Add(MySplitBox); this.Controls.Add(MyGetButton); this.Controls.Add(MyInputBox); this.ResumeLayout(); // テキスト出力の準備 MyReportBox.DetectUrls = false; MyReportBox.Font = new Font("MS UI Gothic", 12); MyReporter = new RichReporter(MyReportBox); // 初期メッセージを出力 MyReporter.Print("使用方法：\n"); MyReporter.Print("URLを入力 → 「テキストを読み込む」をクリック\n\n"); } // 「テキストを読み込む」ボタンをクリック private void MyGetButton_Click(object sender, EventArgs e) { MyReportBox.Clear(); MyReporter.Print("接続します\n"); byte[] data = ReadNetData(MyInputBox.Text); if (data != null) { Encoding enc = EncodingChecker.GetEncoding(data); MyReporter.Print("成功しました\n"); MyReporter.Print("文字コードは " + enc.EncodingName + " です\n"); MyWebTextBox.Text = enc.GetString(data); } else { MyReporter.ColorPrint(Color.Red, "失敗しました\n"); } } // ネットからバイナリテキストを読み込む private byte[] ReadNetData(string URL) { try { // ネットからデータを読み込み、byte配列として返す WebClient client = new WebClient(); return client.DownloadData(URL.Trim()); } catch { // 読み込み失敗ならnullを返す return null; } } } }

プログラムを起動し、テキストファイルのURLを入力して「テキストを読み込む」ボタンを押すと、上部のテキストボックスに内容が表示される。

テキストとは言うけどプレーンテキストだけじゃなくて、HTMLファイルも、RSSフィードも、中身は文字だけなのでこのプログラムで表示できる。

●要点の解説

WebClientクラスを利用してネットからデータを読み出すのは、画像の場合と同じだ。

ちょっと違うのは、前回はReadOpen()メソッドを利用しネットデータをストリーム形式でオープンしたが、今回はDownloadData()メソッドを利用して全データを一気にbyte配列に取得したことだ。メモリが少なかった昔はこういう大名プログラムは書かなかったが、時代は変わったのだ。

っていうか今考えたら、画像データもこのDownloadData()メソッドで取得すればよかったじゃない。そうすればストリームを閉じるの閉じないので、エラーが起きることもなかった…かもしれない。

取得した生のデータは、先ほどのMyLibライブラリのEncodingCheckerで文字コードを調べる。ちなみに使い方は、

Encoding enc = EncodingChecker.GetEncoding(バイト配列);

とすれば指定したバイト配列のエンコードを推測し、Encoding型の結果をencに入れる。あとは通常のEncoding.GetString()メソッドにより、適切な方法でstring型に変換可能だ。