<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ja" lang="ja">
<head>
<meta http-equiv="Content-Language" content="ja" />
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<meta http-equiv="Content-Style-Type" content="text/css" />
<meta name="author" content="Mikio Hirabayashi" />
<meta name="keywords" content="Hyper Estraier, Estraier, full-text search, API" />
<meta name="description" content="User's Guide of Hyper Estraier" />
<link rel="contents" href="./" />
<link rel="alternate" href="uguide-en.html" hreflang="en" title="the English version" />
<link rel="stylesheet" href="common.css" />
<link rel="icon" href="icon16.png" />
<link rev="made" href="mailto:mikio@users.sourceforge.net" />
<title>User's Guide of Hyper Estraier Version 1 (Japanese)</title>
</head>
<body>
<h1>ユーザガイド</h1>
<div class="note">Copyright (C) 2004-2007 Mikio Hirabayashi</div>
<div class="note">Last Update: Tue, 06 Mar 2007 12:05:18 +0900</div>
<div class="navi">[<a href="uguide-en.html" hreflang="en">English</a>/<span class="void">Japanese</span>] [<a href="index.ja.html">HOME</a>]</div>
<hr />
<h2 id="tableofcontents">目次</h2>
<ol>
<li><a href="#introduction">はじめに</a></li>
<li><a href="#attributes">文書の属性</a></li>
<li><a href="#formats">ファイル形式</a></li>
<li><a href="#searchcond">検索条件式</a></li>
<li><a href="#wordextraction">検索語の抽出</a></li>
<li><a href="#estcmd">管理用コマンド</a></li>
<li><a href="#estseek">検索用CGIスクリプト</a></li>
<li><a href="#estproxy">表示用CGIスクリプト</a></li>
<li><a href="#indexstructure">インデックスの構造</a></li>
<li><a href="#tips">助言</a></li>
<li><a href="#faq">よく聞かれる質問</a></li>
</ol>
<hr />
<h2 id="introduction">はじめに</h2>
<p>このガイドでは、Hyper Estraierのアプリケーションの詳細な使い方を説明します。<a href="intro-ja.html">イントロダクション</a>をまだお読みでない場合は、先にそちらに目を通しておいてください。</p>
<p>Hyper Estraierは、いわゆるインデックス型の検索システムです。検索を行う前に、対象文書の情報を登録した<strong>インデックス</strong>を準備しておく必要があります。その手間がかかるかわりに、とても高速に検索を行うことができます。Hyper Estraierはインデックスを管理するコマンド「<code>estcmd</code>」とインデックスを使って検索を行うCGIスクリプト「<code>estseek.cgi</code>」からなります。つまり、コマンドラインでインデックスの管理作業を行い、Webブラウザで検索を行うことになります。</p>
<p><code>estcmd</code>は様々な形式の文書を扱うことができ、またインデックスに対する多様な管理操作を行うことができます。このガイドでは、文書の扱われ方やインデックスの管理方法について詳細に説明します。</p>
<p>Hyper Estraierは様々な検索方法をサポートします。複数の検索語を組み合わせたり、文書の属性を使って検索したりすることができます。また、<code>estseek.cgi</code>の設定により、表示方法をカスタマイズすることができます。このガイドではそれらの方法についても説明します。</p>
<hr />
<h2 id="attributes">文書の属性</h2>
<p>Hyper Estraierが扱う文書には、本文の情報だけでなく、タイトルなどの属性情報をつけることができます。属性は様々な応用ができます。属性を使った検索もできますし、更新日時の属性は差分更新の判断にも使われます。</p>
<h3>属性名</h3>
<p>属性には名前がつけられます。属性名は自由につけることができるのですが、Hyper Estraierが標準的に使う属性は<strong>システム属性</strong>として予め定義されています。システム属性の名前には「<code>@</code>」が先頭につきます。システム属性は以下のものがあります。</p>
<ul>
<li><kbd>@id</kbd> : 文書をインデックスに登録した際に自動的に振られます。</li>
<li><kbd>@uri</kbd> : 文書の参照方法を示します。全ての文書に必須です。</li>
<li><kbd>@digest</kbd> : 文書のメッセージダイジェストを示します。登録時に自動算出されます。</li>
<li><kbd>@cdate</kbd> : 文書の作成日時を示します。</li>
<li><kbd>@mdate</kbd> : 文書の最終更新日時を示します。差分更新に使われます。</li>
<li><kbd>@adate</kbd> : 文書の最終参照日時を示します。</li>
<li><kbd>@title</kbd> : 文書のタイトルです。検索結果で見出しとして扱われます。</li>
<li><kbd>@author</kbd> : 文書の著者です。</li>
<li><kbd>@type</kbd> : 文書のメディアタイプです。</li>
<li><kbd>@lang</kbd> : 文書の言語です。</li>
<li><kbd>@genre</kbd> : 文書の様式です。</li>
<li><kbd>@size</kbd> : 文書のサイズです。</li>
<li><kbd>@weight</kbd> : 文書のスコアリングの重み付けです。</li>
<li><kbd>@misc</kbd> : 文書の雑多な情報です。</li>
</ul>
<p>システム属性以外の属性は<strong>ユーザ定義属性</strong>と呼ばれます。後述の文書ドラフト形式を使うと、任意のシステム属性とユーザ定義属性をつけることができます。HTMLのmeta要素やMIMEのヘッダもユーザ属性として扱われます。属性名は「<code>%</code>」で始まってはいけません。</p>
<h3>属性の型</h3>
<p>属性には2種類の型があります。<strong>文字列型</strong>と<strong>数値型</strong>です。文字列型は、任意の文字列です。文字列型の値には、完全一致、前方一致、後方一致、部分一致の判定ができます。数値型は、数値または日付の情報を表したものです。数値型は文字列を数値に直した上で、大小の判定が行われます。数値型の値は形式によって扱われ方が違います。日付として解釈される場合、UNIX紀元（1970年1月1日0時0分0秒）からの経過秒数が判定に使われます。</p>
<ul>
<li>全てが数字 → 10進数として解釈される。</li>
<li>先頭が0x → 16進数として解釈される。</li>
<li>W3CDTF（例：1978-02-11T18:05:32+09:00） → 日付として解釈される。</li>
<li>RFC822（例：Sat, 11 Feb 1978 18:05:32 +0900） → 日付として解釈される。</li>
<li>YYYY/MM/DD形式（1978/02/11 18:05:32） → 日付として解釈される。</li>
<li>上記以外 → -1として解釈される。</li>
</ul>
<p>属性がどの型であるかは登録時には決定されません。検索時に属性をどちらの型として解釈するか指定されます。属性の長さに制限はありません。</p>
<p>文書の属性や本文に指定する文字列はUTF-8で表現されている必要があります。テキストファイルやHTMLなどでそれ以外の文字コードを使っている場合は、UTF-8に変換してください。なお、<code>estcmd</code>は文字コードを自動判定して変換処理を行います。</p>
<p>システム属性でもユーザ属性でも、実際にどのような値を入れるかはユーザやアプリケーションに任されます。指定する側と解釈する側で合意が取れていれば問題ないわけですが、RFCなどで関連する規定がある場合はそれに従うのがよいでしょう。例えば、「<code>@type</code>」にはRFC2045のメディアタイプの書式を用い、「<code>@lang</code>」にはISO639の言語コード（「ja」「en」など）を用いるとよいでしょう。ユーザ定義属性の仕様を決める際にはDublin Coreの規格を参考にするといいかもしれません。</p>
<h3>URI属性</h3>
<p>URI（Uniform Resource Identifier）は、文書を識別するための文字列です。HTTPやFTPやLDAPのURL（Uniform Resource Locator）はURIの一種です。インデックスに登録する全ての文書には<strong>URI属性</strong>がついている必要があります。</p>
<p>外部（インターネット）に公開されるURIは、世界中のどのユーザからも一意に識別できる必要があります。したがって、ローカルホストでしか通用しない「<code>file://</code>」のURLは外部に公開すべきではありません。estseek.cgiは「<code>file://</code>」のURLを「<code>http://</code>」や「<code>ftp://</code>」などに置換する機能を備えていますので、それを活用してください。</p>
<p>URIはファイルを識別するだけのものではありません。書籍のISBNなどのURN（Uniform Resource Name）もURIの一種です。また、URIのスキーマは独自に定義することもできます。例えば、XYZ社の社員名簿の全文検索システムであれば、社員番号を含めた「<code>xyz:empno:12345</code>」のようなURI属性を生成するのもよいでしょう。</p>
<p>URIに日本語などのマルチバイト文字をそのまま使ってはいけません。その場合、一般にURLエンコードと呼ばれるエスケープ処理が必要となります。URIの仕様についてはRFC3986を参照してください。</p>
<p>estcmdは、「<code>file://</code>」で始まるローカルファイルシステムのURLをURI属性として自動的につけてくれます。ただし、対象文書がURI属性を独自に定義している場合はそちらを優先します。ローカルファイルシステムのURLは「<code>_lpath</code>」という属性としても記録されます。ローカルファイルシステムの絶対パスは「<code>_lreal</code>」という属性として記録され、ファイル名は「<code>_lfile</code>」という属性として記録されます。各属性値の文字コードはUTF-8に正規化されます。「<code>_</code>」で始まる名前の属性は、<code>estseek.cgi</code> の詳細表示機能で表示されません。</p>
<h3>ダイジェスト属性</h3>
<p>ダイジェストとは、2つのデータが同じものかどうかを効率的に判定するために、データそのものの代わりに使われる短いデータです。メッセージダイジェストとも言います。インデックスに登録する全ての文書には、<strong>ダイジェスト属性</strong>が付加されます。</p>
<p>文書がダイジェスト属性を明示的に指定していない場合は、本文のMD5（Message Digest 5）を値とするダイジェスト属性が暗黙的に付加されます。明示的に指定する場合、MD5以外のアルゴリズムを使っても構いませんし、本文以外のデータ（ファイルそのものなど）を対象としてダイジェストを計算しても構いません。本文に更新があったならばダイジェストも変化するということが唯一の要件です。</p>
<h3>重み付け属性</h3>
<p>特定の文書を検索結果の上位に表示されやすいようにするには、<strong>重み付け属性</strong>を使うと便利です。例えば元のスコアが100で重み付けが1.5の場合、重み付けされたスコアは150になります。デフォルトでは、重み付けはP2PのノードAPI（ノードサーバ）を利用した場合にのみ行われ、インデクシングの際にではなく、検索の際に行われます。したがって、ノードサーバにおいては、文書の属性を編集することによって動的に重み付けを変更できます。<code>estcmd</code>やコアAPIでオプションを指定すれば、インデクシング時に静的に重み付けを行うこともできます。</p>
<hr />
<h2 id="formats">ファイル形式</h2>
<p><code>estcmd</code>が扱う4種類のファイル形式のそれぞれがどのように扱われるかを説明します。その他の形式を扱うためのフィルタについては後述します。</p>
<h3>プレーンテキスト</h3>
<p>特に構造のない文字列です。デフォルトでは、ファイル名の接尾辞が「<code>.txt</code>」「<code>.text</code>」「<code>.asc</code>」の場合にプレーンテキストとして扱われます。</p>
<ul>
<li>文字コードは自動判定されます。</li>
<li>@type属性として「text/plain」が記録されます。</li>
<li>@size属性としてファイルサイズが記録されます。</li>
</ul>
<h3>HTML</h3>
<p>言わずもがな、Webで使われるハイパーテキストです。デフォルトでは、ファイル名の接尾辞が「<code>.html</code>」「<code>.htm</code>」「<code>.xhtml</code>」「<code>.xht</code>」の場合にHTMLとして扱われます。</p>
<ul>
<li>文字コードは自動判定されますが、meta要素で文字コードが指定された場合はそちらが優先されます。</li>
<li>title要素があれば、その内容が@title属性として記録されます。</li>
<li>meta要素のname属性でauthorが指定されていれば、そのcontent要素の値が@author属性として記録されます。</li>
<li>html要素にlang属性もしくはxml:lang属性があれば、その値が@lang属性として記録されます。</li>
<li>@type属性として「text/html」が記録されます。</li>
<li>@size属性としてファイルサイズが記録されます。</li>
<li>meta要素のname属性またはhttp-equiv属性が指定されていれば、その属性値を小文字に変換した名前のユーザ属性として、content要素の値を記録します。</li>
<li>@title属性の値は隠しテキストとして扱われます。</li>
</ul>
<p>隠しテキストについては後述します。</p>
<h3>MIME（電子メール）</h3>
<p>RFC822に基づくメッセージ交換のためのデータ形式です。デフォルトでは、ファイル名の接尾辞が「<code>.eml</code>」「<code>.mime</code>」「<code>.mht</code>」「<code>.mhtml</code>」の場合にMIMEとして扱われます。</p>
<ul>
<li>文字コードは自動判定されますが、Content-Typeヘッダで文字コードが指定された場合はそちらが優先されます。</li>
<li>Subjectヘッダがあれば、その内容が@title属性として記録されます。</li>
<li>Fromヘッダがあれば、その内容が@author属性として記録されます。</li>
<li>Dateヘッダがあれば、その内容が@cdate属性および@mdate属性として記録されます。</li>
<li>@type属性として「message/rfc822」が記録されます。</li>
<li>@size属性としてファイルサイズが記録されます。</li>
<li>全てのヘッダの値は、ヘッダ名を小文字に変換した名前のユーザ属性として指定されます。</li>
<li>@title属性の値は隠しテキストとして扱われます。</li>
</ul>
<p>マルチパートの各パートの中身が「text/plain」か「text/html」か「message/rfc822」の場合には、その内容を本文として扱います。これによって、Webアーカイブ（MHTML）も適切に扱うことができます。ヘッダの値がMIMEエンコードされていた場合はそれをデコードして扱います。エンティティがBase64やquoted-printableでエンコードされていた場合はそれをデコードして扱います。</p>
<h3>文書ドラフト</h3>
<p><strong>文書ドラフト</strong>は、Hyper Estraier独自のデータ形式です。文書ドラフトを中間フォーマットとして使うことで、様々な形式の文書を統合的に扱うことができます。デフォルトでは、ファイル名の接尾辞が「<code>.est</code>」の場合に文書ドラフトとして扱われます。</p>
<p>文書ドラフトの形式はRFC822に似ていますが、細かい違いがあります。ヘッダの区切り文字は「<code>:</code>」でなく「<code>=</code>」です。また、「<code>=</code>」の後に空白を置く必要はありません。例えば、MIDIの歌詞データを登録する際には、以下のようなデータになるでしょう。</p>
<pre>@uri=http://www.music-estraier.com/mididb/w/wa/wakamonotachi.kar
@title=若者たち
@author=佐藤勝,藤田敏雄
@cdate=2004-11-01T23:11:18+09:00
@mdate=2005-03-21T08:07:45+09:00
category=chorus,j-pop
君の行く道は 果てしなく遠い
だのになぜ 歯をくいしばり
君は行くのか そんなにしてまで
若者たち
佐藤勝,藤田敏雄
</pre>
<p>文書ドラフトは以下の仕様を満たす必要があります。</p>
<ul>
<li>正常なUTF-8エンコードのテキストから構成されます。</li>
<li>改行形式はUNIX形式（LF）かMS-DOS形式（CR+LF）のどちらかです。</li>
<li>属性部とテキスト部からなり、両者は最初に出現した空行で区切られます。</li>
<li>属性部において、各行は属性の指定として扱われます。属性名と値は最初に出現した「<kbd>=</kbd>」で区切られます。</li>
<li>テキスト部において、各行は本文の文字列として扱われます。行頭がタブ文字で始まっている場合、その行は隠しテキストとして扱われます。</li>
</ul>
<p>属性部において、「<kbd>%</kbd>」で始まる行は制御命令とみなされて無視されます。文書ドラフトに別の目的のデータを混入させたい場合はこの機能を利用してください。ただし、「<kbd>%VECTOR</kbd>」とそれに続くタブで始まる行がある場合、それは文書のキーワードベクトルを示します。キーワードベクトルの形式はTSVです。各フィールドには、キーワードとそのスコアが交互に表れます。「<kbd>%SCORE</kbd>」とそれに続くタブで始まる行がある場合、それは文書の代替スコアを示します。</p>
<p>隠しテキストは、通常の本文と同様に検索語が抽出されますが、検索結果のスニペットでは表示されないことが特徴です。タイトルや著者に含まれる語も全文検索の対象にしたい場合には、タイトルや著者と同じ文字列を隠しテキストとしても指定するとよいでしょう。</p>
<p>文書ドラフトの最大の特徴は、URI属性を指定できることです。つまり、文書ドラフト自体のURIではなく、別のファイルのURIをインデックスに記録することができるのです。WebからHTMLデータを収集して文書ドラフト形式で保存するプログラムを作れば、簡易的なWeb検索エンジンを簡単に実現することができます（付録の<code>estwaver</code>コマンドを使えばもっと簡単ですが）。文書ドラフトを保存するオーバーヘッドをかけたくない場合は、いよいよAPIを使うことになります。</p>
<p>文書ドラフトをWeb経由で配送する際には、MIMEタイプを「<code>text/x-estraier-draft</code>」にすることを推奨します。ユーザエージェントが文書ドラフトを適切に検出すれば、そのままインデックスに登録したり、適切なビューワで表示したりできるようになります。</p>
<hr />
<h2 id="searchcond">検索条件式</h2>
<p>検索条件には、全文検索条件と属性検索条件の2種類があります。両方を同時に指定することもでき、その場合は両方を満たした文書が該当とみなされます。さらに、全文検索の条件式には、通常書式や簡便書式などの種類あります。用途に応じて使い分けてください。</p>
<h3>全文検索条件の通常書式</h3>
<p><strong>全文検索条件式</strong>は、指定した語句が本文に含まれる文書を検索するためのものです。例えば、「<code>コンピュータ</code>」という文字列を含む文書を探したいなら、検索式に「<code>コンピュータ</code>」とそのまま指定してください。</p>
<p>複数の検索語を空白で区切ってならべることもできます。例えば、「<code>United Nations</code>」と指定すると、「<code>United</code>」の直後に「<code>Nations</code>」が来る文書を検索します。</p>
<p>検索語を「<kbd>AND</kbd>」で挟んで並べると、AND検索ができます。例えば、「<code>インターネット AND セキュリティ</code>」と指定すると、「<code>インターネット</code>」と「<code>セキュリティ</code>」の両方を含む文書を検索します。</p>
<p>検索語を「<kbd>ANDNOT</kbd>」で挟んで並べると、ANDNOT検索ができます。例えば、「<code>スキー ANDNOT スノボー</code>」と指定すると、「<code>スキー</code>」を含むが「<code>スノボー</code>」は含まない文書を検索します。ANDNOT検索は、探したい語が他の語の一部に含まれてうまく検索できない場合にも便利です。「<code>ファイル</code>」で検索すると「<code>プロファイル</code>」がヒットして鬱陶しい場合には、「<code>ファイル ANDNOT プロファイル</code>」とするとよいでしょう。</p>
<p>検索語を「<kbd>OR</kbd>」で挟んで並べると、OR検索ができます。例えば、「<code>レモン OR ライム</code>」と指定すると、「<code>レモン</code>」と「<code>ライム</code>」の片方または両方を含む文書を検索します。OR検索は、類義語や表記の揺れに対応した検索をするのに便利です。「<code>woman OR women</code>」などとして英単語の活用を吸収したり、「<code>龍馬 OR 竜馬</code>」などとして漢字表記の揺れを吸収したりするとよいでしょう。</p>
<p>「<code>OR</code>」は「<code>AND</code>」や「<code>ANDNOT</code>」よりも優先順位が高いことに注意してください。例えば、「<code>F1 OR F-1 OR Formula One AND 優勝 OR チャンピオン</code>」と入力した場合、「<code>F1</code>」か「<code>F-1</code>」か「<code>Formula One</code>」のどれかを含んで、かつ「<code>優勝</code>」か「<code>チャンピオン</code>」のどちらかを含む文書を探します。</p>
<p>Hyper Estraierは、日本語だけでなく、英語、ドイツ語、フランス語、中国語など、大抵の言語を扱うことができます。英字の大文字と小文字の違いは無視されます。「<code>Japan</code>」「<code>japan</code>」「<code>JAPAN</code>」「<code>jaPaN</code>」は全て同じです。ダイアクリティカルマーク付きのラテン文字や、ギリシア文字、キリル文字でも同様です。</p>
<p>「<kbd>AND</kbd>」「<kbd>ANDNOT</kbd>」「<kbd>OR</kbd>」は演算子ですので、大文字で書かなければなりません。また、前後に空白が必要です。「<code>AND</code>」という文字列を含む文書を探したい場合は、「<code>and</code>」と指定してください。「<code>ANDNOT</code>」や「<code>OR</code>」でも同様です。</p>
<p>全ての文書に該当するワイルドカードとして、「<kbd>[UVSET]</kbd>」という定数があります。これを使うと、純粋なNOT検索ができます。例えば、「<code>[UVSET] ANDNOT ファイル</code>」とすると、「<code>ファイル</code>」を含まない全ての文書を検索します。ただし、この処理は遅いです。</p>
<p>欧米に見られる空白で語を区切る言語の単語に対しては、前方一致、後方一致、正規表現の条件を指定して検索を行うことができます（日本語には効果がありません）。前方一致の場合は文字列の前に空白を挟んで「<kbd>[BW]</kbd>」を置き、後方一致の場合は文字列の前に空白を挟んで「<kbd>[EW]</kbd>」を置き、正規表現の場合は文字列の前に空白を挟んで「<kbd>[RX]</kbd>」を置きます。例えば、「<code>[BW] euro</code>」だと「<code>euro</code>」で始まる単語を含む文書を検索します。「<code>[EW] sphere</code>」だと「<code>sphere</code>」で終わる単語を含む文書を検索します。「<code>[RX] ^inter.*al$</code>」だと「<code>inter</code>」で始まって「<code>al</code>」で終わる単語を含む文書を検索します。</p>
<h3>全文検索条件の簡便書式</h3>
<p>Googleなどの検索エンジンでは、空白で区切ることでAND条件を指定できます。そのような挙動の方が望ましい場合は、簡便書式を使うことができます。簡便書式を使うかどうかは、アプリケーションのコマンドラインのオプションや設定ファイルで指定します。<code>estseek.cgi</code>のデフォルトの設定では、簡便書式が使われるようになっています。</p>
<p>簡便書式では、空白または「<kbd>&</kbd>」で区切るとAND条件になります。例えば、「<code>インターネット セキュリティ</code>」と入力すると、「<code>インターネット</code>」と「<code>セキュリティ</code>」の両方を含む文書を検索します。</p>
<p>複数の検索語を「<kbd>""</kbd>」で括ると、フレーズ検索ができます。例えば、「<code>"United Nations"</code>」と入力すると、「<code>United</code>」の直後に「<code>Nations</code>」が出現する文書を検索します。</p>
<p>「<kbd>!</kbd>」を使うとNOT検索ができます。例えば、「<code>スキー ! スノボー</code>」と入力すると、「<code>スキー</code>」を含むが「<code>スノボー</code>」を含まない文書を検索します。</p>
<p>「<kbd>|</kbd>」を使うとOR検索ができます。例えば、「<code>レモン | ライム</code>」と入力すると、「<code>レモン</code>」か「<code>ライム</code>」の片方または両方を含む文書を検索します。</p>
<p>「<kbd>|</kbd>」の優先順位が「<kbd>&</kbd>」や「<kbd>!</kbd>」より高いのは通常書式と同じです。</p>
<p>簡便書式においては、ワイルドカードによって前方一致や後方一致や正規表現の条件を指定することができます（日本語には効果がありません）。前方一致の場合は文字列の後に「<kbd>*</kbd>」を置き、後方一致の場合は文字列の前に「<kbd>*</kbd>」を置き、正規表現の場合は文字列の前後に「<kbd>*</kbd>」を置きます。例えば、「<code>euro*</code>」だと「<code>euro</code>」で始まる単語を含む文書を検索します。「<code>*sphere</code>」だと「<code>sphere</code>」で終わる単語を含む文書を検索します。「<code>*^inter.*al$*</code>」だと「<code>inter</code>」で始まって「<code>al</code>」で終わる単語を含む文書を検索します。</p>
<p>空白や「&」「!」「|」「*」を検索語そのものとして指定したい場合は、フレーズ検索を応用してください。例えば「AT&T」を検索したい場合は、「"AT&T"」とします。</p>
<h3>全文検索条件のその他の書式</h3>
<p>粗略書式は、簡便書式よりもさらに単純な書式です。空白で区切るとAND条件になり、「<kbd>|</kbd>」で区切るとOR条件になり、「<kbd>""</kbd>」で挟むとフレーズ検索になるところは簡便書式と同じです。ただし、「<code>&</code>」は通常の文字として扱われます。また、OR条件を指定するには、検索語の前に「<kbd>-</kbd>」をつけて、「<code>unix -linux</code>」などとして表現します。粗略書式では、ワイルドカードなどの特殊機能は全て無効になります。</p>
<p>論理和書式は、空白で区切った各トークンのOR条件を指定するものです。論理積書式は、空白で区切った各トークンのAND条件を指定するものです。論理和書式や論理積書式においても、ワイルドカードなどの特殊機能は全て無効になります。</p>
<h3>属性検索条件</h3>
<p><strong>属性検索条件式</strong>は、各文書が持つ属性に対して演算子を適用して、該当する文書を検索するためのものです。属性条件式は属性名と演算子と値を空白で区切って並べたものです。例えば、「<code>@title STRINC 重要</code>」と指定すると、タイトルに「<code>重要</code>」という文字列を含む文書だけに絞り込みます。「<code>STRINC</code>」は演算子です。属性検索用の演算子には以下のものがあります。</p>
<ul>
<li><kbd>STREQ</kbd> : 指定した文字列と一致する。</li>
<li><kbd>STRNE</kbd> : 指定した文字列と一致しない。</li>
<li><kbd>STRINC</kbd> : 指定した文字列を含む。</li>
<li><kbd>STRBW</kbd> : 指定した文字列で始まる。</li>
<li><kbd>STREW</kbd> : 指定した文字列で終わる。</li>
<li><kbd>STRAND</kbd> : 指定した文字列の全てのトークンを含む。</li>
<li><kbd>STROR</kbd> : 指定した文字列の一つ以上のトークンを含む。</li>
<li><kbd>STROREQ</kbd> : 指定した文字列の一つ以上のトークンと一致する。</li>
<li><kbd>STRRX</kbd> : 指定した文字列の正規表現に合致する。</li>
<li><kbd>NUMEQ</kbd> : 数値や日付が指定したものと等しい。</li>
<li><kbd>NUMNE</kbd> : 数値や日付が指定したものと等しくない。</li>
<li><kbd>NUMGT</kbd> : 数値や日付が指定したものより大きい。</li>
<li><kbd>NUMGE</kbd> : 数値や日付が指定したものと同じかより大きい。</li>
<li><kbd>NUMLT</kbd> : 数値や日付が指定したものより小さい。</li>
<li><kbd>NUMLE</kbd> : 数値や日付が指定したものと同じかより小さい。</li>
<li><kbd>NUMBT</kbd> : 数値や日付が指定したものの間である。</li>
</ul>
<p>演算子の前に「<kbd>!</kbd>」を置いて「<code>!STREQ</code>」などとすると、条件に当てはまらないものに絞り込みます。例えば、「<code>@title !STRBW ※未承諾広告</code>」などとします。文字列の演算子の前に「<kbd>I</kbd>」を置いて「<code>ISTREQ</code>」などとすると、文字列の大文字と小文字の違いを無視します。「<code>!</code>」と「<code>I</code>」を両方指定する場合、「<code>!ISTREQ</code>」などとします。演算子を省略して属性名のみを指定した場合、値は問わずに、その属性を備える文書を該当とみなします。<code>STRAND</code>と<code>STROR</code>と<code>STROREQ</code>と<code>NUMBT</code>は空白で区切った複数の文字列を引数に取ります。「<code>NUMBT 51 100</code>」は、「51から100まで」という意味であり、境界値も範囲に含みます。</p>
<p>属性名を「<kbd>,</kbd>」で区切って並べると、並べた属性のいずれかという意味になります。例えば「<code>from,to,cc STRINC mikio</code>」は、「fromかtoかccのどれかにmikioを含む」という意味になります。「<kbd>,</kbd>」の前後に空白を入れてはいけません。</p>
<p>属性条件は複数指定することができます。その場合、指定された全ての条件を満たす文書が該当とみなされます。なお、属性検索を行うと候補の全ての文書の情報を参照するため、検索速度が多少遅くなります。後述の属性インデックスを使うと属性検索を高速化することができます。</p>
<h3>順序指定</h3>
<p><strong>順序指定式</strong>によって、結果の表示順序を指定することもできます。順序指定式は属性名と演算子を空白で区切って並べたものです。例えば、「<code>@size NUMA</code>」と指定すると、サイズが小さい文書から並べられます。「<code>NUMA</code>」は演算子です。順序指定用の演算子には以下のものがあります。演算子を省略した場合は、「<code>STRA</code>」が指定されたとみなします。</p>
<ul>
<li><kbd>STRA</kbd> : 文字列（辞書順）の昇順。</li>
<li><kbd>STRD</kbd> : 文字列（辞書順）の降順。</li>
<li><kbd>NUMA</kbd> : 数値または日付の昇順。</li>
<li><kbd>NUMD</kbd> : 数値または日付の降順。</li>
</ul>
<p>順序指定を行わなかった場合は、スコアの降順になります。スコアとは、各文書に指定した検索語がどのくらい含まれるかという指標です。AND検索やOR検索で複数の語が指定された場合、TF-IDF法に基づいてスコアの調整が行われます。「<code>the</code>」や「<code>する</code>」といった頻出語よりも、「<code>hippopotamus</code>」や「<code>咀嚼</code>」といった特徴的な語句に高いスコアをつけるということです。また、検索語が同数程度含まれるならば、総語数の多い文書よりも総語数の少ない文書の方がスコアが高くなります。スコアの昇順に並べたい場合は、属性名を省いて単に「<kbd>[SCA]</kbd>」と指定してください。</p>
<p>順序指定式は一つしか指定できません。なお、順序指定を行うと候補の全ての文書の情報を参照するため、検索速度が多少遅くなります。</p>
<h3>類似検索</h3>
<p>ある文書に似た文書を探す、<strong>類似検索式</strong>もサポートされます。関連文書検索とも呼ばれることもあります。類似検索の利用方法はアプリケーションによって様々ですが、典型的には、検索結果に示される文書のひとつをユーザが指定して、それに似た文書を再検索するために使われます。<code>estseek.cgi</code>の場合、「<code>[similar]</code>」というリンクを選択すると類似検索を行うことができます。類似検索の結果は類似度の降順に並べられます。類似度はベクトル空間モデルという考え方に基づいて算出されます。文書からキーワードを取り出してベクトルとして表現し、ベクトル同士のなす角の余弦を類似度とするものです。ちょっと難しい言い方になりましたが、要するに、語彙が似通った文書は類似度が高くなるということです。キーワードとしては、文書内の頻度にTF-IDF法で重みづけを行った結果が上位の語句が選択されます。</p>
<p>類似検索式をユーザが入力する必要はありませんが、アプリケーションに類似検索機能をつけるためには書式を知っておく必要があります。検索フレーズが「<kbd>[SIMILAR]</kbd>」という演算子で始まっている場合に類似検索が行われます。「<code>[SIMILAR]</code>」の後ろには、種文書（類似判定の元となる文書）のベクトルの要素を列挙します。各要素は「<kbd>WITH</kbd>」演算子で始まり、スコアの数値とキーワードの文字列を空白で区切って指定します。例えば、<code>300</code>の「<code>日本</code>」と<code>250</code>の「<code>japan</code>」と<code>100</code>の「<code>東京</code>」を含む文書を仮想の種文書とする場合は、「<code>[SIMILAR] WITH 300 日本 WITH 250 japan WITH 100 東京</code>」と指定します。</p>
<p>「<code>[SIMILAR] 24 2048 8192 WITH 300 日本 WITH 250 japan</code>」のように、演算子の後に空白で区切って3つの数値を指定することができます。この例の場合、キーワードの上位24語の各々に該当する文書を2048件ずつ取り出し、その和集合からスコアが上位の8192件の文書を類似度判定の候補として選ぶということを意味します。デフォルトでは上位16語から各々1024件を取り出して上位4096件を候補とします。</p>
<p>関連文書検索と順序指定式を同時に指定した場合、類似度が0.5以上の文書に絞り込んだ上で、順序指定式に基づいて並べられます。なお、関連文書検索の検索速度はとても遅いです。後述のキーワードデータベースを使うと類似検索を高速化することができます。</p>
<h3>類似隠蔽</h3>
<p>検索結果に似たような文書ばかりが並んで鬱陶しい場合は、類似隠蔽機能を利用してください。類似隠蔽機能のインターフェイスはアプリケーションによって異なりますが、0.0から1.0までの類似度を指定します。すると、検索結果の各々の文書に対して、指定した値を越える類似度を持つ他の文書を重ねる処理を行います。重なった文書群の中で表示されるのは最も順位の高いものだけです。類似度の指定は0.7から0.9までの間にすると使いやすいでしょう。</p>
<p>類似度に「<code>file</code>」を指定した場合、同じファイルに対する異なるURL（CGI等のクエリ文字列など）の文書を隠蔽します。「<code>dir</code>」を指定した場合、同じディレクトリ内にある文書を隠蔽します。「<code>serv</code>」を指定した場合、同じサーバ内にある文書を隠蔽します。</p>
<h3>ID検索とURI検索</h3>
<p>検索フレーズが「<kbd>[ID]</kbd>」で始まっている場合にはID検索が行われます。指定したID番号の文書のみが該当します。例えば、「<code>[ID] 5</code>」のようにします。検索フレーズが「<kbd>[URI]</kbd>」で始まっている場合にはURI検索が行われます。指定したURIの文書のみが該当します。例えば、「<code>[URI] http://estraier.gov/foo.html</code>」のようにします。これらによって、検索コマンド（<code>estcmd search</code>）を取得コマンド（<code>estcmd get</code>）の代用として使うことができます。</p>
<hr />
<h2 id="wordextraction">検索語の抽出</h2>
<p>文書の本文や検索フレーズの文字列から検索語を抽出する際には、いくつかのルールがあります。ここでは、そのルールついて詳しく説明します。</p>
<h3>検索語の抽出</h3>
<p>英語やその他のヨーロッパの言語にのように空白で語が区切れる場合、空白で区切った文字列を検索語として登録します。「<code>It is fine today.</code>」という文字列からは、「<code>it</code>」「<code>is</code>」「<code>fine</code>」「<code>today</code>」「<code>.</code>」の5個の検索語が抽出されます。</p>
<p>日本語をはじめとする、語を空白で区切れない言語の場合は、N-gramという手法で検索語が抽出されます。連続するN文字を語として、1文字ずつずらしながら語を抽出する手法です。Hyper Estraierでは2文字を語とするので2-gram（bi-gram）と呼ばれることもあります。例えば「本日は晴天なり。」という文字列からは、「<code>本日</code>」「<code>日は</code>」「<code>は晴</code>」「<code>晴天</code>」「<code>天な</code>」「<code>なり</code>」「<code>り。</code>」の7個の検索語が抽出されます。</p>
<p>2-gram方式だと1文字の検索語はどの検索キーにも一致しないことになりますが、それでも検索は可能です。1文字の検索語が指定された場合、その文字を含む全てのキーのOR検索が内部的に行われます。ただし、調べるキーの数が多いので、検索速度は少し遅くなります。</p>
<h3>検査の省略による高速化</h3>
<p>「<code>ホンマグロ</code>」という検索語が指定された場合「<code>ホン</code>」「<code>ンマ</code>」「<code>マグ</code>」「<code>グロ</code>」を含み、かつそれぞれが隣り合っている部分がある文書を該当とみなせばよいことになります。しかし、デフォルトでは全ての語をの検査をせず、「<code>ホン</code>」と「<code>マグ</code>」だけを調べます。「ホン」の1つ飛ばした隣に「<code>マグ</code>」があるならば、「<code>ンマ</code>」を調べる必要はないからです。また、各検索語は後ろになにが来るかという情報を持っているので、「<code>マグ</code>」を調べると「<code>グロ</code>」の存在もわかります。このような工夫をしてなるべく検査を省略した方が、応答時間が短くなって快適です。</p>
<p>ただし、スコアの計算は、調べた検索語が各該当文書の中で出現する数を基準に行うので、全ての語を調べた方が精度が高まることが多いです。つまり、速度と精度のトレードオフの関係になります。どちらを優先するかはアプリケーションのコマンドラインオプションや設定ファイルで指定します。<code>estseek.cgi</code>のデフォルトの設定では1個飛ばしで検査するようになっています。</p>
<h3>精度の制限による高速化</h3>
<p>Hyper Estraierでは、N-gramの連接判定の精度を落とすことによって処理速度を上げる工夫がなされています。検索やインデックス更新の処理が高速な反面、まれに検索語が含まれない文書が該当とみなされることがあります。検索語の後ろ2語まで（日本語なら3文字分）の連接判定しかしませんので、「<code>シミュレーション</code>」で検索した場合、「<code>シミュレ</code>」「<code>ミュレー</code>」「<code>ュレーシ</code>」「<code>レーショ</code>」「<code>ーション</code>」の全てを含む文書は、たとえ「<code>シミュレーション</code>」がなくても該当してしまいます。また、連接判定にはハッシュ関数を用いますので、まれ（251分の1の確率）に精度が3語分を下回ることがあります。</p>
<p>ただし、スニペットを作る際には文字列の逐次探索による完全な連接判定が行われますので、スニペットの中に検索語のハイライトが含まれない文書は検索ゴミであることが容易にわかります。なお、<code>estseek.cgi</code>には、検索ゴミであることを検出して表示しないようにするオプションもあります。</p>
<h3>分かち書き方式との比較</h3>
<p>N-gram方式と対比されるアプローチとして、分かち書き方式があります。自然言語の文法や語法に基づく方法で単語や形態素を切り出すものです。Hyper Estraierの前身である<a href="http://estraier.sourceforge.net/">Estraier</a>では分かち書き方式を採用していました。N-gram方式は再現率がほぼ完璧である（検索漏れがない）という利点がありますが、分かち書き方式に比べて精度が低い（検索ゴミが多い）という欠点があります。検索システムの用途や対象文書の内容によってどちらが適するかは変わってきます。興味を持たれた方は、Hyper EstraierとEstraierの使い勝手を比べてみてください。</p>
<p>Hyper Estraierには、N-gram方式と分かち書き方式を併用するオプションもあります。N-gramで抽出した語からなるメインインデックスとは別に、分かち書きで抽出した重要語だけからなる補助インデックスを管理します。そうすると、検索語が適切に分かち書きできた場合は、補助インデックスを見て、高速で高精度な検索を行うことができます。分かち書きがうまく行えなかった場合も、メインインデックスを見れば、検索漏れのない結果を提示することができます。</p>
<hr />
<h2 id="estcmd">管理用コマンド</h2>
<p>ここでは、インデックス管理用コマンド<code>estcmd</code>の詳細な仕様を説明します。検索もできるので、<code>estcmd</code>をスクリプト言語から呼び出せばそれなりのアプリケーションが簡単に作れます。</p>
<h3>書式</h3>
<p>estcmdは多くのサブコマンドの集合体です。サブコマンドの名前は第1引数で指定されます。その他の引数はサブコマンドの種類に応じて解釈されます。<var>db</var>という引数はインデックスのパスです。</p>
<dl>
<dt><kbd>estcmd create [-tr] [-apn|-acc] [-xs|-xl|-xh|-xh2|-xh3] [-sv|-si|-sa] [-attr <var>name</var> <var>type</var>] <var>db</var></kbd></dt>
<dd>インデックスを作成します。</dd>
<dd>-trをつけると、既にインデックスがある場合にも新しいインデックスを作成します。</dd>
<dd>-apnをつけると、全ての言語をN-gram法で処理します。</dd>
<dd>-accをつけると、N-gram法の代わりに文字種分類法を利用します。</dd>
<dd>-xsをつけると、50000件未満の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xlをつけると、300000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xhをつけると、1000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh2をつけると、5000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh3をつけると、10000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-svをつけると、スコア情報を破棄します。</dd>
<dd>-siをつけると、スコア情報を32ビットの数値として記録します。</dd>
<dd>-saをつけると、スコア情報をそのまま保存した上で検索時に調整されないようにマークします。</dd>
<dd>-attrは属性インデックスの対象となる属性名とデータ型を指定します。複数指定可能です。</dd>
</dl>
<dl>
<dt><kbd>estcmd put [-tr] [-cl] [-ws] [-apn|-acc] [-xs|-xl|-xh|-xh2|-xh3] [-sv|-si|-sa] <var>db</var> [<var>file</var>]</kbd></dt>
<dd>文書ドラフト形式のファイルを登録します。</dd>
<dd><var>file</var>は対象のファイルを指定しますが、省略した場合は標準入力が読み込まれます。</dd>
<dd>-trをつけると、既にインデックスがある場合にも新しいインデックスを作成します。</dd>
<dd>-clを付けると、上書きされた文書の領域を整理します。</dd>
<dd>-wsを付けると、重み付け属性を静的に適用します。</dd>
<dd>-apnをつけると、全ての言語をN-gram法で処理します。</dd>
<dd>-accをつけると、N-gram法の代わりに文字種分類法を利用します。</dd>
<dd>-xsをつけると、50000件未満の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xlをつけると、300000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xhをつけると、1000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh2をつけると、5000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh3をつけると、10000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-svをつけると、スコア情報を破棄します。</dd>
<dd>-siをつけると、スコア情報を32ビットの数値として記録します。</dd>
<dd>-saをつけると、スコア情報をそのまま保存した上で検索時に調整されないようにマークします。</dd>
</dl>
<dl>
<dt><kbd>estcmd out [-cl] [-pc <var>enc</var>] <var>db</var> <var>expr</var></kbd></dt>
<dd>特定の文書の情報をインデックスから削除します。</dd>
<dd><var>expr</var>は対象のID番号かURIかローカルパスを指定します。</dd>
<dd>-clを付けると、削除された文書の領域を整理します。</dd>
<dd>-pcはファイルのパスの文字コードを指定します。デフォルトはISO-8859-1です。</dd>
</dl>
<dl>
<dt><kbd>estcmd edit [-pc <var>enc</var>] <var>db</var> <var>expr</var> <var>name</var> [<var>value</var>]</kbd></dt>
<dd>特定の文書の属性を更新します。</dd>
<dd><var>expr</var>は対象のID番号かURIかローカルパスを指定します。</dd>
<dd><var>name</var>は属性の名前を指定します。</dd>
<dd><var>value</var>は属性の値を指定します。省略した場合その属性は削除されます。</dd>
<dd>-pcはファイルのパスと属性値の文字コードを指定します。デフォルトはISO-8859-1です。</dd>
</dl>
<dl>
<dt><kbd>estcmd get [-nl|-nb] [-pidx <var>path</var>] [-pc <var>enc</var>] <var>db</var> <var>expr</var> [<var>attr</var>]</kbd></dt>
<dd>特定の文書の情報を文書ドラフト形式で出力します。</dd>
<dd><var>expr</var>は対象のID番号かURIかローカルパスを指定します。</dd>
<dd><var>attr</var>を付けると、その属性の値のみを出力します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-pidxは検索対象に追加する疑似インデックスのパスを指定します。複数指定可能です。</dd>
<dd>-pcはファイルのパスの文字コードを指定します。デフォルトはISO-8859-1です。</dd>
</dl>
<dl>
<dt><kbd>estcmd list [-nl|-nb] [-lp] <var>db</var></kbd></dt>
<dd>インデックスに登録されている全ての文書のID番号を出力します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-lpを付けると、「file://」のURIに対応するローカルパスも出力します。</dd>
</dl>
<dl>
<dt><kbd>estcmd uriid [-pidx <var>path</var>] [-nl|-nb] [-pc <var>enc</var>] <var>db</var> <var>expr</var></kbd></dt>
<dd>指定したURIの文書のID番号を出力します。</dd>
<dd><var>expr</var>は対象のURIかローカルパスを指定します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-pidxは検索対象に追加する疑似インデックスのパスを指定します。複数指定可能です。</dd>
<dd>-pcはファイルのパスの文字コードを指定します。デフォルトはISO-8859-1です。</dd>
</dl>
<dl>
<dt><kbd>estcmd meta <var>db</var> [<var>name</var> [<var>value</var>]]</kbd></dt>
<dd>インデックスのメタデータを扱います。</dd>
<dd><var>name</var>はメタデータの名前を指定します。省略した場合は名前の一覧を出力します。</dd>
<dd><var>value</var>は記録するメタデータの値を指定します。省略した場合は現状の値を出力します。空文字列の場合は削除します。</dd>
</dl>
<dl>
<dt><kbd>estcmd inform [-nl|-nb] <var>db</var></kbd></dt>
<dd>インデックスに登録された文書数や異なり語数などの情報を出力します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
</dl>
<dl>
<dt><kbd>estcmd optimize [-onp] [-ond] <var>db</var></kbd></dt>
<dd>インデックスを最適化して、不要な領域を削除します。</dd>
<dd>-onpを付けると、削除された文書の領域を回収する処理を省略します。</dd>
<dd>-ondを付けると、データベースファイルの最適化を省略します。</dd>
</dl>
<dl>
<dt><kbd>estcmd merge [-cl] <var>db</var> <var>target</var></kbd></dt>
<dd>別のインデックスをマージします。</dd>
<dd><var>target</var>は別のインデックスのパスを指定します。</dd>
<dd>-clを付けると、削除された文書の領域を整理します。</dd>
</dl>
<dl>
<dt><kbd>estcmd repair [-rst|-rsh] <var>db</var></kbd></dt>
<dd>壊れたインデックスを修復します。</dd>
<dd>-rstを付けると、厳密な整合性検査を行います。</dd>
<dd>-rshを付けると、整合性検査を省略します。</dd>
</dl>
<dl>
<dt><kbd>estcmd search [-nl|-nb] [-pidx <var>path</var>] [-ic <var>enc</var>] [-vu|-va|-vf|-vs|-vh|-vx|-dd] [-sn <var>wnum</var> <var>hnum</var> <var>anum</var>] [-kn <var>num</var>] [-ec <var>rn</var>] [-gs|-gf|-ga] [-cd] [-ni] [-sf|-sfr|-sfu|-sfi] [-hs] [-attr <var>expr</var>] [-ord <var>expr</var>] [-max <var>num</var>] [-sk <var>num</var>] [-aux <var>num</var>] [-dis <var>name</var>] [-sim <var>id</var>] <var>db</var> [<var>phrase</var>]</kbd></dt>
<dd>インデックスに登録された文書を検索します。</dd>
<dd><var>phrase</var>は全文検索の検索式を指定します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-pidxは検索対象に追加する疑似インデックスのパスを指定します。複数指定可能です。</dd>
<dd>-icは引数の文字コードを指定します。デフォルトはUTF-8です。</dd>
<dd>-vuを付けると、ID番号とURIをタブ区切りにした形式で結果を出力します。</dd>
<dd>-vaを付けると、属性情報を含めたマルチパート形式で結果を出力します。</dd>
<dd>-vfを付けると、文書ドラフト形式を含めたマルチパート形式で結果を出力します。</dd>
<dd>-vsを付けると、属性情報とスニペットを含めたマルチパート形式で結果を出力します。</dd>
<dd>-vhを付けると、属性情報とスニペットを人間が読みやすい形式にして結果を出力します。</dd>
<dd>-vxを付けると、属性情報とスニペットをXML形式にして結果を出力します。</dd>
<dd>-ddを付けると、結果を文書ドラフト形式のファイルとして保存します。</dd>
<dd>-snは、スニペットの全体の幅と冒頭から抽出する幅とハイライトされる語の周辺から抽出する幅を指定します。</dd>
<dd>-knは、抽出するキーワードの数を指定します。デフォルトではキーワード抽出は行いません。</dd>
<dd>-umを付けると、キーワードを抽出する際に形態素解析器を用います。</dd>
<dd>-ecは類似隠蔽の下限類似度を0.0から1.0までの実数で指定します。「serv」を指定するとサーバ単位になり、「dir」を指定するとディレクトリ単位になり、「file」を指定するとファイル単位になります。</dd>
<dd>-gsを付けると、N-gramの全てのキーの存在を検査します。デフォルトは1個置きです。</dd>
<dd>-gfを付けると、N-gramのキーを2個置きで検査します。</dd>
<dd>-gaを付けると、N-gramのキーを3個置きで検査します。</dd>
<dd>-cdを付けると、文書の内容がフレーズと確実に適合するか検査します。</dd>
<dd>-niを付けると、TF-IDF法によるスコアの調整を行いません。</dd>
<dd>-sfを付けると、検索式を簡便書式として扱います。</dd>
<dd>-sfrを付けると、検索式を粗略書式として扱います。</dd>
<dd>-sfuを付けると、検索式を論理和書式として扱います。</dd>
<dd>-sfiを付けると、検索式を論理積書式として扱います。</dd>
<dd>-hsを付けると、該当文書のスコア情報を属性として出力します。</dd>
<dd>-attrは絞り込みの属性条件を指定します。複数指定可能です。</dd>
<dd>-ordはソート条件を指定します。デフォルトはスコアの降順です。</dd>
<dd>-maxは最大表示件数を指定します。負数にすると無制限になります。デフォルトは10件です。</dd>
<dd>-skは表示をスキップする件数を指定します。デフォルトは0件です。</dd>
<dd>-auxは補助インデックスの結果を採用する許可を指定します。0を越えない値を指定すると補助インデックスは使われません。デフォルトは32件です。</dd>
<dd>-disは重複回避属性の名前を指定します。</dd>
<dd>-simは類似検索の種文書のID番号を指定します。</dd>
</dl>
<dl>
<dt><kbd>estcmd gather [-tr] [-cl] [-ws] [-no] [-fe|-ft|-fh|-fm] [-fx <var>sufs</var> <var>cmd</var>] [-fz] [-fo] [-rm <var>sufs</var>] [-ic <var>enc</var>] [-il <var>lang</var>] [-bc] [-lt <var>num</var>] [-lf <var>num</var>] [-pc <var>enc</var>] [-px <var>name</var>] [-aa <var>name</var> <var>value</var>] [-apn|-acc] [-xs|-xl|-xh|-xh2|-xh3] [-sv|-si|-sa] [-ss <var>name</var>] [-sd] [-cm] [-cs <var>num</var>] [-ncm] [-kn <var>num</var>] [-um] <var>db</var> [<var>file</var>|<var>dir</var>]</kbd></dt>
<dd>ファイルシステムを探索して文書を登録します。</dd>
<dd>第3引数としてファイル名を指定すると、そのファイルから処理対象のパスのリストを読み込みます。「-」を指定した場合、標準入力が読み込まれます。findコマンドの出力を読み込むと便利です。</dd>
<dd>第3引数としてディレクトリ名を指定すると、そのディレクトリ以下の全てのファイルを処理対象にします。</dd>
<dd>-trをつけると、既にインデックスがある場合にも新しいインデックスを作成します。</dd>
<dd>-clを付けると、上書きされた文書の領域を整理します。</dd>
<dd>-wsを付けると、重み付け属性を静的に適用します。</dd>
<dd>-noを付けると、処理内容の表示だけを行い、実際の処理を行いません。</dd>
<dd>-feを付けると、処理対象の全てのファイルを文書ドラフトとして扱います。デフォルトでは、拡張子によって文書形式を判断し、サポート外のものは無視されます。</dd>
<dd>-ftを付けると、処理対象の全てのファイルをプレーンテキストとして扱います。</dd>
<dd>-fhを付けると、処理対象の全てのファイルをHTMLとして扱います。</dd>
<dd>-fmを付けると、処理対象の全てのファイルをMIMEとして扱います。</dd>
<dd>-fxは、ファイル名の接尾辞に関連づけた外部コマンドを指定します。カンマ区切りで複数の接尾辞を指定できます。「*」だと全てのファイルに一致します。コマンド名の前に「T@」をつけるとその出力がプレーンテキストとして解析され、「H@」をつけるとHTMLとして解析され、「M@」をつけるとMIMEとして解析され、いずれでもない場合は文書ドラフトとして解析されます。このオプションは複数回指定できます。</dd>
<dd>-fzを付けると、-fxの条件に当てはまらないファイルを無視します。</dd>
<dd>-foを付けると、処理対象のファイルを読み込みません。外部フィルタの効率化のために使います。</dd>
<dd>-rmは、処理後に削除するファイルを指定します。カンマ区切りで複数の接尾辞を指定できます。「*」を指定すると全てのファイルを削除します。このオプションは複数回指定できます。</dd>
<dd>-icは対象文書の文字コードを指定します。デフォルトは自動判定です。</dd>
<dd>-ilは文字コードの判定で優先される言語を指定します。デフォルトは英語です。</dd>
<dd>-bcを付けると、バイナリファイルを検出して処理対象から除外します。</dd>
<dd>-ltは、解析するテキストのサイズ制限をキロバイト単位で指定します。デフォルトは128KBです。負数にすると無制限になります。制限を超えた場合、先頭から制限サイズまでのテキストが解析されます。</dd>
<dd>-lfは、読み込むファイルのサイズ制限をメガバイト単位で指定します。デフォルトは32MBです。負数にすると無制限になります。制限を超えた場合、そのファイルは無視されます。</dd>
<dd>-pcはファイルのパスの文字コードを指定します。デフォルトはISO-8859-1です。</dd>
<dd>-pxはパスのリストから読み取る属性の名前を指定します。パスのリストはTSV形式にすることができ、第1フィールドは対象文書のパス名、第2フィールド以降は属性値の定義として扱われます。-pxによって第2フィールド以降に対応する属性名を定義します。このオプションは複数回指定できます。</dd>
<dd>-aaは追加する属性の名前と値を指定します。このオプションは複数回指定できます。</dd>
<dd>-apnをつけると、全ての言語をN-gram法で処理します。</dd>
<dd>-accをつけると、N-gram法の代わりに文字種分類法を利用します。</dd>
<dd>-xsをつけると、50000件未満の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xlをつけると、300000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xhをつけると、1000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh2をつけると、5000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-xh3をつけると、10000000件以上の文書を登録することを想定してインデックスを作成します。</dd>
<dd>-svをつけると、スコア情報を破棄します。</dd>
<dd>-siをつけると、スコア情報を32ビットの数値として記録します。</dd>
<dd>-saをつけると、スコア情報をそのまま保存した上で検索時に調整されないようにマークします。</dd>
<dd>-ssは、代替スコアとして扱う属性の名前を指定します。</dd>
<dd>-sdを付けると、ファイルの更新日時を文書の属性として追加します。</dd>
<dd>-cmを付けると、文書の属性の更新日時がファイルの更新日時より古い場合にのみ登録を行います。</dd>
<dd>-csは、キャッシュメモリのサイズをメガバイト単位で指定します。デフォルトは64MBです。</dd>
<dd>-ncmをつけると、仮想メモリの残量検査を省略します。</dd>
<dd>-knは、抽出するキーワードの数を指定します。デフォルトではキーワード抽出は行いません。</dd>
<dd>-umを付けると、キーワードを抽出する際に形態素解析器を用います。</dd>
</dl>
<dl>
<dt><kbd>estcmd purge [-cl] [-no] [-fc] [-pc <var>enc</var>] [-attr <var>expr</var>] <var>db</var> [<var>prefix</var>]</kbd></dt>
<dd>インデックス内にあってファイルシステム上にない文書の情報を削除します。</dd>
<dd><var>prefix</var>を指定すると、その文字列で始まるURIの文書のみを対象とします。ディレクトリのローカルパスでも指定できます。</dd>
<dd>-clを付けると、削除された文書の領域を整理します。</dd>
<dd>-noを付けると、処理内容の表示だけを行い、実際の処理を行いません。</dd>
<dd>-fcを付けると、ファイルがあるかないかにかかわらず文書情報を削除します。</dd>
<dd>-pcはファイルのパスの文字コードを指定します。デフォルトはISO-8859-1です。</dd>
<dd>-attrは絞り込みの属性条件を指定します。複数指定可能です。</dd>
</dl>
<dl>
<dt><kbd>estcmd extkeys [-no] [-fc] [-dfdb <var>file</var>] [-ncm] [-ni] [-kn <var>num</var>] [-um] [-attr <var>expr</var>] <var>db</var> [<var>prefix</var>]</kbd></dt>
<dd>インデックス内の各文書のキーワードを抽出したデータベースを作成します。</dd>
<dd><var>prefix</var>を指定すると、その文字列で始まるURIの文書のみを対象とします。</dd>
<dd>-noを付けると、処理内容の表示だけを行い、実際の処理を行いません。</dd>
<dd>-fcを付けると、既にキーワードが登録されている文書でもキーワードを作りなおします。</dd>
<dd>-dfdbは、文書頻度を記録した外部データベースを指定します。デフォルトではインデックスから動的に文書頻度を計算します。</dd>
<dd>-ncmをつけると、仮想メモリの残量検査を省略します。</dd>
<dd>-niを付けると、TF-IDF法によるスコアの調整を行いません。</dd>
<dd>-knは、抽出するキーワードの数を指定します。デフォルトは32個です。</dd>
<dd>-umを付けると、キーワードを抽出する際に形態素解析器を用います。</dd>
<dd>-attrは絞り込みの属性条件を指定します。複数指定可能です。</dd>
</dl>
<dl>
<dt><kbd>estcmd words [-nl|-nb] [-dfdb <var>file</var>] [-kw|-kt] <var>db</var></kbd></dt>
<dd>インデックス内の異なり語とそのレコードサイズ（文書頻度）を出力します。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-dfdbは、結果を格納する外部のデータベースを指定します。デフォルトでは標準出力にTSV形式で出力されます。外部データベースが既に存在する場合は、各レコードの値を加算します。</dd>
<dd>-kwを付けると、キーワードとその該当文書数を出力します。</dd>
<dd>-ktを付けると、キーワードとその関連語を出力します。</dd>
</dl>
<dl>
<dt><kbd>estcmd draft [-ft|-fh|-fm] [-ic <var>enc</var>] [-il <var>lang</var>] [-bc] [-lt <var>num</var>] [-kn <var>num</var>] [-um] [<var>file</var>]</kbd></dt>
<dd>各種形式のファイルを文書ドラフト形式に変換して出力します。</dd>
<dd><var>file</var>は対象のファイルを指定しますが、省略した場合は標準入力が読み込まれます。</dd>
<dd>-ftを付けると、対象をプレーンテキストとして扱います。デフォルトは文書ドラフト形式です。</dd>
<dd>-fhを付けると、対象をHTMLとして扱います。</dd>
<dd>-fmを付けると、対象をMIMEとして扱います。</dd>
<dd>-icは対象文書の文字コードを指定します。デフォルトは自動判定です。</dd>
<dd>-ilは文字コードの判定で優先される言語を指定します。デフォルトは英語です。</dd>
<dd>-bcを付けると、バイナリファイルを検出して処理対象から除外します。</dd>
<dd>-ltは、解析するテキストのサイズ制限をキロバイト単位で指定します。デフォルトは256KBです。負数にすると無制限になります。制限を超えた場合、先頭から制限サイズまでのテキストが解析されます。</dd>
<dd>-knは、抽出するキーワードの数を指定します。</dd>
<dd>-umを付けると、キーワードを抽出する際に形態素解析器を用います。</dd>
</dl>
<dl>
<dt><kbd>estcmd break [-ic <var>enc</var>] [-il <var>lang</var>] [-apn|-acc] [-wt] [<var>file</var>]</kbd></dt>
<dd>プレーンテキストを検索語に分解します。</dd>
<dd><var>file</var>は対象のファイルを指定しますが、省略した場合は標準入力が読み込まれます。「@」で始まる場合、「@」より後ろの文字列そのものを処理対象とします。</dd>
<dd>-icは処理対象の文字コードを指定します。デフォルトは自動判定です。</dd>
<dd>-ilは文字コードの判定で優先される言語を指定します。デフォルトは英語です。</dd>
<dd>-apnをつけると、全ての言語をN-gram法で処理します。</dd>
<dd>-accをつけると、N-gram法の代わりに文字種分類法を利用します。</dd>
<dd>-wtを付けると、「末尾の1-gram」も出力します。</dd>
</dl>
<dl>
<dt><kbd>estcmd iconv [-ic <var>enc</var>] [-il <var>lang</var>] [-oc <var>enc</var>] [<var>file</var>]</kbd></dt>
<dd>文字コードを変換します。</dd>
<dd><var>file</var>は対象のファイルを指定しますが、省略した場合は標準入力が読み込まれます。「@」で始まる場合、「@」より後ろの文字列そのものを処理対象とします。</dd>
<dd>-icは処理対象の文字コードを指定します。デフォルトは自動判定です。</dd>
<dd>-ilは文字コードの判定で優先される言語を指定します。デフォルトは英語です。</dd>
<dd>-ocは出力の文字コードを指定します。デフォルトはUTF-8です。</dd>
</dl>
<dl>
<dt><kbd>estcmd regex [-inv] [-repl <var>str</var>] <var>expr</var> [<var>file</var>]</kbd></dt>
<dd>正規表現を含む行を出力します。</dd>
<dd><var>expr</var>は正規表現を指定します。</dd>
<dd><var>file</var>は対象のファイルを指定しますが、省略した場合は標準入力が読み込まれます。</dd>
<dd>-invを付けると、正規表現にマッチしない行を出力します。</dd>
<dd>-replを付けると、正規表現にマッチする部分を指定した文字列に置き換えるとともに、マッチしない行も出力します。</dd>
</dl>
<dl>
<dt><kbd>estcmd scandir [-tf|-td] [-pa|-pu] [<var>dir</var>]</kbd></dt>
<dd>ディレクトリに含まれるファイルを再帰的に探索して出力します。</dd>
<dd><var>dir</var>は探索の起点となるディレクトリを指定しますが、省略した場合はカレントディレクトリが指定されます。</dd>
<dd>-tfを付けると、通常のファイルのみを出力します。</dd>
<dd>-tdを付けると、ディレクトリのみを出力します。</dd>
<dd>-paを付けると、絶対パスを出力します。</dd>
<dd>-puを付けると、URLを出力します。</dd>
</dl>
<dl>
<dt><kbd>estcmd multi [-db <var>db</var>] [-nl|-nb] [-ic <var>enc</var>] [-gs|-gf|-ga] [-cd] [-ni] [-sf|-sfr|-sfu|-sfi] [-hs] [-hu] [-attr <var>expr</var>] [-ord <var>expr</var>] [-max <var>num</var>] [-sk <var>num</var>] [-aux <var>num</var>] [-dis <var>name</var>] [<var>phrase</var>]</kbd></dt>
<dd>ローカルメタ検索のテストを行います。</dd>
<dd><var>phrase</var>は全文検索の検索式を指定します。</dd>
<dd>-dbは、メタ検索の対象となるデータベースを指定します。複数指定可能です。</dd>
<dd>-nlを付けると、ファイルロックをかけないでインデックスを開きます。</dd>
<dd>-nbを付けると、ブロックせずにファイルロックをかけます。</dd>
<dd>-pidxは検索対象に追加する疑似インデックスのパスを指定します。複数指定可能です。</dd>
<dd>-icは引数の文字コードを指定します。デフォルトはUTF-8です。</dd>
<dd>-gsを付けると、N-gramの全てのキーの存在を検査します。デフォルトは1個置きです。</dd>
<dd>-gfを付けると、N-gramのキーを2個置きで検査します。</dd>
<dd>-gaを付けると、N-gramのキーを3個置きで検査します。</dd>
<dd>-cdを付けると、文書の内容がフレーズと確実に適合するか検査します。</dd>
<dd>-niを付けると、TF-IDF法によるスコアの調整を行いません。</dd>
<dd>-sfを付けると、検索式を簡便書式として扱います。</dd>
<dd>-sfrを付けると、検索式を粗略書式として扱います。</dd>
<dd>-sfuを付けると、検索式を論理和書式として扱います。</dd>
<dd>-sfiを付けると、検索式を論理積書式として扱います。</dd>
<dd>-hsを付けると、該当文書のスコア情報を出力に含めます。</dd>
<dd>-huを付けると、該当文書のうURLを出力に含めます。</dd>
<dd>-attrは絞り込みの属性条件を指定します。複数指定可能です。</dd>
<dd>-ordはソート条件を指定します。デフォルトはスコアの降順です。</dd>
<dd>-maxは最大表示件数を指定します。負数にすると無制限になります。デフォルトは10件です。</dd>
<dd>-skは表示をスキップする件数を指定します。デフォルトは0件です。</dd>
<dd>-auxは補助インデックスの結果を採用する許可を指定します。0を越えない値を指定すると補助インデックスは使われません。デフォルトは32件です。</dd>
<dd>-disは重複回避属性の名前を指定します。</dd>
</dl>
<dl>
<dt><kbd>estcmd randput [-ren|-rla|-reu|-ror|-rjp|-rch] [-cs num] <var>db</var> <var>dnum</var></kbd></dt>
<dd>無作為に生成した文書を登録するテストを行います。</dd>
<dd>-renを付けると、英文風の文書のみを登録します。デフォルトは全種類を登録します。</dd>
<dd>-rlaを付けると、独文、仏文、西文風の文書のみを登録します。</dd>
<dd>-reuを付けると、希文、露文風の文書のみを登録します。</dd>
<dd>-rorを付けると、アジア全域の文字を使った文書のみを登録します。</dd>
<dd>-rjpを付けると、和文風の文書のみを登録します。</dd>
<dd>-rchを付けると、UCS-2の全ての文字を使った文書のみを登録します。</dd>
<dd>-csは、キャッシュメモリのサイズをメガバイト単位で指定します。デフォルトは64MBです。</dd>
</dl>
<dl>
<dt><kbd>estcmd wicked <var>db</var> <var>dnum</var></kbd></dt>
<dd>文書の登録、削除、検索、データベースの開閉、最適化などを無作為に繰り返すテストを行います。</dd>
<dd><var>dnum</var>は処理の回数を指定します。</dd>
</dl>
<dl>
<dt><kbd>estcmd regression <var>db</var></kbd></dt>
<dd>回帰テストを行います。</dd>
</dl>
<dl>
<dt><kbd>estcmd version</kbd></dt>
<dd>バージョンと著作権の情報を出力します。</dd>
</dl>
<p>全てのサブコマンドは、処理が正常に終了した場合には0を、そうでない場合は1を終了ステータスにします。<code>put</code>、<code>out</code>、<code>gather</code>、<code>purge</code>、<code>randput</code>、<code>wicked</code>、<code>regression</code>については、実行中のプロセスに1（SIGHUP）、2（SIGINT）、3（SIGQUIT）、13（SIGPIPE）、15（SIGTERM）のどれかのシグナルを送ることにより、データベースを閉じて正常終了させることができます。</p>
<p><code>create</code>の「<code>-attr</code>」オプションにおけるデータ型は、「<code>seq</code>」ならシーケンシャル型、「<code>str</code>」なら文字列型、「<code>num</code>」なら数値型になります。</p>
<p><code>gather</code>等の「<code>-ic</code>」オプションでは、「<code>UTF-8</code>」「<code>EUC-JP</code>」「<code>Shift_JIS</code>」「<code>ISO-2022-JP</code>」「<code>ISO-8859-1</code>」などの、IETFに登録されている文字コード名を指定してください。実際には、iconvが認識する名前は全て使えます。また、「<code>-il</code>」オプションでは、「<code>en</code>」（英語）、「<code>ja</code>」（日本語）、「<code>zh</code>」（中国語）、「<code>ko</code>」（朝鮮語）のどれかを指定してください。</p>
<p><code>gather</code>の「<code>-fx</code>」オプションで指定した外部コマンドは、第1引数に対象文書のパス、第2引数に出力先のパスが渡されて呼び出されます。すなわち、外部コマンドは第1引数のファイルを解析して文書ドラフトやプレーンテキストやHTMLやMIMEを生成し、第2引数のファイルに書き込むという機能を持つことが期待されます。なお、対象文書は一時ファイルとしてコピーされて渡されます。対象文書の元来のパスは環境変数<code>ESTORIGFILE</code>の値として渡されますが、決して元のファイルを変更してはいけません。<code>ESTORIGFILE</code>を使う場合はファイルを読み込む必要はありませんので、「<code>-fo</code>」オプションも同時につけるとよいでしょう。</p>
<p><code>gather</code>と<code>extkeys</code>の実行時には、仮想メモリの空き領域が少ない場合には処理を停止するチェック機能が働きます。UNIX系のOSでスワップ領域を確保していない場合はこのチェックが誤動作する場合がありますので、その際には「<code>-ncm</code>」オプションを指定して実行してください。</p>
<h3>応用例：メールボックスのインデクシング</h3>
<p>mh形式（1メール＝1ファイル）でメールボックスを管理するメーラ（Mew、Wanderlust、Sylpheedなど）をお使いなら、個々のメールを対象にした全文検索のインデックスを簡単に作ることができます。例えば、メールボックスが「/home/mikio/Mail」にあり、その中のbusinessフォルダかfriendsフォルダに振り分けられたメールを登録する場合、以下のコマンドを実行します。</p>
<pre>find /home/mikio/Mail -type f | egrep 'inbox/(business|friends)/[0-9]+$' |
estcmd gather -cl -fm -cm casket -
</pre>
<p>作成されたインデックスは、<code>estseek.cgi</code>を使って検索することができます。なお、<code>-cm</code>オプションをつけておくことで、差分更新ができます。MIMEにはDateヘッダがありますので、<code>-sd</code>オプションでファイルの更新時刻を持ってくる必要はありません。</p>
<p>mh形式以外のメーラをお使いの場合は、mh形式になるようにメールをエクスポートしてください。Windowsで言うところのEML形式でも構いません。あるいは、APIを使って専用のアプリケーションを作成してください。</p>
<h3>応用例：外部コマンドのフィルタ</h3>
<p>外部コマンドをフィルタとして呼び出すこともできます。「<code>/usr/local/share/hyperestraier/filter/</code>」に各種のフィルタがインストールされているので、適宜ご利用ください。</p>
<p><code>estfxmantotxt</code>はUNIXの<code>man</code>のマニュアルをプレーンテキスト形式に変換するフィルタです。以下のように利用して、<code>man</code>のファイルを対象にしたインデックスを作ることができます。</p>
<pre>PATH=$PATH:/usr/local/share/hyperestraier/filter ; export PATH
find /usr/share/man /usr/local/man -type f |
egrep '.*/man[0-3]/.*\.[0-3](.gz)*$' |
estcmd gather -cl -fx ".1,.2,.3,.1.gz,.2.gz,.3.gz" "T@estfxmantotxt" -fz -sd -cm casket -
</pre>
<p><code>estfxmsotohtml</code>はMS-Office（Word/Excel/PowerPoint）のファイルをHTML形式に変換するフィルタです。以下のように利用して、MS-Officeのファイルを対象にしたインデックスを作ることができます。なお、<code>estfxmsotohtml</code>を動作させるには<a href="http://sourceforge.net/projects/wvware/">wvWare</a>（wv-1.0.3）と<a href="http://sourceforge.net/projects/chicago/">xlhtml</a>（ppthtmlも同梱）をインストールしておくことが必要です。</p>
<pre>PATH=$PATH:/usr/local/share/hyperestraier/filter ; export PATH
estcmd gather -cl -fx ".doc,.xls,.ppt" "H@estfxmsotohtml" -fz -ic UTF-8 -sd -cm casket .
</pre>
<p><code>estfxpdftohtml</code>はPDFのファイルをHTML形式に変換するフィルタです。以下のように利用して、PDFのファイルを対象にしたインデックスを作ることができます。なお、<code>estfxpdftohtml</code>を動作させるには<code>pdftotext</code>（<a href="http://www.foolabs.com/xpdf/">xpdf</a>に同梱）をインストールしておくことが必要です。</p>
<pre>PATH=$PATH:/usr/local/share/hyperestraier/filter ; export PATH
estcmd gather -cl -fx ".pdf" "H@estfxpdftohtml" -fz -ic UTF-8 -sd -cm casket .
</pre>
<p><code>estfxxdwtotxt</code>はDocuWorksのファイルをプレーンテキスト形式に変換するフィルタです。以下のように利用して、DocuWorksのファイルを対象にしたインデックスを作ることができます。なお、<code>estfxxdwtotxt</code>を動作させるには<a href="http://www.fujixerox.co.jp/soft/docuworks/download.html">xdw2text</a>をインストールしておくことが必要です。</p>
<pre>PATH=$PATH:/usr/local/share/hyperestraier/filter ; export PATH
estcmd gather -cl -fx ".xdw" "T@estfxxdwtotxt" -fz -ic CP932 -sd -cm casket .
</pre>
<p>各フィルタの中身を見ていただければ、とても簡単なシェルスクリプトであることがお分かりいただけると思います。シェルやPerlやRuby等で同様のプログラムを書けば様々なフィルタを簡単に作ることができます。ただし、外部コマンドのフィルタは呼び出しのオーバーヘッドが大きいので、大量の文書を扱うのには向いていません。本格的にやるならばAPIを使ってください。</p>
<h3>応用例：コマンドラインからの検索</h3>
<p>コマンドラインから検索する際には、端末の文字コードを考慮する必要があります。例えば端末の文字コードがEUC-JPの場合は、以下のようにするとよいでしょう。</p>
<pre>estcmd search -ic EUC-JP -vh -max 8 casket 'こんにちは' |
iconv -f UTF-8 -t EUC-JP -c | less
</pre>
<p><code>-ic</code>オプションで検索式の文字コードを指定して、iconvで出力の文字コードを変換しています。<code>-vh</code>オプションと<code>-max</code>オプションは検索結果を見やすくするためにつけています。上述の検索語を可変にしたスクリプトを作っておくと便利かもしれません。</p>
<h3>応用例：XML形式の検索結果</h3>
<p>各種のスクリプト言語からHyper Estraierの検索結果を手軽に利用するためには、<code>estcmd</code>のXML出力機能を用いるとよいでしょう。XMLの詳しい書式については<code>estresult.dtd</code>をご覧ください。</p>
<pre>estcmd search -vx -max 8 casket 'socket AND shutdown'
</pre>
<hr />
<h2 id="estseek">検索用CGIスクリプト</h2>
<p>ここでは、検索用CGIスクリプト<code>estseek.cgi</code>の詳細な仕様を説明します。設定ファイルの書き方が中心になります。</p>
<h3>構成</h3>
<p><code>estseek.cgi</code>が動作するには、<strong>設定ファイル</strong>と<strong>テンプレートファイル</strong>と<strong>トップページファイル</strong>と<strong>ヘルプファイル</strong>が必要です。それぞれ<code>estseek.conf</code>、<code>estseek.tmpl</code>、<code>estseek.top</code>、<code>estseek.help</code>というのが標準的な名前です。</p>
<p>設定ファイルの名前はCGIスクリプトの接尾辞を<code>.conf</code>に変えたものです。<code>estseek.cgi</code>を<code>estsearch.cgi</code>という名前に変えたとしたら、<code>estsearch.conf</code>が読み込まれます。その他のファイルの名前は設定ファイルの中で記述されますので、同一ディレクトリの中にいくつもの検索用ページを設置することができます。</p>
<p><code>estseek.cgi</code>は「<code>/usr/local/libexec/estseek.cgi</code>」としてインストールされていますので、それをコピーして利用してください。また、設定ファイルなどのサンプルが「<code>/usr/local/share/hyperestraier/</code>」の中にインストールされていますので、それをコピーして修正すると楽です。「<code>/usr/local/share/hyperestraier/locale/ja/</code>」の中には日本語化されたサンプルもあります。</p>
<h3>設定ファイルの書式</h3>
<p>設定ファイルは、変数名と値を「<code>:</code>」で区切った形式の行を並べたものです。「<code>#</code>」で始まる行はコメントとして無視されます。デフォルトでは、設定ファイルは以下のような内容になっています。</p>
<pre>indexname: casket
tmplfile: estseek.tmpl
topfile: estseek.top
helpfile: estseek.help
lockindex: true
pseudoindex:
replace: ^file:///home/mikio/public_html/{{!}}http://localhost/
replace: /index\.html?${{!}}/
showlreal: false
deftitle: Hyper Estraier: a full-text search system for communities
formtype: normal
perpage: 10 100 10
attrselect: false
#genrecheck: private{{!}}private
#genrecheck: business{{!}}business
#genrecheck: misc{{!}}miscellaneous
attrwidth: 80
showscore: true
extattr: author|Author
extattr: from|From
extattr: to|To
extattr: cc|Cc
extattr: date|Date
snipwwidth: 480
sniphwidth: 96
snipawidth: 96
condgstep: 2
dotfidf: true
scancheck: 3
phraseform: 2
dispproxy:
candetail: true
candir: false
auxmin: 32
smlrvnum: 32
smlrtune: 16 1024 4096
clipview: 2
clipweight: none
relkeynum: 0
spcache:
wildmax: 256
qxpndcmd:
logfile:
logformat: {time}\t{REMOTE_ADDR}:{REMOTE_PORT}\t{cond}\n
</pre>
<p>それぞれの変数の機能を以下に示します。</p>
<ul>
<li><kbd>indexname</kbd> : インデックスのパスを指定します。</li>
<li><kbd>tmplfile</kbd> : テンプレートファイルのパスを指定します。</li>
<li><kbd>topfile</kbd> : トップページファイルのパスを指定します。</li>
<li><kbd>helpfile</kbd> : ヘルプファイルのパスを指定します。</li>
<li><kbd>lockindex</kbd> : インデックスにファイルロックをかけるかどうかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>pseudoindex</kbd> : 検索対象として追加する疑似インデックスのパスを指定します。複数回指定できます。</li>
<li><kbd>replace</kbd> : URIを変換するための正規表現と置換文字列を「<code>{{!}}</code>」で区切って指定します。変換文字列内の「<code>&</code>」は一致文字列に展開されます。部分式に展開される「<code>\1</code>」から「<code>\9</code>」も利用できます。複数回指定できます。</li>
<li><kbd>showlreal</kbd> : URIの代わりにローカルの絶対パスを表示するかどうかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>deftitle</kbd> : デフォルトのページタイトルを指定します。</li>
<li><kbd>formtype</kbd> : 入力フォームの種類を指定します。「<code>normal</code>」は汎用で、「<code>web</code>」はWebサイト用で、「<code>file</code>」はファイルシステム用で、「<code>mail</code>」はメールボックス用です。</li>
<li><kbd>perpage</kbd> : 表示件数のセレクトボックスの最低値と最大値と増分を指定します。</li>
<li><kbd>attrselect</kbd> : 属性条件の入力にセレクトボックスを使うかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>genrecheck</kbd> : ジャンル属性による絞り込みのためのチェックボックスを指定します。属性値と表示用のラベルを「<code>{{!}}</code>」で区切って指定します。複数回指定できます。</li>
<li><kbd>attrwidth</kbd> : 表示する属性値の最大幅を指定します。</li>
<li><kbd>showscore</kbd> : スコアを表示するかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>extattr</kbd> : 表示する属性の名前とラベルを「<code>|</code>」で区切って指定します。複数回指定できます。</li>
<li><kbd>snipwwidth</kbd> : 検索結果のスニペットの全体の幅を指定します。</li>
<li><kbd>sniphwidth</kbd> : 検索結果のスニペットを作る際に文書の冒頭から取得する幅を指定します。</li>
<li><kbd>snipawidth</kbd> : 検索結果のスニペットを作る際に検索語の周辺から取得する幅を指定します。</li>
<li><kbd>condgstep</kbd> : N-gramの検査精度を指定します。「<code>1</code>」だと全ての語を調べ、「<code>2</code>」だと1個置き、「<code>3</code>」だと2個置き、「<code>4</code>」だと3個置きに調べます。</li>
<li><kbd>dotfidf</kbd> : TF-IDF法を適用するかどうかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>scancheck</kbd> : 文書の内容と検索フレーズの精密検査をする数を指定します。</li>
<li><kbd>phraseform</kbd> : 検索条件式の種類指定します。「<code>1</code>」だと通常書式で、「<code>2</code>」だと簡便書式で、「<code>3</code>」だと粗略書式で、「<code>4</code>」だと論理和書式で、「<code>5</code>」だと論理積書式です。</li>
<li><kbd>dispproxy</kbd> : 表示用CGIスクリプト（<code>estproxy.cgi</code>）のURLを指定します。「<code>[URI]</code>」と指定すると各文書のURIに置換されます。省略すると修飾表示は無効になります。</li>
<li><kbd>candetail</kbd> : 詳細表示を有効にするかどうかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>candir</kbd> : ディレクトリ表示を有効にするかどうかを指定します。「<code>true</code>」か「<code>false</code>」です。</li>
<li><kbd>auxmin</kbd> : 補助インデックスの結果を採用する最低の文書数を指定します。0なら補助インデックスを使いません。</li>
<li><kbd>smlrvnum</kbd> : 類似検索のベクトルの次元数を指定します。0なら類似検索が無効になります。</li>
<li><kbd>smlrtune</kbd> : 類似検索のチューニングパラメータを指定します。キーワード数とキーワード毎の文書数と全体の候補の数を空白区切りで指定します。</li>
<li><kbd>clipview</kbd> : 類似隠蔽の際に表示される文書数を指定します。負数なら類似隠蔽が無効になります。</li>
<li><kbd>clipweight</kbd> : 類似隠蔽の際の重み付けを指定します。「<code>none</code>」だと重み付けをせず、「<code>url</code>」だとURLを用います。</li>
<li><kbd>relkeynum</kbd> : 表示する関連語の数を指定します。</li>
<li><kbd>spcache</kbd> : スペシャルキャッシュの属性名を指定します。</li>
<li><kbd>wildmax</kbd> : ワイルドカード展開の最大語数を指定します。</li>
<li><kbd>qxpndcmd</kbd> : クエリ展開のコマンドを指定します。空文字列ならクエリ展開が無効になります。</li>
<li><kbd>logfile</kbd> : ログファイルのパスを指定します。</li>
<li><kbd>logformat</kbd> : ログの書式を指定します。「<code>{time}</code>」は現在時刻に変換され、「<code>{cond}</code>」は検索条件に置換され、「<code>{hnum}</code>」は検索の該当件数に置換され、それ以外で「<code>{}</code>」で括ったものはその名前の環境変数の値に置換されます。「<code>\t</code>」はタブに、「<code>\n</code>」は改行に置換されます。</li>
</ul>
<p><code>replace</code>は正規表現によってURIを変換するのに使います。複数回指定できます。先頭にマッチする「<code>^</code>」を駆使すれば接頭辞（ディレクトリ）の変換ができますし、末尾にマッチする「<code>$</code>」を駆使すれば接尾辞（拡張子）の変換ができます。例えば、「<code>\.htm${{!}}.html</code>」とすると、末尾の「<code>.htm</code>」を「<code>.html</code>」に変換できます。「<code>{{!}}</code>」の前の部分は正規表現なので、「<code>\</code>」や「<code>.</code>」にはエスケープ文字「<code>\</code>」を前置する必要があることに注意してください。「<code>{{!}}</code>」の後の置換文字列は正規表現ではないので、エスケープは必要ありません。</p>
<p><code>extattr</code>は任意の属性を表示するのに使います。複数回指定できます。例えば、文書の更新日時を「<code>Modified</code>」というラベルをつけて表示したい場合は「<code>extattr: @mtime|Modified</code>」と書き、文書のサイズを「<code>Size</code>」というラベルをつけて表示したい場合は「<code>extattr: @size|Size</code>」と書きます。</p>
<h3>テンプレートファイル</h3>
<p>検索ページの見栄えを決めるためのファイルです。HTMLで、記述してある内容がそのまま表示されます。ただし、「<code><!--ESTTITLE--></code>」の部分にはページタイトルが挿入され、「<code><!--ESTFORM--></code>」の部分には検索フォームが挿入され、「<code><!--ESTRESULT--></code>」の部分には検索結果が挿入され、「<code><!--ESTINFO--></code>」の部分にはインデックスの情報が挿入されます。CSSやJavaScriptを駆使すれば、かなり自由にユーザインターフェイスをカスタマイズすることができます。</p>
<h3>トップページファイル</h3>
<p>検索用CGIスクリプトに最初にアクセスした際、あるいは検査条件を全く入力しないでアクセスした際に表示されるメッセージを記述したファイルです。記述してある内容が検索結果の位置にそのまま挿入されます。デフォルトではHyper Estraierのバナーが記述してありますが、お好みのバナーに変えたり、システムのメンテナンス情報などを記載したりするとよいでしょう。</p>
<h3>ヘルプファイル</h3>
<p>入力用フォームの付近にある「<code>help</code>」リンクを選択すると表示されるメッセージを記述したファイルです。デフォルトでは検索機能の簡単な使い方が記述してあります。設定によって機能が増減した場合はヘルプも適当に書き換えてください。</p>
<h3>検索フォームの設置</h3>
<p>Webサイトの検索機能として設置する場合、サイトのトップページに検索フォームを置きたくなるでしょう。その場合、以下のようなHTMLを書いてください。</p>
<pre><form method="get" action="estseek.cgi">
<div>
<input type="text" name="phrase" value="" size="32" />
<input type="submit" value="Search" />
<input type="hidden" name="enc" value="UTF-8" />
</div>
</form>
</pre>
<p>「<code>estseek.cgi</code>」の部分は設置した<code>estseek.cgi</code>のURLにしてください。「<code>UTF-8</code>」の部分はそのページの文字コードにしてください。「<code>EUC-JP</code>」「<code>Shift_JIS</code>」「<code>ISO-2022-JP</code>」「<code>ISO-8859-1</code>」などが使えます。</p>
<h3>お洒落な入力フォーム</h3>
<p>Webサイトを検索する際には、本文もしくはタイトルで絞り込むことが多いでしょう。また、ソート条件にはスコアか日付かサイズを指定することが多いでしょう。そういった典型的な操作を簡単に行なうために、<code>estseek.cgi</code>にはWebサイト用の入力フォームの形式が用意されています。設定ファイルの<code>formtype</code>の値を「<code>web</code>」にすると、Webサイト検索用の入力フォームになります。なお、Webサイトの検索を高速化するには、以下のように属性インデックスを張っておくとよいでしょう。</p>
<pre>estcmd create -attr @title str -attr @mdate seq -attr @size seq casket
</pre>
<p>ファイルサーバを検索する際には、本文もしくはファイル名で絞り込むことが多いでしょう。また、ソート条件にはスコアか日付かサイズを指定することが多いでしょう。そういった典型的な操作を簡単に行なうために、<code>estseek.cgi</code>にはファイルサーバ用の入力フォームの形式が用意されています。設定ファイルの<code>formtype</code>の値を「<code>file</code>」にすると、ファイルサーバ検索用の入力フォームになります。なお、ファイルサーバの検索を高速化するには、以下のように属性インデックスを張っておくとよいでしょう。</p>
<pre>estcmd create -attr _lpath str -attr @mdate seq -attr @size seq casket
</pre>
<p>メールボックスを検索する際には、本文もしくはSubject/From/To/Ccの各ヘッダで絞り込むことが多いでしょう。また、ソート条件にはスコアか日付かサイズを指定することが多いでしょう。そういった典型的な操作を簡単に行なうために、<code>estseek.cgi</code>にはメールボックス用の入力フォームの形式が用意されています。設定ファイルの<code>formtype</code>の値を「<code>mail</code>」にすると、メールボックス検索用の入力フォームになります。なお、メールボックスの検索を高速化するには、以下のように属性インデックスを張っておくとよいでしょう。</p>
<pre>estcmd create -attr subject str -attr from str -attr @mdate seq -attr @size seq casket
</pre>
<p>お洒落な入力フォームはJavaScriptによって実現されているので、JavaScriptをサポートしないブラウザを想定する場合には使わない方がよいでしょう。</p>
<h3>クエリ展開</h3>
<p>「go/went/gone/going」「man/men」「歩く/歩い(た)」のような活用や、「center/centre」「F-1/F1」「プロキシ/プロクシ」のような表記揺れや、「lady/madam/gentlewoman」「侍/武者/武士」のような類義語を考慮した検索ができると便利です。例えば、「go」で検索すると、「went」や「gone」や「going」を含む文書もヒットするということです。それには、「<code>go</code>」という語が入力された際に、それをアプリケーションが「<code>go OR went OR gone OR going</code>」というクエリに展開すればよいことになります。</p>
<p><code>estseek.conf</code>の<code>qxpndcmd</code>にコマンドラインを指定することで、任意のコマンドを呼び出すクエリ展開を行うことができます。指定したコマンドには、環境変数<code>ESTWORD</code>の値として、検索語が渡されます。検索フレーズに複数の語が指定された場合は、各語に対応してコマンドが複数回呼び出されます。呼び出されたコマンドは、クエリ展開した結果の語を改行区切りで出力します。そのような動作をするコマンドを作っておけば、好きなようにクエリ展開を行うことができます。</p>
<p><a href="http://wordnet.princeton.edu/">WordNet</a>という英語のシソーラスを用いて類義語のクエリ展開をするためのコマンド<code>estwnetxpnd</code>が「<code>/usr/local/share/hyperestraier/filter</code>」の中にインストールされています。WordNetをインストールした上で、<code>estwnetxpnd</code>の絶対パスを<code>qxpndcmd</code>の値として設定すると使えるようになります。</p>
<p>「<code>estcmd extkeys</code>」でキーワードを抽出してある場合は、「<code>estcmd words -kt</code>」で関連語の一覧をダンプすることができます。出力はTSV形式です。第1フィールドはキーワードの文字列で、第2フィールドはその語の頻度です。第3フィールド以降には、関連語の文字列とそのスコアが交互に現れます。この出力をもとにデータベースを作成し、それをクエリ展開のコマンドで利用するとよいでしょう。</p>
<h3>裏技</h3>
<p>属性条件の入力欄に「<code>gstep=1</code>」などとすると、N-gramの検査精度を一時的に変えられます。同様に「<code>tfidf=true</code>」または「<code>tfidf=false</code>」とすると、TF-IDF法の有効無効を一時的に変えられます。「<code>scan=true</code>」または「<code>scan=false</code>」とすると、検索フレーズの精密検査の有効無効を一時的に変えられます。</p>
<p>検索結果の経過時間表示の右側に「<code>*</code>」マークがつくことがあります。これは、インデックス内に削除文書の情報がたくさんあることによって検索処理が非効率になったことを意味しています。頻繁にこれがでるようになったら、インデックスの最適化を行ってください。</p>
<hr />
<h2 id="estproxy">表示用CGIスクリプト</h2>
<p>ここでは、表示用CGIスクリプト<code>estproxy.cgi</code>の詳細な仕様を説明します。これを使うと、Googleのキャッシュ機能のように、検索語の部分をハイライトして表示することができます。</p>
<h3>構成と機能</h3>
<p><code>estproxy.cgi</code>が動作するには、<code>estproxy.conf</code>という設定ファイルが必要です。設定ファイルの名前はCGIスクリプトの接尾辞を<code>.conf</code>に変えたものです。</p>
<p><code>estproxy.cgi</code>は「<code>/usr/local/libexec/estproxy.cgi</code>」としてインストールされていますので、それをコピーして利用してください。また、設定ファイルのサンプルが「<code>/usr/local/share/hyperestraier/estproxy.conf</code>」としてインストールされていますので、それをコピーして修正すると楽です。</p>
<p><code>estproxy.cgi</code>は、CGIスクリプトとして動作するプロクシです。すなわち、Web上の任意の文書のURLをパラメータとして与えると、ユーザの代理としてその文書のデータを取得し、適当な加工を施した上で、その結果を表示します。取得すべき文書のURLは「<code>url</code>」という名前のパラメータとして指定します。HTML以外のメディアタイプの文書もHTMLに変換して表示するのが特徴です。さらに、「<code>word1</code>」から「<code>word32</code>」までの名前のパラメータによって、ハイライトすべき語句を指定することができます。</p>
<p>対応するプロトコルは、HTTPとFILEです。「<code>http://</code>」で始まるURLを指定すると、HTTPプロトコルを用いてそのコンテンツを取得します（今のと頃HTTPSには対応していません）。「<code>file://</code>」で始まるURLを指定すると、<code>estproxy.cgi</code>が動作するファイルシステム上のファイルを直接読み込んで処理します。この仕組みによって、サーバ上の任意のファイルの内容を加工して表示することができます。</p>
<p>対応するファイル形式は、プレーンテキスト（text/plain）とHTML（text/html）とMIME（message/rfc822）です。それ以外の形式の場合でも、任意の外部フィルタで加工することによって処理することができます。</p>
<h3>設定ファイルの書式</h3>
<p>設定ファイルは、変数名と値を「<code>:</code>」で区切った形式の行を並べたものです。「<code>#</code>」で始まる行はコメントとして無視されます。デフォルトでは、設定ファイルは以下のような内容になっています。</p>
<pre>#replace: ^http://localhost/{{!}}file:///home/mikio/public_html/
allowrx: ^http://
#allowrx: ^file://
denyrx: /\.
passaddr: 1
limitsize: 32
urlrule: \.est${{!}}text/x-estraier-draft
urlrule: \.(eml|mime|mht|mhtml)${{!}}message/rfc822
typerule: ^text/x-estraier-draft${{!}}[DRAFT]
typerule: ^text/plain${{!}}[TEXT]
typerule: ^(text/html|application/xhtml+xml)${{!}}[HTML]
typerule: ^message/rfc822${{!}}[MIME]
language: 0
shownavi: 1
</pre>
<p>それぞれの変数の機能を以下に示します。</p>
<ul>
<li><kbd>replace</kbd> : URLを変換するための正規表現と置換文字列を「<code>{{!}}</code>」で区切って指定します。変換文字列内の「<code>&</code>」は一致文字列に展開されます。部分式に展開される「<code>\1</code>」から「<code>\9</code>」も利用できます。複数回指定できます。 </li>
<li><kbd>allowrx</kbd> : 取得することを許可するURLを正規表現で指定します。複数回指定できます。</li>
<li><kbd>denyrx</kbd> : 取得することを禁止するURLを正規表現で指定します。複数回指定できます。</li>
<li><kbd>passaddr</kbd> : 正数なら、クライアントのIPアドレスをX-Forwarded-Forヘッダで通知します。</li>
<li><kbd>limitsize</kbd> : 取得するデータの最大サイズをメガバイト単位で指定します。</li>
<li><kbd>urlrule</kbd> : URLの正規表現とそれに対応するメディアタイプを指定します。この規則はContent-Typeヘッダよりも優先されます。複数回指定できます。</li>
<li><kbd>typerule</kbd> : メディアタイプとそれに対応するフィルタを指定します。メディアタイプは正規表現で指定し、フィルタは文書ドラフト用なら「<code>[DRAFT]</code>」とし、プレーンテキスト用なら「<code>[TEXT]</code>」とし、HTML用なら「<code>[HTML]</code>」とし、MIME用なら「<code>[MIME]</code>」とします。複数回指定できます。</li>
<li><kbd>language</kbd> : 好ましい言語を指定します。0なら英語、1なら日本語、2なら中国語、3なら韓国語、4なら未指定です。</li>
<li><kbd>shownavi</kbd> : 正数なら、ナビゲーションバーを表示します。</li>
</ul>
<p><code>allowrx</code>と<code>denyrx</code>の判定は、<code>replace</code>を適用した結果に対して行なわれます。<code>allowrx</code>と<code>denyrx</code>は記述した順番に解釈されます。正規表現における英字の大文字と小文字は区別されません。</p>
<h3>応用例：HTMLのハイライト表示</h3>
<p><code>estseek.cgi</code>の検索結果のページに、該当文書のハイライト表示のリンクをつけてみましょう。<code>estseek.cgi</code>と同じ場所に<code>estproxy.cgi</code>と<code>estproxy.conf</code>も置いてください。あとは、<code>estseek.cgi</code>に以下の記述をするだけでOKです。</p>
<pre>...
dispproxy: estproxy.cgi
...
</pre>
<p>日本語のページの文字コード認識の精度を向上させるためには、「<code>language: 1</code>」も指定するとよいでしょう。また、加工済のページの冒頭にあるナビゲーションバーが不要な場合は、「<code>shownavi: 0</code>」にしてください。</p>
<h3>応用例：メールの表示</h3>
<p><code>estseek.cgi</code>によるメールボックスの検索システムで検索の該当文書を表示する際には、該当文書のタイトルからのリンク先と「<code>[disp]</code>」のリンク先の双方に<code>estproxy.cgi</code>を使ったページのURIを指定すると便利です。ここでは、<code>estseek.cgi</code>と<code>estproxy.cgi</code>が同じ場所に設置してあり、メールボックスのデータは「<code>/home/mikio/Mail</code>」の下にあるものとします。その場合、<code>estseek.conf</code>には以下のように記述してください。</p>
<pre>...
replace: .*/Mail/{{!}}estproxy.cgi?url=file:///home/mikio/Mail/
...
dispproxy: [URI]
...
</pre>
<p>セキュリティ上の理由から、<code>estproxy.conf</code>のデフォルトの設定では「<code>file://</code>」によるアクセスは許可していませんので、以下の用に記述してメールボックスの中身のみを表示できるようにしてください。</p>
<pre>...
allowrx: ^file:///home/mikio/Mail/
...
</pre>
<p>日本語のメールの文字コード認識の精度を向上させるためには、「<code>language: 1</code>」も指定するとよいでしょう。なお、もし「<code>allowrx: file://</code>」とやってしまうとサーバ上の全てのファイルが公開されることになるので気をつけてください。</p>
<hr />
<h2 id="indexstructure">インデックスの構造</h2>
<p>ここでは、Hyper Estraierのインデックスの詳細な構造について説明します。補助インデックスや属性インデックスを用いて検索を高速化する方法についても説明します。</p>
<h3>基本的な構造</h3>
<p>インデックスのディレクトリの中には以下のファイルやディレクトリが格納されます。</p>
<ul>
<li><kbd>_meta</kbd> : メタデータベース。重複起動防止のロック機構も兼ねます。QDBMのDepotデータベースです。レコードのキーはメタデータの名前で、レコードの値はメタデータの値です。</li>
<li><kbd>_idx/</kbd> : 転置インデックスディレクトリ。中に複数の転置インデックスデータベースファイルを格納します。各々の転置インデックスデータベースはQDBMのVillaデータベースです。レコードのキーはN-gramのトークンの異なり語で、レコードの値は文書IDとスコアとハッシュ値のリストです。</li>
<li><kbd>_fwm</kbd> : 単語リストデータベースファイル。転置インデックスに出現した単語のリストです。QDBMのVillaデータベースです。レコードのキーはN-gramのトークンの異なり語で、値はありません。</li>
<li><kbd>_aux</kbd> : 補助転置インデックスファイル。各登録文書のキーワードのみからなる転置インデックスです。QDBMのVillaデータベースです。レコードのキーはN-gram（または分かち書き）のトークンの異なり語で、レコードの値は文書IDとスコアのリストです。</li>
<li><kbd>_xfm</kbd> : 補助単語リストデータベースファイル。補助転置インデックスに出現した単語のリストです。QDBMのVillaデータベースです。レコードのキーはN-gram（または分かち書き）のトークンの異なり語で、レコードの値はDF（そのトークンを含む文書数）の10進数文字列です。</li>
<li><kbd>_attr/</kbd> : 属性データベースディレクトリ。各登録文書の属性を保持します。QDBMのCuriaデータベースです。レコードのキーは文書IDのint型ネイティブ表現で、レコードの値は属性名と属性値のマップ（CBMAP）を直列化したデータを圧縮したものです。</li>
<li><kbd>_text/</kbd> : 本文データベースディレクトリ。各登録文書の本文を保持します。QDBMのCuriaデータベースです。レコードのキーは文書IDのint型ネイティブ表現で、レコードの値はテキストのリスト（CBLIST）を直列化したデータを圧縮したものです。</li>
<li><kbd>_kwd/</kbd> : キーワードデータベースディレクトリ。各登録文書のキーワードを保持します。QDBMのCuriaデータベースです。レコードのキーは文書IDのint型ネイティブ表現で、レコードの値はキーワードと頻度のマップ（CBMAP）を直列化したデータを圧縮したものです。</li>
<li><kbd>_list</kbd> : 文書リストデータベースファイル。各登録文書とそのURIの関連付けを行います。QDBMのVillaデータベースです。レコードのキーは文書のURIで、レコードの値は文書IDの十進数文字列です。</li>
<li><kbd>__<var>type</var>_<var>name</var></kbd> : 属性インデックスファイル。typeはデータ型で、nameは16進数エンコードを施した属性名です。typeがseqの場合はQDBMのDepotデータベースで、typeがstrかnumの場合はQDBMのVillaデータベースです。seqでは、レコードのキーは文書IDのint型ネイティブ表現で、レコードの値は属性値です。strとnumでは、レコードのキーは属性値と文書IDの末尾にint型ネイティブ表現を連結したもので、レコードの値はありません。</li>
</ul>
<h3>2階層転置インデックス</h3>
<p>中核となるデータベースは<code>_idx</code>です。これは転置インデックスまたは転置ファイルといわれるデータベースであり、ある語を検索キーにして、その語を含んだ文書の一覧を探す機能を提供します。全ての登録文書に表れる全ての語の出現情報を保持しているので、転置インデックスのサイズはとても大きなものになります。</p>
<p><code>_aux</code>は補助転置インデックスと呼ばれる、登録文書のキーワードのみの出現情報を記録した転置インデックスです。キーワードのみに対象を絞っているので、データベースのサイズが小さく、精度の高い検索結果を生成できる利点があります。その反面、全ての語を保持しているわけではないので、検索漏れが発生する可能性があります。</p>
<p>検索が行われた際には、まず補助転置インデックスに対して検索を行い、そこで十分な件数の結果が得られた場合はその時点で結果を提示します。そこで十分が件数が得られなかった場合はさらにメインの転置インデックスを検索し、その結果を提示します。これにより、大抵の場合は高速に高精度の結果を返すことができますし、検索漏れが起こることもありません。</p>
<h3>キーワードデータベースと類似検索</h3>
<p>類似検索を実行すると、候補の各文書の本文を取り出してキーワードを計算してから比較するので、とても時間がかかります。登録文書のキーワードを予め計算してデータベースに記憶しておけば、類似検索を高速に行うことができます。キーワードデータベースはそのためのデータベースです。</p>
<p><code>estseek.conf</code>における<code>smlrvnum</code>の値は類似検索の際に抽出するキーワードの数を意味しますが、キーワードデータベースを利用する場合にはその値は無視されます。</p>
<h3>キーワード抽出</h3>
<p><code>estcmd gather</code>で文書を登録しただけではキーワードの抽出は行われないので、補助転置インデックスやキーワードデータベースは空のままです。<code>estcmd extkeys</code>を実行すると、キーワードを抽出して補助インデックスとキーワードデータベースに登録します。この操作を行わなくても動作に支障はありませんが、検索速度を上げるためにはぜひやっておいてください。特に類似検索と類似隠蔽の速度が劇的に向上します。キーワードの選択にはTF-IDF法を用いますので、インデックスを構築する最後の手順で行った方が精度が安定します。したがって、<code>extkeys</code>を含めたインデックスの更新手順は以下のようになります。</p>
<pre>estcmd gather -cl -il ja -sd -cm casket .
estcmd purge -cl casket
estcmd extkeys casket
</pre>
<p>抽出されるキーワードの数のデフォルト値は32個です。「<code>-kn</code>」オプションで抽出数は変更できます。増やすとデータベースが大きくなりますが、検索精度は向上します。逆に減らすとデータベースは小さくなりますが、検索精度は低下します。文書ドラフトに予めキーワードを埋め込むには、<code>%VECTOR</code>制御命令を用いてください。</p>
<p>デフォルトでは、<code>estcmd extkeys</code>はTD-IDFのための文書頻度（DF）のデータを全てメモリ上に展開するので、搭載メモリが少ない環境ではメモリ不足になることが考えられます。その場合は、予めDFのデータを外部データベースに保存しておいて、それを使って<code>estcmd extkeys</code>を実行するとよいでしょう。以下のようにしてください。</p>
<pre>estcmd words -dfdb mydfdb casket
estcmd extkeys -dfdb mydfdb casket
</pre>
<h3>分かち書きの利用</h3>
<p>キーワードを抽出するために分かち書き器を使うようにすることもできます。<code>estcmd extkeys</code>を実行する際に「<code>-um</code>」オプションをつけると、字種による分かち書きが行われます。つまり、文字を空白、英数字、漢字、平仮名、片仮名、ハングル、それ以外の記号に分類し、それぞれの連続した部分を単語として切り出します。</p>
<pre>estcmd extkeys -um casket
</pre>
<p>日本語用の形態素解析器<a href="http://mecab.sourceforge.jp/">MeCab</a>を分かち書きに利用することもできます。Hyper Estraierをビルドする前の設定で「<code>./configure --enable-mecab</code>」として、Hyper EstraierにMeCabを組み込んでおくと、字種による分かち書きの代わりにMeCabが使われます。</p>
<p>なお、形態素解析によるキーワード抽出ではTF-IDFによるスコアの調整は不要ですので、文書の登録とキーワードの抽出を同時に行っても精度を保つことができます。以下のようにします。</p>
<pre>estcmd gather -cl -sd -cm -kn 32 -um casket .
</pre>
<p>「<code>-kn</code>」は抽出するキーワードの数を指定して、「<code>-um</code>」は形態素解析器を利用することを指定します。文書の登録時にキーワードも登録した場合、<code>estcmd extkeys</code>を実行する必要はありません。ただし、大規模なサイトのインデックスを初期構築する場合、キーワード抽出なしで<code>estcmd gather</code>を実行してから、<code>estcmd extkeys</code>でキーワードを抽出する方が、全体としての時間は短くなります。差分登録の際には文書登録とキーワード抽出を同時に行った方が高速です。</p>
<h3>属性インデックス</h3>
<p>属性検索は属性データベースにおける全てのレコードを検査するために多くの時間がかかります。属性インデックスを作成すると、検査するレコードを絞り込むことによって属性検索を高速化することができます。属性インデックスは<code>estcmd create</code>コマンドで作成します。「<code>-attr</code>」オプションで対象となる属性名とデータ型を指定します。例えば@title属性にシーケンシャル型のインデックスを張り、@author属性に文字列型のインデックスを張り、@size属性に数値型のインデックスを張るには、以下のようにしてインデックスを作成します。</p>
<pre>estcmd create -attr @title seq -attr @author str -attr @size num casket
</pre>
<p>シーケンシャル型の属性インデックスは、文書IDをキーにして属性値を値に持つ構造です。検索時には全てのレコードが検査されますが、属性データベースよりは高速に属性検索が行えるようになります。また、型に依存しないという利点と、ソートも高速になるという利点があります。文字列型の属性インデックスは、昇順（辞書順）の文字列をキーとして文書IDを値に持つ構造です。文字列型の演算子の一部（<code>STREQ</code>、<code>STRBW</code>、<code>STROREQ</code>）がとても高速化されます。それ以外の文字列型の演算子もやや高速化されます。数値型の属性インデックスは、昇順の数値をキーとして文書IDを値に持つ構造です。数値型の演算子の一部（<code>NUMEQ</code>、<code>NUMGT</code>、<code>NUMGE</code>、<code>NUMLT</code>、<code>NUMLE</code>、<code>NUMBT</code>）がとても高速化されます。それ以外の数値型の演算子もやや高速化されます。ひとつの属性に指定できるインデックスはひとつだけです。なお、属性インデックスを張ると文書の更新や削除の処理は少し遅くなります。</p>
<p>文字列型と数値型の属性インデックスが張られている属性に対しては、その値の上位を取得するランキング検索を行うことができます。ランキング検索は、検索フレーズが「<kbd>[RANK]</kbd>」で始まっている場合に行われます。「<code>[RANK]</code>」の後ろには、取得する件数と対象の属性名を空白で区切って指定します。例えば、文書のサイズが小さいものから10件を取得するには、「<code>[RANK] 10 @size</code>」と指定します。件数が負数の場合は、順序が降順として扱って絶対値の件数を取得します。ランキング検索は属性検索式でなく検索フレーズに指定することに注意してください。全文検索とランキング検索を同時に行うことはできません。</p>
<h3>疑似インデックス</h3>
<p>文書ドラフトを特定のフォルダに入れておくと、そのフォルダを疑似的なインデックスとして扱い、その中にある文書ドラフトを検索対象に含めることができます。疑似インデックスの検索はgrepと同様の逐次探索で行なわれるので、本当のインデックスに比べてかなり遅いですが、インデックスを作る必要がないというのが便利なところです。疑似インデックスのディレクトリが「<code>/tmp/pindex</code>」であったとすると、以下のようにしてそれを検索対象に加えることができます。</p>
<pre>estcmd search -pidx /tmp/pindex casket "unix AND linux"
</pre>
<p>疑似インデックスを検索対象に加えた場合、本当のインデックスと疑似インデックスのメタ検索が行なわれます。疑似インデックスのみを対象として検索する場合は、空のインデックスとのメタ検索を行なってください。疑似インデックスは複数個指定することもできます。<code>estseek.cgi</code>で疑似インデックスを検索対象に加える場合、<code>estseek.conf</code>に「<code>pseudoindex: /tmp/pindex</code>」といった設定を加えてください。</p>
<p>本当のインデックスに文書を登録する際には、各文書を別個のコネクションで登録するよりも、沢山の文書を1回のコネクションで登録した方が効率的です。したがって、登録すべき文書がある程度の量になるまでは疑似インデックスに入れておき、ある程度の量になったら疑似インデックスの中の文書ドラフトを本当のインデックスに登録して、疑似インデックスを空にするという運用方法も検討する価値があるでしょう。</p>
<hr />
<h2 id="tips">助言</h2>
<p>ここでは、アプリケーションとしてのHyper Estraierを活用するためのコツをいくつか紹介します。</p>
<h3>大規模なインデックスの構築</h3>
<p>文書を登録する処理では、インデックスの内部で持っているデータベースに膨大な量の書き込みを行います。データベースを参照するオーバーヘッドを抑えるために、Hyper Estraierは処理中のデータをメモリ上にキャッシュする仕組みを持っています。キャッシュが大きい方が登録処理は高速になりますが、スワップが起きるとかえって効率が落ちますので、実メモリの4割程度の大きさにするとよいようです。例えば1GBの実メモリを搭載しているマシンで作業をする場合、400MB程度が適切でしょう。また、10万件以上の文書を登録する場合、インデックスを作成する際に大規模用のチューニングをするように指定すると処理効率が向上します。</p>
<p><code>estcmd</code>の<code>-cs</code>オプションを使うとキャッシュサイズの指定ができます。サイズはメガバイト単位で指定します。デフォルトは64MBです。また、<code>-xl</code>オプションや<code>-xh</code>オプションを使うと大規模用のチューニングがなされます。つまり、以下のようにして文書を登録するとよいでしょう。</p>
<pre>estcmd gather -cl -il ja -xl -sd -cm -cs 400 casket .
</pre>
<p>インデックスの最大サイズはおおよそ300GBです。また、対象文書がプレーンテキストの場合、インデックスのサイズは対象文書の容量の50%から200%程度になります。HTMLであれば25%から100%程度です。したがって、一つのインデックスに登録できる文書の総量の目安は、プレーンテキストなら300GB、HTMLなら600GBといったところです。なお、インデックスのサイズは、小さい文書が多数あるよりも、大きい文書が少数ある方が小さくなります。また、日本語の文書よりも英語の文書の方が小さくなります。</p>
<p>100GBを越えるインデックスで補助インデックスを利用する場合、補助インデックスのサイズが2GBを越えてデータベースの更新に失敗する可能性があります。その場合は、ビルド前の設定で「<code>./configure --enable-vista</code>」として、Vistaデータベースを組み込んでください。</p>
<h3>可用性の確保</h3>
<p>インデックスを更新している最中にはロックがかかるので、そのインデックスを使った検索はその間はできなくなります。検索システムとしては、その間は停止時間ということになります。それを避けるためには、インデックスのコピーに対して更新を処理を行い、完了したらオリジナルと入れ換えるようにするとよいでしょう。また、インデックスの更新中に不意にシステムが停止するなどしてインデックスが壊れた場合も、複製に対する更新であれば問題がないので安心です。</p>
<p>上述の処理を自動化するには、以下のようなスクリプトを書いておくとよいでしょう。冒頭のexit文は、複製が既に存在している場合（以前の更新に失敗するとそうなります）に処理を停止するようにしています。途中のexit文では、更新したインデックスが壊れた場合に処理を停止するようにしています。</p>
<pre>test -e /home/www/casket-copy && exit
cp -R /home/www/casket /home/www/casket-copy
/usr/local/bin/estcmd gather -il ja -sd -cm /home/www/casket-copy /home/www/public_html
/usr/local/bin/estcmd purge /home/www/casket-copy
/usr/local/bin/estcmd extkeys /home/www/casket-copy
/usr/local/bin/estcmd optimize /home/www/casket-copy
/usr/local/bin/estcmd inform casket-copy || exit
rm -rf /home/www/casket
mv /home/www/casket-copy /home/www/casket
</pre>
<p>実際のところ、<code>estcmd search</code>の<code>-nl</code>オプションを指定したり、<code>estseek.conf</code>の<code>lockindex</code>の値を<code>false</code>にしたりすれば、更新中でロックされているインデックスに対しても検索を行うことができます。ただし、インデックス内のデータの整合性に関する保証ができませんので、不正な検索結果が返される可能性があります。</p>
<p>インデックスが壊れてしまった場合には、<code>estcmd repair</code>を使うと修復できますが、壊れる前の全ての文書とその出現情報が復元できるとは限りません。データの完全性を確保するためにはインデックスを作りなおした方が無難ですが、作りなおしている間がダウンタイムになってしまうのは望ましいことではありません。そこで、<code>estcmd repair -rsh</code>で簡易的にインデックスを利用可能な状態にして可用性を確保しておいて、バックグラウンドや別のマシンでインデックスの再構築を行い、完成したら壊れたものと入れ替えるようにするとよいでしょう。</p>
<h3>文書の削除</h3>
<p><code>gather</code>や<code>purge</code>を実行する際に「<code>-cl</code>」をつけるべきかどうかは運用の仕方によって変わってきます。「<code>-cl</code>」をつけた場合は、転置インデックスを部分的に最適化するので、処理がやや重くなります。ただし、明示的に<code>optimize</code>を実行しなくても検索の速度や精度が落ちません。</p>
<p>「<code>-cl</code>」をつけない場合は、転置インデックスを更新しないで、文書情報に削除マークをつけるだけですので、比較的に軽い処理で済みます。ただし、検索時に無駄な領域を処理することになりますので、検索の速度と精度が少しずつ落ちてきます。それを解消するために、定期的にoptimizeを実行することが必要となります。「<code>-cl</code>」をつけないで削除した文書の領域を回収するには、<code>optimize</code>以外の手段はありません。</p>
<p>通常の運用では、「<code>-cl</code>」をつけて<code>gather</code>や<code>purge</code>を実行するのがよいでしょう。ただし、とても大量の上書きや削除を行う場合には、「<code>-c</code>l」をつけないで<code>gather</code>や<code>purge</code>を実行してから、<code>optimize</code>を実行する方が効率的です。また、可用性の確保の項目で述べたように、インデックスの複製に対して更新する場合にも「<code>-cl</code>」をつけない方法が適します。<code>optimize</code>をした方がインデックスが小さく保たれるからです。</p>
<h3>文字化け対策</h3>
<p>プレーンテキストの文書や、HTMLの文書でmeta要素による文字コードの指定がなされていないものには、インデクシングの際に「<code>-il</code>」オプションの言語指定に応じて文字コードが自動判定されます。しかし、自動判定の精度は完璧ではありません。自動判定の誤りによって文字化けが発生した際には、「<code>-ic</code>」オプションで文字コードを明示するとよいでしょう。例えば、「<code>/home/www/public_html/chinese</code>」以下の文書はEUC-CNで書かれていて、「<code>/home/www/public_html/korean</code>」以下の文書はEUC-KRで書かれていることが分かっているならば、以下のようにします。</p>
<pre>estcmd gather -cl -ic EUC-CN -sd -cm casket /home/www/public_html/chinese
estcmd gather -cl -ic EUC-KR -sd -cm casket /home/www/public_html/korean
estcmd gather -cl -sd -cm casket /home/www/public_html
</pre>
<p>Windows上で「<code>Ⅲ</code>」「<code>③</code>」「<code>㌦</code>」などのいわゆる外字を使うことも多いかと思いますが、それらを含んだテキストをShift_JISとして扱うのは避けた方がよいでしょう。文字化けする可能性が高くなります。代わりにCP932もしくはWindows-31Jとして扱ってください。</p>
<h3>日本語のパス</h3>
<p>日本語などのマルチバイト文字を含んだ名前のファイルを登録することもできますが、文字化けを防ぐためには文字コードを明示することが必要です。<code>estcmd gather</code>の「<code>-pc</code>」オプションを使います。例えばEUC-JPであると指定する場合は、以下のようにします。</p>
<pre>estcmd gather -cl -pc EUC-JP -sd -cm casket .
</pre>
<p>UNIXではEUC-JPかUTF-8でファイル名を扱うことが多いです。日本語版のWindowsはCP932でファイル名を扱います。「<code>-pc</code>」オプションの値にShift_JISを指定しても期待通りに動作しないことに注意すべきです。Shift_JISの「<code>\</code>」（0x5c）をUTF-8に正規化すると、バックスラッシュでなく円マークになってしまい、区切り文字としての機能が失われるためです。CP932（Windows-31J）は「<code>\</code>」をバックスラッシュとして扱うことが明示されている規格なので、この問題はありません。</p>
<h3>登録文書の選択</h3>
<p>インデックスに登録する文書のファイルを選択する際には、UNIXでは<code>find</code>コマンドの出力を<code>estcmd gather</code>に読み込ませると便利です。<code>estcmd gather</code>は入力ファイル名のところに「<code>-</code>」を指定すると標準入力を読み込みます。<code>find</code>は非常に高機能で、「<code>-type f</code>」というオプションをつければファイル名だけを出力できますし、「<code>-not -path /secret/</code>」というオプションをつければ、「<code>secret</code>」というディレクトリの中を除外することができますし、その他にも様々なオプションがあります。また、<code>grep</code>や<code>fgrep</code>や<code>egrep</code>といったコマンドで<code>find</code>の出力を絞り込むのもよい考えです。</p>
<p>WindowsではUNIXの<code>find</code>コマンドに相当する標準の機能はありませんが、<code>estcmd scandir</code>を使うと同じようなことができます（「<code>dir /s /b</code>」でも大抵のことはできますが）。また、<code>estcmd regex</code>は、UNIXの<code>egrep</code>コマンドと同じように、ファイル名のリストを正規表現で絞り込むことができます。例えば「<code>C:\inetpub\wwwroot</code>」以下にあるHTMLファイルの絶対パスのリストを出力するには、以下のようにします。</p>
<pre>estcmd scandir -tf -pa "C:\inetpub\wwwroot" |
estcmd regex -ci "\.html?$"
</pre>
<h3>ファイルプロトコルの問題</h3>
<p>検索結果の各文書のURIをファイルプロトコル（「<code>file://</code>」で始まるURL）の形式で表示する場合には、そのURIを選択した際の挙動がブラウザによって異なることに注意しなければなりません。</p>
<p>Mozilla FirefoxやNetscapeのデフォルトの設定では、ファイルプロトコルのURLをブラウズすることはできません。アドレスバーに「<code>about:config</code>」と入力してから「<code>security.checkloaduri</code>」の値を「<code>false</code>」にする必要があります。</p>
<p>Microsoft Internet Explolerは、URLエンコードをデコードして得られた文字列の文字コードとURIが置かれているページの文字コードが同一であると仮定し、それに基づいてローカルにおける標準の文字コードに正規化を行った上でリソースを探します。したがって、Shift_JISのファイル名をエンコードして得られたURIは、<code>estseek.cgi</code>が出力するUTF-8のページに置くことができません。対策としては、別のブラウザを使うか、日本語のファイル名を使わないようにするか、ファイルプロトコルの代わりにHTTPを使うことが考えられます。</p>
<p>SMBのファイルサーバの文書を対象としてWindowsに閉じた環境で利用する場合は、URIの代わりにUNC（Universal Naming Convention）をリンク先にすると便利です。<code>estseek.conf</code>にある「<code>showlreal</code>」の値を「<code>true</code>」にすると、エンコードされたURIの代わりに、対象文書のファイルの絶対パスが使われます。この絶対パスにはURIエンコードが施されず、仮名や漢字がそのまま含まれます（これはHTMLの規格に違反しますが）。これを「<code>replece</code>」によってUNCに加工してください。なお、UNCにドライブ文字を含めてはならないということに注意してください。例えば、「<code>d:\pub</code>」が「<code>\\skyhigh\pub\</code>」として共有されているなら、<code>estseek.conf</code>に以下のような設定をします。</p>
<pre>...
replece: ^d:\\pub\\{{!}}\\skyhigh\pub\
showlreal: true
...
</pre>
<h3>Windows用のフィルタ</h3>
<p>Windows用のバイナリパッケージには、<code>xdoc2txt</code>というフィルタプログラムが同梱されています。これをHyper Estraierから呼び出すためのestxfiltというラッパーも同梱されています。それらを使うと、PDF、RTF、MS-Word、MS-Excel、MS-PowerPointなどのファイルをインデックスに登録できます。同梱のコマンドとDLLは全てパスの通った場所に置いてください。</p>
<p>例えば、「<code>D:\mikio\doc</code>」以下のファイルを登録したインデックスを作成するには、以下のようなコマンドを実行します。</p>
<pre>cd D:\mikio\doc
estcmd gather -cl -fx .pdf,.rtf,.doc,.xls,.ppt T@estxfilt -fz ^
-ic CP932 -pc CP932 -sd -cm casket .
</pre>
<p>「<code>-ic</code>」オプションでCP932を指定しているのは、<code>estxfilt</code>の出力の文字コードがCP932であるとわかっているためです。なお、行末の「<code>^</code>」はコマンドプロンプトのエスケープ文字です。</p>
<p>なお、Windows上でローカルファイルの登録を行なった場合には、各文書には「<code>file:///C|/pub/foo/bar.doc</code>」のようなURI属性が付けられます。これを外部公開用のHTTPのURLに変換するには、「<code>replace: ^file:///C\|/pub/{{!}}http://estraier.gov/</code>」などとしてください。メタ文字である「<code>|</code>」に一致させるには「<code>\|</code>」としてエスケープすることが必要です。</p>
<h3>フィルタの作り方</h3>
<p><code>gather</code>の「<code>-fx</code>」オプションで呼び出されるフィルタプログラムは、好きなように実装することができます。プログラム言語は何でも構いません。第1引数で指定されるファイルを読み込んで、第2引数のファイルに書き込めばよいのです。出力の形式は、文書ドラフト、プレーンテキスト、HTML、MIMEから選択することができます。</p>
<p>例えば、MP3のファイルからタイトル等の情報を抜き出すフィルタを考えてみましょう。標準シェルで実装して、mp3infoとiconvを組み合わせることにします。なお、ID3タグの文字コードがISO-8859-1（Latin1）であることを前提としていますが、これは実際に記録している文字コードに合わせて読みかえてください。</p>
<pre>#! /bin/sh
mp3info -p '@title=%t\n@author=%a\n@type=audio/mpeg\n\n%c\n\t%t\n\t%a\n' "$1" |
iconv -f ISO-8859-1 -t UTF-8 < "$2"
</pre>
<p>上記を「<code>estmp3todraft</code>」という名前で保存して、実行権限をつけて、パスの通った場所に置きます。あとは、以下のコマンドを実行すれば、MP3ファイルをインデックスに登録することができます。</p>
<pre>estcmd gather -cl -fx .mp3 estmp3todraft -fz -sd -cm casket .
</pre>
<p>各種のフィルタが充実すると多くのユーザに喜んでいただけるので、もしあなたが有用なフィルタを作ったなら、Hyper EstraierのMLにぜひ紹介してください。</p>
<h3>ユーザインターフェイスのカスタマイズ</h3>
<p>属性検索条件や順序指定の式を手入力するのが面倒な場合、<code>estseek.conf</code>の<code>attrselect</code>属性をtrueにしてください。セレクトボックスで指定できるようになります。</p>
<p>任意のユーザ属性を表示したいなら、<code>estseek.conf</code>の<code>extattr</code>属性を利用してください。</p>
<p>入力フォームを変更したいなら、<code>estseek.tmpl</code>の中の「<code><!--ESTFORM--></code>」の代わりに自分でフォームのHTMLを書いても構いません。その他、JavaScriptやCSSを駆使すればばかなりのカスタマイズができるはずです。</p>
<p>CSSやJavaScriptでできないカスタマイズが必要ならば、<code>estseek.c</code>のソースを書き換えて改造してもよいですし、<code>estcmd</code>のXML出力モードを呼び出すスクリプトを書いてもよいでしょう。もちろん、APIを使ったプログラミングをすれば、最も強力なアプリケーションを作ることができるでしょう。</p>
<h3>ジャンルによる絞り込み</h3>
<p><code>estcmd</code>と<code>estseek.cgi</code>には複数のインデックスを横断的に検索する機能はありません（APIを使えば可能ですが）。したがって、一括で検索するには、異なる種類のデータをひとつのインデックスに格納して、ジャンル属性をつけることによって区別するとよいでしょう。例えば、メールとWebコンテンツをジャンル分けして登録するには、以下のようにします。最初にインデックスを作る時だけ<code>estcmd create</code>で属性インデックスを張るのがポイントです。</p>
<pre>estcmd create -attr @genre str casket
estcmd gather -fm -il ja -aa @genre mail casket /home/mikio/mailbox
estcmd gather -fh -il ja -aa @genre web casket /home/mikio/public_html
</pre>
<p><code>estseek.cgi</code>においては、<code>estseek.conf</code>の<code>genrecheck</code>属性を設定することによって、検索対象となるジャンルをチェックボックスで選んで検索することができます。例えば、上記のインデックスに対しては以下の設定をするとよいでしょう。</p>
<pre>genrecheck: mail{{!}}メール
genrecheck: web{{!}}Webコンテンツ
</pre>
<h3>インクリメンタル検索と完全N-gram方式</h3>
<p>入力フィールドに文字を打ち込む毎に結果の画面が更新される、いわゆるインクリメンタル検索を行うこともできます。それには、以下の手順を実行してください。</p>
<ul>
<li>estcmd gatherでインデックスを作る際に、-apnオプションをつけます。</li>
<li>`/usr/local/share/hyperestraier/increm/' 以下にあるファイル群をestseek.cgiのあるディレクトリにコピーします。</li>
<li>estseek.tmplの中の「<!--ESTFORM-->」を削除します。</li>
<li>コピーしたestseek-frame.htmlにブラウザでアクセスします。</li>
</ul>
<p><code>-apn</code>オプションは、完全N-gram方式のデータベースを作ることを指定します。完全N-gram方式とは、ヨーロッパ系の言語を解析する際にもN-gram方式を適用するものです。この指定はデータベースを作成する時にしかできません。データベースを作成した後に方式を変更することはできないということです。完全N-gramでなくてもインクリメンタル検索は可能ですが、英文だと単語毎でしか文書がヒットしないので多少不便になります。なお、完全N-gram方式の欠点は、インデックスのサイズが大きくなることと、関連文書検索の精度が下がることです。したがって、インクリメンタル検索を使わない場合は通常の方式が推奨されます。</p>
<h3>FastCGI</h3>
<p>裏技の範疇に入りますが、<code>estseek.cgi</code>を高速化したプログラムを作ることが可能です。これはUNIX版のみの機能で、FastCGIという規格に基づくものです。FastCGIの実行環境（mod_fcgiなど）とライブラリ（libfcgi）をインストールした上で、Hyper Estraierのソースパッケージの中で「<code>make fcgi</code>」を実行してください。すると「<code>estseek.fcgi</code>」というプログラムが作成されます。これをestseek.cgiの代わりに利用してください。</p>
<p>FastCGIスクリプトはCGIスクリプトとほぼ同じインターフェイスでありながら、常駐プロセスになることが特徴です。したがって、プロセスを複製したりDBに接続したりするオーバーヘッドがかからないので、応答時間がかなり短くなります。同時接続数が多いサイトではこの方法はオススメです。FastCGIの詳細については<a href="http://www.fastcgi.com/">FastCGIのホームページ</a>をご覧ください。</p>
<p><code>estseek.fcgi</code>はインデックスをロックし続けるので、Webサーバの稼働中はインデックスを更新することができません。インデックスを更新するためには、<code>estcmd</code>で更新命令を掛けてから、Webサーバを再起動することになります。以下のようにするとよいでしょう。</p>
<pre>estcmd gather -cl -il ja -sd -cm casket . &
sudo /usr/local/apache2/bin/apachectl restart
</pre>
<p>スペシャルキャッシュとは、特定の属性の値をキャッシュすることによって処理の高速化を図る仕組みです。<code>estseek.conf</code>の<code>spcache</code>はスペシャルキャッシュの属性名を指定します。例えば、更新日時によるソートを頻繁に行う場合は、<code>@mdate</code>属性を指定しておくとよいでしょう。スペシャルキャッシュの対象に指定できる属性はひとつだけです。スペシャルキャッシュはメモリ上のキャッシュですので、CGIでは機能しません。常駐プロセスであるFastCGIでのみ威力を発揮します。</p>
<h3>NFSによるインデックスの共有</h3>
<p>NFSマウントのファイルシステム上にインデックスを置く場合には若干の注意が必要です。まず、そのNFSサーバおよびNFSクライアントがロックをサポートしている必要があります。21世紀の実装であれば大抵はロックをサポートしているでしょう。また、NFSサーバのプロセッサとNFSクライアントのプロセッサのエンディアンが一致していることが必要です。</p>
<p>以上の条件を満たしているならば、NFSを使って複数のマシンでインデックスを共有することができます。並列化に関する条件は単一のマシンを使っている場合と同じです。すなわち、あるプロセスがライタで接続している間は他のプロセスはリーダでもライタでも接続できず、あるプロセスがリーダで接続している間は他のプロセスはリーダであれば接続できます。</p>
<h3>WWWOFFLEのキャッシュの検索</h3>
<p>プロクシサーバWWWOFFLEのキャッシュを対象とした検索システムを構築することも簡単です。そのために、WWWOFFLEのキャッシュのリストを出力するコマンドとして `<code>estwolefind</code>' が提供されます。これは、第1引数で指定したディレクトリにあるWWWOFFLEのキャッシュファイルのパスとそれに対応するURLおよびファイル名をTSV形式で出力するものです。</p>
<p>例えば、WWWOFFLEのキャッシュが「<code>/var/spool/wwwoffle</code>」にあるならば、以下のコマンドを実行してください。なお、作業は「<code>/var/spool/wwwoffle</code>」を読み取れる権限があるユーザで行ってください。</p>
<pre>estwolefind /var/spool/wwwoffle |
estcmd gather -cl -fm -il ja -bc -px @uri -px _lfile -sd -cm casket -
</pre>
<p>あとは、普通に<code>estseek.cgi</code>で検索を行うことができます。定期的に上記のコマンドを実行するようにすれば、快適なWebライフの一助となるでしょう。</p>
<h3>圧縮方式の選択</h3>
<p>デフォルトではインデックスの各データベースは<a href="http://www.zlib.net/">ZLIB</a>を用いて圧縮されますが、ビルド前の設定で「<code>./configure --disable-zlib</code>」とすると、圧縮をしないようにすることができます。同様に、「<code>./configure --enable-lzo</code>」とするとZLIBの代わりに<a href="http://www.oberhumer.com/opensource/lzo/">LZO</a>を用いるように、「<code>./configure --enable-bzip</code>」とするとZLIBの代わりに<a href="http://www.bzip.org/">BZIP2</a>を用いるようにすることができます。ただし、転置インデックスディレクトリ（<code>_idx/</code>）の圧縮に関しては、QDBMが該当の圧縮方式をサポートしていない場合は非圧縮となります。</p>
<p>圧縮方式の選択によって、インデックスのサイズと構築にかかる時間は大きく変わります。以下にインデックスのサイズと構築時間の参考値を示します。対象文書はWikipedia日本語版から無作為に抽出した50000件の文書（プレーンテキストとして130.69MB）で、実行環境のCPUはPentium4の1.7GHzで、搭載メモリは1GBで、割り当てたキャッシュサイズは512MBです。</p>
<table summary="compression performance">
<tr>
<th abbr="labels"></th>
<th abbr="idx">_idx</th>
<th abbr="attr">_attr</th>
<th abbr="text">_text</th>
<th abbr="total">合計</th>
<th abbr="time">時間</th>
</tr>
<tr>
<th abbr="plain">非圧縮</th>
<td>189.25MB</td>
<td>21.82MB</td>
<td>138.08MB</td>
<td>349.16MB</td>
<td>481秒</td>
</tr>
<tr>
<th abbr="lzo">LZO</th>
<td>169.90MB</td>
<td>18.59MB</td>
<td>86.74MB</td>
<td>275.24MB</td>
<td>553秒</td>
</tr>
<tr>
<th abbr="bzip">BZIP2</th>
<td>146.89MB</td>
<td>20.15MB</td>
<td>64.79MB</td>
<td>231.83MB</td>
<td>820秒</td>
</tr>
<tr>
<th abbr="zlib">ZLIB</th>
<td>139.78MB</td>
<td>17.09MB</td>
<td>65.97MB</td>
<td>222.85MB</td>
<td>602秒</td>
</tr>
</table>
<p>特別な理由がない限りはZLIBを使うことを推奨します。更新が非常に頻繁な場合は、処理速度の速いLZOを使ってもいいでしょう。非圧縮やBZIP2を使うべき状況はまずないでしょう。なお、検索にかかる時間はどの方式でも大差ありません。</p>
<p>スコアの精度を何バイトにするかによってもインデックスのサイズと構築時間は変わります。以下に参考値を示します。圧縮方式はZLIBとします。</p>
<table summary="score accuracy performance">
<tr>
<th abbr="labels"></th>
<th abbr="idx">_idx</th>
<th abbr="attr">_attr</th>
<th abbr="text">_text</th>
<th abbr="total">合計</th>
<th abbr="time">時間</th>
</tr>
<tr>
<th abbr="zero">0バイト</th>
<td>117.10MB</td>
<td>17.09MB</td>
<td>65.97MB</td>
<td>220.17MB</td>
<td>530秒</td>
</tr>
<tr>
<th abbr="one">1バイト</th>
<td>139.78MB</td>
<td>17.09MB</td>
<td>65.97MB</td>
<td>222.85MB</td>
<td>602秒</td>
</tr>
<tr>
<th abbr="four">4バイト</th>
<td>170.23MB</td>
<td>17.09MB</td>
<td>65.97MB</td>
<td>253.30MB</td>
<td>670秒</td>
</tr>
</table>
<p>常に順序指定式を使う場合はスコアは不要ですので、精度を0バイト（つまり記録しない）にしてもいいでしょう。そうでない場合は1バイト（デフォルト）にするのがいいでしょう。4バイトにしても体感的な精度はそれほど向上しません。</p>
<h3>自然順序のカスタマイズ</h3>
<p>順序指定式を何も指定しない場合の検索結果の表示順序を自然順序と呼ぶことにします。デフォルトでは自然順序はスコア（検索語の出現数）の降順です。ところで、順序指定式を使って検索結果を並べ替えた際には、自然順序で並べた場合に比べてかなり遅くなるという欠点があります。そこで、スコアとして属性の値を持たせて、順序指定式を使わずに、属性値によって並び替えた検索結果を得られるようにしてみましょう。</p>
<p>スコアとして属性値を使うには、<code>estcmd</code>でインデックスを作成する際に、<code>-sa</code>オプションを付けてスコアの精度を確保した上で、文書を登録する際に<code>-ss</code>オプションでスコアの値となる数値型の属性の名前を指定します。例えば、文書のサイズを自然順序にするには、以下のようなコマンドを実行してください。</p>
<pre>estcmd gather -cl -il ja -sa -ss '@size' -sd -cm casket .
</pre>
<p>上記のようにインデクシングを行った場合、検索時に順序指定式を指定しない場合は、該当文書がサイズが大きい順に並べられます。サイズが小さい順に並べたい場合は、順序指定式として、「<code>[SCA]</code>」を指定してください。この演算子だけは順序指定式であっても属性を参照しないので速度が落ちません。文書ドラフトに予め代替スコアの指定を埋め込むには、<code>%SCORE</code>制御命令を用いてください。</p>
<p>登録時に文書に付与されたスコアは後から変更することはできません。<code>estcmd edit</code>で属性の値を変更してもそれはスコアに反映されないということです。スコアを変更したい場合は、いったんその文書をインデックスから削除してから再登録してください。</p>
<h3>インデックスのマイグレーション</h3>
<p>Hyper Estraierのバージョンによってインデックスの形式が異なる場合があります。今後はフォーマットをなるべく変更しないようにするつもりですが、万が一変更された場合には、既存のインデックスのデータをダンプしておき、そのデータを新しいバージョンのHyper Estraierに読み込ませるとよいでしょう。この手法は、バージョン間のマイグレーションだけでなく、エンディアンの異なるプラットフォーム間でのマイグレーションにも有効です。</p>
<p>データをダンプするには、以下のようなコマンドを実行します。</p>
<pre>estcmd search -max -1 -dd casket [UVSET]
</pre>
<p>すると、カレントディレクトリに<code>00000001.est</code>、<code>00000002.est</code>、<code>00000003.est</code>…といった名前のファイル群が生成されます。それぞれのファイルはインデックス内の個々の文書の文書ドラフトです。そして、そのファイル群を新しい環境に移して、<code>estcmd gather</code>で読み込ませるだけです。</p>
<hr />
<h2 id="faq">よく聞かれる質問</h2>
<dl>
<dt>Q. 「Hyper Estraier」はどう発音すればよいですか？</dt>
<dd>A. 作者は「ハイパーエストレイア」と発音しています。ちなみに、「estraier」は古いフランス語で「迷う」とか「はぐれる」とかいう意味の言葉ですが、本当の読み方はよく分かりません。</dd>
</dl>
<dl>
<dt>Q. 「Hyper Estraier」と「HyperEstraier」はどちらが正しいですか？</dt>
<dd>A. プロジェクト名としては「Hyper Estraier」が公式の名前です。パッケージ名としては「hyperestraier」が使われます。「HyperEstraier」はプログラム内の識別子やHTTPのユーザエージェント名として使われることがあります。</dd>
</dl>
<dl>
<dt>Q. コマンドの実行例で出てくる「casket」って何ですか？</dt>
<dd>A. 英語で「棺桶」という意味の言葉です。「死体（corpse）を入れる箱」と「文例集（corpus）を入れる箱」を掛けているのですが、なかなか気づいてもらえません。</dd>
</dl>
<dl>
<dt>Q. Windows上で動きますか？</dt>
<dd>A. 動きます。バイナリパッケージをダウンロードしてください。</dd>
</dl>
<dl>
<dt>Q. ビッグエンディアンもしくはリトルエンディアンのマシン上で動きますか？</dt>
<dd>A. はい。どちらでも動作します。ただし、双方でインデックスを共有することはできません。</dd>
</dl>
<dl>
<dt>Q. 64ビットのプロセッサで動きますか？</dt>
<dd>A. はい。問題なく動作します。</dd>
</dl>
<dl>
<dt>Q. EstraierとHyper Estraierを同一システムに共存させることは可能ですか。</dt>
<dd>A. はい。可能です。コマンド名やライブラリ名などが重複しないように配慮していますので、互いに衝突することはありません。</dd>
</dl>
<dl>
<dt>Q. Estraierとインデックスの互換性はありますか？</dt>
<dd>A. いいえ。互換性はありません。</dd>
</dl>
<dl>
<dt>Q. PDFは扱えますか？</dt>
<dd>A. はい。適切なフィルタを組み合わせれば可能です。ただし、暗号化されていたり文字が画像として保存されているPDFからはテキストを抽出できません。テキスト抽出禁止のフラグが立っているだけなら、pdftotextをハックすれば何とかなるらしいです。</dd>
</dl>
<dl>
<dt>Q. 私の商用製品でHyper Estraierを使ってよいですか？</dt>
<dd>A. はい。Hyper Estraierを商用の製品やサービスで利用することは全く問題ありませんし、ライセンス料も一切かかりませんし、利用することを作者に報告する必要もありませんし、利用していることをどこかに明記する必要もありません。なお、LGPLにおいては、ライブラリをスタティックリンクした製品を配布するかダイナミックリンクにしてアプリケーションとライブラリを別途に配布するかは本質的な問題ではありません。どちらにせよHyper Estraier自体を無改変で配布するのであればソースコード公開の義務は発生しません。たとえHyper Estraierを改変したとしても、改変したHyper Estraier自体のソースコードを公開すればよいだけで、あなたの製品のその他のモジュールのソースコードを公開する必要はありません。詳しくは「<code>COPYING</code>」ファイルを読んでください。</dd>
</dl>
<dl>
<dt>Q. ビルドに失敗したのですが、なぜですか？</dt>
<dd>A. QDBMとlibiconvとzlibのバージョンが適切かどうか調べてください。Mac OS Xの場合は「<code>make mac</code>」、HP-UXの場合は「<code>make hpux</code>」を実行したか確認してください。ビルドに必要なコマンド（<code>ar</code>や<code>ld</code>など）がパスに含まれているかどうか確認してください。それでもダメなら、メーリングリストか作者に報告してください。</dd>
</dl>
<dl>
<dt>Q. 設置したestseek.cgiにアクセスすると「Internal Server Error」になってしまいます。どうすればいいですか？</dt>
<dd>A. estcmdが実行できて正常にインデックスが作成できているなら、インストールはうまくいっているはずです。おそらく問題は、Webサーバを実行しているユーザのライブラリ検索パスにlibestraier.soやlibqdbm.soなどのある場所が含まれていないことです。環境変数LD_LIBRARY_PATH（Mac OS Xの場合はDYLD_LIBRARY_PATHで、Windowsの場合はPath）を適切に設定してください。</dd>
</dl>
<dl>
<dt>Q. インデックスが壊れてしまいましたが、修復するにはどうすればいいですか？</dt>
<dd>A. <code>estcmd repair</code>を使うと修復できます。しかし、インデックスが壊れた時に登録していた文書は消失している可能性があることに気を付けてください。万一の事故に備えて定期的にバックアップを取るのは大人としてのマナーです。</dd>
</dl>
<dl>
<dt>Q. バグを発見しました。</dt>
<dd>A. できるだけ対応したいので、メーリングリストか作者に報告してください。その際に、開発環境、実行環境、再現手順、エラーメッセージ、ログなど、できるだけ詳細なデータがあると助かります。なお、<code>estcmd</code>を実行する際に環境変数<code>ESTDBGFD</code>の値にファイルディスクリプタを設定しておくと、そこにエラーが起きた場所が出力されるようになります。</dd>
</dl>
<dl>
<dt>Q. Hyper EstraierやEstraierの他にも有用な全文検索システムはありますか？</dt>
<dd>A. たくさんあります。オープンソース製品だと、海外では<a href="http://lucene.apache.org/">Apache Lucene</a>、<a href="http://www.xapian.org/">Xapian</a>、<a href="http://www.gnu.org/software/mifluz/">GNU mifluz</a>、<a href="http://harvest.sourceforge.net/">Harvest</a>、<a href="http://swish-e.org/">Swish-e</a>、<a href="http://www.htdig.org/">ht://Dig</a>、<a href="http://search.mnogo.ru/">mnoGoSearch</a>などが有名です。日本だと<a href="http://namazu.org/">Namazu</a>、<a href="http://projects.netlab.jp/rast/">Rast</a>、<a href="http://qwik.jp/senna/">Senna</a>、<a href="http://geta.ex.nii.ac.jp/">GETA</a>などが有名です。</dd>
</dl>
<hr />
</body>
</html>
<!-- END OF FILE -->
