<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>8.6. ノーマライザー — groonga v3.0.5ドキュメント</title>
<link rel="stylesheet" href="../_static/groonga.css" type="text/css" />
<link rel="stylesheet" href="../_static/pygments.css" type="text/css" />
<script type="text/javascript">
var DOCUMENTATION_OPTIONS = {
URL_ROOT: '../',
VERSION: '3.0.5',
COLLAPSE_INDEX: false,
FILE_SUFFIX: '.html',
HAS_SOURCE: true
};
</script>
<script type="text/javascript" src="../_static/jquery.js"></script>
<script type="text/javascript" src="../_static/underscore.js"></script>
<script type="text/javascript" src="../_static/doctools.js"></script>
<script type="text/javascript" src="../_static/translations.js"></script>
<link rel="shortcut icon" href="../_static/favicon.ico"/>
<link rel="top" title="groonga v3.0.5ドキュメント" href="../index.html" />
<link rel="up" title="8. リファレンスマニュアル" href="../reference.html" />
<link rel="next" title="8.7. Tokenizers" href="tokenizers.html" />
<link rel="prev" title="8.5. テーブル" href="tables.html" />
</head>
<body>
<div class="header">
<h1 class="title">
<a id="top-link" href="../index.html">
<span class="project">groonga</span>
<span class="separator">-</span>
<span class="description">オープンソースのカラムストア機能付き全文検索エンジン</span>
</a>
</h1>
<div class="other-language-links">
<ul>
<li><a href="../../../en/html/reference/normalizers.html"><img src="../_static/us.png" alt="English">English page</a></li>
</ul>
</div>
</div>
<div class="related">
<h3>ナビゲーション</h3>
<ul>
<li class="right" style="margin-right: 10px">
<a href="../genindex.html" title="総合索引"
accesskey="I">索引</a></li>
<li class="right" >
<a href="tokenizers.html" title="8.7. Tokenizers"
accesskey="N">次へ</a> |</li>
<li class="right" >
<a href="tables.html" title="8.5. テーブル"
accesskey="P">前へ</a> |</li>
<li><a href="../index.html">groonga v3.0.5ドキュメント</a> »</li>
<li><a href="../reference.html" accesskey="U">8. リファレンスマニュアル</a> »</li>
</ul>
</div>
<div class="document">
<div class="documentwrapper">
<div class="bodywrapper">
<div class="body">
<div class="section" id="normalizers">
<h1>8.6. ノーマライザー<a class="headerlink" href="#normalizers" title="このヘッドラインへのパーマリンク">¶</a></h1>
<div class="section" id="summary">
<h2>8.6.1. 概要<a class="headerlink" href="#summary" title="このヘッドラインへのパーマリンク">¶</a></h2>
<p>groongaには正規化をするノーマライザーモジュールがあります。これはテキストをトークナイズするときとテーブルのキーを保存するときに使われます。例えば、正規化をした後は <tt class="docutils literal"><span class="pre">A</span></tt> と <tt class="docutils literal"><span class="pre">a</span></tt> は同じ文字として扱われます。</p>
<p>ノーマライザーモジュールはプラグインとして追加できます。ノーマライザープラグインをgroongaに追加することでテキストの正規化方法をカスタマイズできます。</p>
<p>ノーマライザーモジュールはテーブルに関連付いています。テーブルは0個か1個のノーマライザーモジュールを持つことができます。 <a class="reference internal" href="commands/table_create.html"><em>table_create</em></a> の <em class="xref std std-ref">table-create-normalizer</em> オプションでテーブルにノーマライザーオプションを関連付けることができます。</p>
<p>以下は <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> ノーマライザーモジュールを使う <tt class="docutils literal"><span class="pre">table_create</span></tt> の例です。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>table_create Dictionary TABLE_HASH_KEY ShortText --normalizer NormalizerAuto
# [[0, 1337566253.89858, 0.000355720520019531], true]
</pre></div>
</div>
<div class="admonition note">
<p class="first admonition-title">ノート</p>
<p>groonga 2.0.9以前には <tt class="docutils literal"><span class="pre">table_create</span></tt> に <tt class="docutils literal"><span class="pre">--normalizer</span></tt> オプションはありません。代わりに <tt class="docutils literal"><span class="pre">KEY_NORMALIZE</span></tt> フラグを使っていました。</p>
<p class="last">groonga 2.1.0以降で古いデータベースを開くことができます。ここでいう古いデータベースとはgroonga 2.0.9以前で作ったデータベースということです。しかし、一度新しいgroongaで開いたデータベースを2.0.9以前のgroongaで開くことはできません。一度 groonga 2.1.0以降のgroongaでデータベースを開くと、 <tt class="docutils literal"><span class="pre">KEY_NORMALIZE</span></tt> フラグ情報がノーマライザー情報に変換されます。そのため、2.0.9以前のgroongaは、一度groonga 2.1.0以降で開いたデータベース内から <tt class="docutils literal"><span class="pre">KEY_NROMALIZE</span></tt> フラグの情報を見つけることができません。</p>
</div>
<p>ノーマライザーモジュールを持っているテーブルのキーは正規化されます。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>load --table Dictionary
[
{"_key": "Apple"},
{"_key": "black"},
{"_key": "COLOR"}
]
# [[0, 1337566253.89858, 0.000355720520019531], 3]
select Dictionary
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# [
# [
# 3
# ],
# [
# [
# "_id",
# "UInt32"
# ],
# [
# "_key",
# "ShortText"
# ]
# ],
# [
# 1,
# "apple"
# ],
# [
# 2,
# "black"
# ],
# [
# 3,
# "color"
# ]
# ]
# ]
# ]
</pre></div>
</div>
<p><tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> ノーマライザーはテキストを小文字に正規化します。例えば、 <tt class="docutils literal"><span class="pre">"Apple"</span></tt> は <tt class="docutils literal"><span class="pre">"apple"</span></tt> に正規化され、 <tt class="docutils literal"><span class="pre">"black"</span></tt> は <tt class="docutils literal"><span class="pre">"blank"</span></tt> に正規化され、 <tt class="docutils literal"><span class="pre">"COLOR"</span></tt> は <tt class="docutils literal"><span class="pre">"color"</span></tt> に正規化されます。</p>
<p>テーブルが全文検索用の語彙表の場合、トークナイズされたトークンは正規化されます。なぜなら、トークンはテーブルのキーとして保存されるからです。テーブルのキーは前述のように正規化されます。</p>
</div>
<div class="section" id="built-in-normalizers">
<h2>8.6.2. 組み込みノーマライザー<a class="headerlink" href="#built-in-normalizers" title="このヘッドラインへのパーマリンク">¶</a></h2>
<p>以下は組み込みのノーマライザーのリストです。</p>
<blockquote>
<div><ul class="simple">
<li><tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt></li>
<li><tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt></li>
</ul>
</div></blockquote>
<div class="section" id="normalizerauto">
<h3>8.6.2.1. <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt><a class="headerlink" href="#normalizerauto" title="このヘッドラインへのパーマリンク">¶</a></h3>
<p>通常は <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> ノーマライザーを使うべきです。 <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> はgroonga 2.0.9以前で使っていたノーマライザーと同じものです。2.0.9以前のgroongaの <tt class="docutils literal"><span class="pre">table_create</span></tt> の <tt class="docutils literal"><span class="pre">KEY_NORMALIZE</span></tt> フラグは、2.1.0以降のgroongaの <tt class="docutils literal"><span class="pre">table_create</span></tt> の <tt class="docutils literal"><span class="pre">--normalizer</span> <span class="pre">NormalizerAuto</span></tt> と同じです。</p>
<p><tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> はすべてのエンコーディングに対応しています。UTF-8でエンコードされたテキストにはUnicodeのNFKC（Normalization Form Compatibility Composition）を使います。他のエンコーディング用にはエンコーディング毎に独自の正規化をします。これらの独自の正規化の結果はNFKCでの結果と似たものになります。</p>
<p>例えば、半角カタカナ（例えば「ｶ」: U+FF76 HALFWIDTH KATAKANA LETTER KA） + 半角カタカナの濁点（「ﾞ」: U+FF9E HALFWIDTH KATAKANA VOICED SOUND MARK）は濁点付きの全角カタカナ（「ガ」: U+30AC KATAKANA LETTER GA）に正規化されます。前者は2文字ですが、後者は1文字です。</p>
<p>以下は <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> ノーマライザーを使う例です。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>table_create NormalLexicon TABLE_HASH_KEY ShortText --normalizer NormalizerAuto
# [[0, 1337566253.89858, 0.000355720520019531], true]
</pre></div>
</div>
</div>
<div class="section" id="normalizernfkc51">
<h3>8.6.2.2. <tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt><a class="headerlink" href="#normalizernfkc51" title="このヘッドラインへのパーマリンク">¶</a></h3>
<p><tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt> はUnicode 5.1用のUnicode NFKC（Normalization Form Compatibility Composition）を使ってテキストを正規化します。UTF-8エンコーディングのみをサポートしています。</p>
<p>通常、 <tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt> を明示的に使う必要はありません。代わりに <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt> を使ってください。</p>
<p>以下は <tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt> ノーマライザーを使う例です。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>table_create NFKC51Lexicon TABLE_HASH_KEY ShortText --normalizer NormalizerNFKC51
# [[0, 1337566253.89858, 0.000355720520019531], true]
</pre></div>
</div>
</div>
</div>
<div class="section" id="additional-normalizers">
<h2>8.6.3. 追加のノーマライザー<a class="headerlink" href="#additional-normalizers" title="このヘッドラインへのパーマリンク">¶</a></h2>
<p><tt class="docutils literal"><span class="pre">groonga-normalizer-mysql</span></tt> パッケージで提供される追加のノーマライザーのリストです。</p>
<blockquote>
<div><ul class="simple">
<li><tt class="docutils literal"><span class="pre">NormalizerMySQLGeneralCI</span></tt></li>
<li><tt class="docutils literal"><span class="pre">NormalizerMySQLUnicodeCI</span></tt></li>
<li><tt class="docutils literal"><span class="pre">NormalizerMySQLUnicodeCIExceptKanaCIKanaWithVoicedSoundMark</span></tt></li>
</ul>
</div></blockquote>
<p><tt class="docutils literal"><span class="pre">groonga-normalizer-mysql</span></tt> はgroongaのプラグインです。MySQL互換のノーマライザーを提供します。ノーマライザー <tt class="docutils literal"><span class="pre">NormalizerMySQLGeneralCI</span></tt> に対応するのは <tt class="docutils literal"><span class="pre">utf8mb4_general_ci</span></tt> です。</p>
<p>事前に <tt class="docutils literal"><span class="pre">normalizers/mysql</span></tt> プラグインを登録する必要があります。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>register normalizers/mysql
# [[0, 1337566253.89858, 0.000355720520019531], true]
</pre></div>
</div>
<p>以下は <tt class="docutils literal"><span class="pre">NormalizerMySQLGeneralCI</span></tt> ノーマライザーを使う例です。</p>
<p>実行例:</p>
<div class="highlight-none"><div class="highlight"><pre>table_create MySQLGeneralLexicon TABLE_HASH_KEY ShortText --normalizer NormalizerMySQLGeneralCI
# [[0, 1337566253.89858, 0.000355720520019531], true]
</pre></div>
</div>
</div>
<div class="section" id="see-also">
<h2>8.6.4. 参考<a class="headerlink" href="#see-also" title="このヘッドラインへのパーマリンク">¶</a></h2>
<ul class="simple">
<li><a class="reference internal" href="commands/table_create.html"><em>table_create</em></a></li>
</ul>
</div>
</div>
</div>
</div>
</div>
<div class="sphinxsidebar">
<div class="sphinxsidebarwrapper">
<h3><a href="../index.html">目次</a></h3>
<ul>
<li><a class="reference internal" href="#">8.6. ノーマライザー</a><ul>
<li><a class="reference internal" href="#summary">8.6.1. 概要</a></li>
<li><a class="reference internal" href="#built-in-normalizers">8.6.2. 組み込みノーマライザー</a><ul>
<li><a class="reference internal" href="#normalizerauto">8.6.2.1. <tt class="docutils literal"><span class="pre">NormalizerAuto</span></tt></a></li>
<li><a class="reference internal" href="#normalizernfkc51">8.6.2.2. <tt class="docutils literal"><span class="pre">NormalizerNFKC51</span></tt></a></li>
</ul>
</li>
<li><a class="reference internal" href="#additional-normalizers">8.6.3. 追加のノーマライザー</a></li>
<li><a class="reference internal" href="#see-also">8.6.4. 参考</a></li>
</ul>
</li>
</ul>
<h4>前のトピックへ</h4>
<p class="topless"><a href="tables.html"
title="前の章へ">8.5. テーブル</a></p>
<h4>次のトピックへ</h4>
<p class="topless"><a href="tokenizers.html"
title="次の章へ">8.7. Tokenizers</a></p>
<h3>このページ</h3>
<ul class="this-page-menu">
<li><a href="../_sources/reference/normalizers.txt"
rel="nofollow">ソースコードを表示</a></li>
</ul>
<div id="searchbox" style="display: none">
<h3>クイック検索</h3>
<form class="search" action="../search.html" method="get">
<input type="text" name="q" />
<input type="submit" value="検索" />
<input type="hidden" name="check_keywords" value="yes" />
<input type="hidden" name="area" value="default" />
</form>
<p class="searchtip" style="font-size: 90%">
モジュール、クラス、または関数名を入力してください
</p>
</div>
<script type="text/javascript">$('#searchbox').show(0);</script>
</div>
</div>
<div class="clearer"></div>
</div>
<div class="related">
<h3>ナビゲーション</h3>
<ul>
<li class="right" style="margin-right: 10px">
<a href="../genindex.html" title="総合索引"
>索引</a></li>
<li class="right" >
<a href="tokenizers.html" title="8.7. Tokenizers"
>次へ</a> |</li>
<li class="right" >
<a href="tables.html" title="8.5. テーブル"
>前へ</a> |</li>
<li><a href="../index.html">groonga v3.0.5ドキュメント</a> »</li>
<li><a href="../reference.html" >8. リファレンスマニュアル</a> »</li>
</ul>
</div>
<div class="footer">
© Copyright 2009-2013, Brazil, Inc.
</div>
</body>
</html>
distrib
>
Fedora
>
18
>
x86_64
>
media
>
updates
>
by-pkgid
>
e450e7f3d6075c4a54de19e68d38177f
>
files
>
650
