重複排除 技術解説(6)重複排除技術の今後の展望

引き続き、ASCII.technologies 2011年1月号に寄稿した「重複排除技術が革新するストレージの世界」の第3章、今後の展望です。この記事で、転載は最後になります。
なお、重複排除技術の今後の展望に関しては、近いうちに、より詳しい展望記事を某紙に寄稿予定です。公開が可能になりましたら、またブログで紹介できたらと思っています。

続きを読む

重複排除 技術解説(4)重複排除するタイミング − リアルタイムか後処理か

引き続き、ASCII.technologies 2011年1月号に寄稿した「重複排除技術が革新するストレージの世界」の第二章の技術解説です。今回は「重複の判定方法」です。


[2.3節 重複排除するタイミング − リアルタイムか後処理か 序文]
前節では重複判定の方式について説明した。本節では、その重複判定の処理をどのタイミングで行うかということについて、解説していこう。ここでは大きく二つの方式があり、一つはリアルタイムに行う方式で、もう一つは後処理として行う方式だ。
リアルタイムに行う方式は、インライン方式と呼ばれる。インライン方式では、データがディスクに書かれる前に重複判定が行われ、重複データはそのタイミングで削除される。つまり、重複データがディスクに書かれることはない。
後処理として行う方式は、ポストプロセス方式と呼ばれる。ポストプロセス方式では、重複であるかどうかの判定は後回しにしてとりあえずディスクにデータを全て書いてしまう。つまり、重複排除機能が無い場合と同様、全てのデータはディスクにまず書かれる。そして、後々、バックグラウンドタスクとして重複判定処理が走る。重複判定処理がまだ行われていないデータを読み出し、フィンガプリントを比較するなどして重複判定を行い、重複であればそのデータを削除し他の同一データへのリンク処理を行う。例えるなら、ポストプロセス方式ではバッファのようにディスクを使っていると言ってもよいかもしれない。
インライン方式とポストプロセス方式にはそれぞれメリット・デメリットがある。以下ではその違いを説明していこう。

続きを読む

重複排除 技術解説(3)重複の判定方法

引き続き、ASCII.technologies 2011年1月号に寄稿した「重複排除技術が革新するストレージの世界」の第二章の技術解説です。今回は「重複の判定方法」です。


[2.2節 重複の判定方法 序文]
今までの説明では重複排除の容量削減効果に主に焦点を合わせてきたが、重複排除技術をシステムに適用するにあたり、それと同じぐらい重要なポイントがある。それは、重複排除処理を加えることによるシステム性能への影響を軽微に抑えるということである。重複排除で容量を大きく削減できたとしても、システム性能が大きく落ちてしまうと使用用途がかなり限定されてしまう。たとえば、バックアップではバックアップウィンドウ以内にバックアップを終了させることは必須なので、性能要件が非常に重要だ。ある程度の性能が出せなければ採用に至らない。
ハードウェアを増強すれば性能低下は抑えられるので、それは重要な要件ではないと考える読者がいるかもしれない。しかし、その場合にはハードウェアコストの上昇という別の問題を抱え込む。将来は状況が変わるかもしれないが、現時点の重複排除製品ビジネスにおいては、高価なハードウェアを使わずに性能への影響を軽微に抑える―つまりは少ないハードウェアリソースで重複排除処理を効率的に行う―ことが、非常に重要な要件になっている。
そして、この要件を大きく左右するのが、本節で取り上げる重複の判定方法である。どのやり方を採用するかによって、ハードウェアリソースの消費量は大きく変化する。多くのディスクリソースを必要とする製品もあれば、CPU・メモリをメインに使うという製品もある。本節では、どのようなアプローチが市場に存在し、それらがハードウェアリソース消費量の観点でどのように異なるのか、そして、どういった設計思想からそのような設計になっているか、解説していく。

続きを読む

重複排除 技術解説(2)重複排除の単位

引き続き、ASCII.technologies 2011年1月号に寄稿した「重複排除技術が革新するストレージの世界」の第二章の技術解説です。まずは、「重複排除の単位」です。


[第2章 重複排除技術解説 序文]
重複排除のユーザメリットについてここまで説明してきた。本章では、そのメリットを実現するための技術と方式について解説していこう。
重複排除は様々な方式が市場に存在し、どの方式を選ぶかによって効果が大きく変わる。しかし、ベンダーはそれぞれ自分たちの方式の優れた点のみを主張するため、各方式の特性の違いをユーザが理解するのはなかなか難しい。
本記事では、重複排除の各方式の特性の違いを読者に理解してもらうべく、以下の五つのポイントにおいて方式を整理し、それぞれの方式がどういった特性の違いを生むのかについて解説する。重複排除技術を使った製品を比較する際には、この五点について聞けばその特性はほぼ理解できるはずだ。
また、ベンダーがなぜそういった方式を選んだのか、つまり設計思想という観点に関しても多少考察を加えている。これにより、その方式が採用された背景をある程度理解していただく事が可能だと思う。

  • 重複排除の単位
  • 重複の判定方法
  • 重複排除するタイミング
  • 重複排除を行う場所
  • 重複排除の範囲
続きを読む

重複排除 技術解説(1)重複排除が注目を集める理由

ASCII.technologies 2011年1月号に寄稿した「重複排除技術が革新するストレージの世界」を、何本かのエントリに分けて公開させて頂きます。まずは、第一章「重複排除が注目を集める理由」です。第二章の技術解説、第三章の今後の展望に関しては、後日公開する予定です。なお、編集前のテキストを用いていますので、実際の記事と少し差異があります。



[記事序文] 重複排除(Deduplication)という技術を聞いたことがあるだろうか?その名が示すとおり、「データ内に存在するムダな重複部分を排除して一つにまとめてしまう」技術のことで、ストレージシステムを大きく変え得る技術として、市場で大きな注目を浴びている。本記事では、この新技術はなぜそんなにも注目されているのか、技術にはどのような種類があるのか、そして今後どのように発展していくのかなど、重複排除技術の現状と今後の展望について解説する。

続きを読む

2010年度の取材・寄稿・講演実績

Dellで働き始めて、一年と一ヶ月が経過しました。幸い、多くの取材、寄稿、講演依頼を頂き、いろいろな経験を積むことができました。今日はその内容をまとめてみようと思います。

取材

取材記事の多くは、プレス向けセミナーから生まれました。広報の方が、私のストレージの知識を生かすPRの方法は無いかと色々考えてくださって、始めたセミナーです。技術の奥深いところを、わかりやすく、そして面白く。そんな気持ちで続けています。これからも、そういった機会を持ち続けられればと思います。

寄稿

プレス向けセミナーでお会いした記者の方からの紹介で、寄稿依頼を何本かいただくことができました。技術の大事なところを、専門的な視点を入れつつ、一般の方にもわかりやすい言葉で解説するのが目標です。

講演 (外部イベント)

この一年間で、本当に多くの講演を経験させていただきました。またあの人に頼みたいと思われるような話し手に、少しでも近づけるようがんばっていきたいと思います。

講演 (所属企業主催イベント) ※主なもののみ


色々な成果が出せた一方で、まだ手が付けられていない分野も多くあります(ブログやソーシャルメディアなど)。今年は活動の幅を少しずつ拡げていければと思っています。