outlier rejection

先日、Randy Read 氏の outlier rejection の論文 "Detecting outliers in non-redundant diffraction data" Acta Cryst. (1999). D55 を読んだ。

予想される分布より 6SD 離れた観測を外れ値として考えている。ガウス分布の 6SD なので、p値 は 10^{-9}に対応する。とはいえ、反射の数が10^5-10^6のオーダなので、Bonferroni補正を考えると真の p値は 0.001〜0.0001 位のオーダか。

outlier 以外にもいろいろな理由で completeness が 100% にはならないから、多少余計に reject してしまっても、そんなに深刻ではない。こういうのを統計学者が見ると雑だと怒られそうだけど……

outlier の由来について、いくつか列挙しておこう。

  • overflow オーバーフロー (=焼きすぎ。とくに低角)
  • cosmic ray 宇宙線
  • bad pixel 素子が死んでいる (積分の時点で配慮されるべき?)
  • ice ring 氷由来の反射
  • salt crystal 塩由来の反射
  • sublattice 単結晶ではない

ところで、CCD型検出器の補正について、Error Page - IEEE Xplore という文献を見つけたので、後で読みたい。