Uncountableインターフェイスには、特定の実験の結果を予測する方法がいくつかあります。この記事では、実験を設定、トレーニング、モデル化するさまざまな方法を説明します。
ステップ1 実験計画の種類を選択する
Uncountableのプラットフォームでは、推奨の実験を取得できる3種類のワークフローが提供されています。「1. 制約条件から実験点を探索」、「2. 過去傾向から実験点の推奨」および「3. ユーザー設定から実験点の推奨」です。各ワークフローは現在の目標やデータに合わせて最適化することができます。
次の図は、3つの異なるワークフローがそれぞれ何を行うかを示しています。
次の一連の質問に応えることで、どのワークフローを選択したらよいかがわかります。
- アウトプットがある過去の実験データはありますか？
- そのデータで、使用されている原料またはパラメータの割合は多いですか？
- これらの質問の答えが両方とも「はい」の場合は、1.2に進みます。「いいえ」の場合は1.1に進みます。
1.1）制約条件から実験点を探索
参照する過去のデータがない場合、有益なデータの収集と適切なモデルの構築をここから開始すると最もスムーズです。「制約条件から実験点を探索」は、実験空間全体にスクリーニング実験を分散させて、過去のデータを参照せずに情報収集を最大限に高めるのに役立ちます。
「制約条件から実験点を探索」では、まずどのインプットについて調査するかを決める必要があります。これらのインプットは、すでに設計した制約条件を選択することで定義できます。
Uncountable DOEと従来のFactorial DOEの2つのオプションから選択できます。どちらのDOEにするかは、その実験の目的や制限によって異なります。
従来のFactional DOE（1.1.2）は、比較的迅速かつ安価に実施できる多数の初期実験を伴う場合に対して、より構造化された徹底的なアプローチをとることが得意です。反対にUncountable DOE（1.1.1）は、何よりも効率を優先する、それほど包括的ではない、カスタマイズされたアプローチに最適です。
1.1.1）Uncountable DOE
Uncountable DOEは、実行する実験の数を与えた場合に、独自の設計と選択アルゴリズムを使用して、実験空間内で最適な実験を選択します。Uncountable DOEの主な目的は、初期実験をできるだけ少なくして実験空間に関してできる限り多くの情報を得ることで、この後の最適化の強力な基盤を構築することです。Uncountable DOEの欠点は、Factional DOEよりも構造が一般的ではないことです。実験用リソースをできるだけ効率的に使用したい場合は、このオプションを使用してください。ステップ2に進みます。
1.1.2）完全要因計画
要因計画は、すべての入力パラメータを完全に交差させてマッピングします。これは実験計画法でよく使用される方法です。この方法の欠点は、最適化する原料やパラメータの数によっては、完全要因計画を完了するために非常に多くの実験を行わなければならないことです。構造化された初期実験セットを使用したい場合で、必要なすべての実験を安価かつ迅速に実行できる場合は、このオプションを使用してください。ステップ2に進みます。
1.2）「過去傾向から実験点の推奨」または「ユーザー設定から実験点の推奨」
インプットの原料と工程条件に対する特定の制約条件を作成した場合は、「ユーザー設定から実験点の推奨」オプションを選択し、ステップ2に進んで制約条件を選択します。
特定の制約条件を作成したくない場合は、「過去傾向から実験点の推奨」オプションを選択し、ステップ3に進みます。このオプションは、包括的な制約条件の構築に時間をかけずに、推奨される実験がどのようなものになるかをすばやく評価したい場合に特に便利です。
ステップ2 適切な制約条件を選択する
Uncountableプラットフォームで制約条件を設定する方法について詳しくは、この記事の「制約条件を定義する」セクションを参照してください。
ステップ1で「制約条件から実験点を探索」ワークフローを使用しており、過去のデータがない場合は、Uncountable DOEと完全要因計画のどちらを使用しているかに関係なく、インプットパラメータがどのような構造かがわかるように選択アルゴリズムに渡す完全な制約条件を入力する必要があります。
ステップ1で「ユーザー設定から実験点の推奨」を選択した場合は、完全に入力された制約条件を作成しておく必要があります。ドロップダウンメニューからその制約条件を選択して、原料と工程条件の選択と範囲が、目的に沿っていることを確認します。使用する予定はないが、過去のデータではよく使用されている重要な原料を含め、使用頻度を「使用しない」に設定する必要があります。
事前に制約条件を選択していない場合は、ステップ1で「過去傾向から実験点の推奨」オプションを選択してください。
ステップ3 適切なスペックを選択する
Uncountableプラットフォームでスペックを設定する方法について詳しくは、この記事の「スペックを定義する」セクションを参照してください。
以前に構築したスペックを選択し、このプロジェクトで対象となるすべてのアウトプットが、正しい条件下で、正しい優先順位と目標しきい値でリストされていることを確認します。
既存のデータのアウトプット範囲をはるかに超えたしきい値を設定すると、Uncountable最適化目的関数の優先順位を歪める可能性があるため、目標とするしきい値は合理的に設定する必要があります。
ステップ4 トレーニングセットを選択する
デフォルトでは、モデルに使用されるトレーニングセットは、現在のプロジェクト内のすべての実験になります。一般に、このデフォルトのトレーニングセットを使用するのがベストです。
それでも、より正確で賢明な予測と推奨を取得できるより良いモデルにするため、実験データを除外したり含めたりといった作業を行ったほうが良い場合があります。以下は、カスタムのトレーニングセットを作成する際に、含めるか除外するかを選択できる実験のチェックリストです。
以下に当てはまる実験は除外します。
- 使用される原料の種類や量の点で大幅な外れ値である。
- 特に重要な工程条件に関するインプットデータが不完全である。
- 実験から得られたアウトプットが信頼できないと評価されている。
外れ値の実験が含まれていた場合でも、Uncountableプラットフォームには自動外れ値除外機能があり、こうした実験を除外することができます。
以下に当てはまる実験を含めます。
- プロジェクトデータの一部であり、上記の3つの除外の基準に当てはまらない。
- 別のプロジェクトのデータの一部ですが、インプットとアウトプットの両方の点で現在のプロジェクトのデータと密接に関連しており、上記の3つの除外の基準に当てはまらない。
一般に、トレーニングセット内の1つのバッチに収まる限り多くの実験を含めることをお勧めします。たとえば、1つのバッチ内に7～10個の実験を含めることができる場合は、最も多い10個含めることをお勧めします。
プラットフォームが推奨する実験の数は、システムが考慮する要因の数に基づく大まかな推定値です。通常は6～8回の実験で十分ですが、特定の実験に変動する入力がほとんどない場合は、それよりも少ない数で実行することをお勧めします。
最適化ジョブを初めて実行した後に、トレーニングセットを微調整することができます。
ステップ5 実行して最初のモデルを解釈する
制約、スペック、トレーニングセットを選択したら（該当する場合）、現在のジョブ実行に名前を付け、生成する実験の数を入力します。完了したら、［定式を提案］をクリックするとジョブが実行されます。
最初モデルがどの程度良好に作成されたかを評価した後、ジョブをもう一度実行する必要があることもあります。モデルは比較的迅速に作成できます。作成中のモデルや提供されている推奨事項を改善した方が良いと思われる場合は、変更してからジョブを再度実行してみてください。
5.1）推奨内容を評価する
最初の実行が成功したかどうかを評価するには、まず、推奨された実験を確認します。その分野の専門家として、特に次の点について、推奨された内容がどの程度達成できているかを評価します。
- 特定の原料が過剰に使用されていたり、使用レベルが高すぎたりしていませんか？
- 「制約条件」フィールドで、原料の最大量を下げることができます。紫色の［Regenerate］ボタンをクリックすることで推奨値を簡単に再計算できます。
- 特定の必須原料は使用されていますか？
- 「制約条件」で、原料を「常に使用」に設定します。
- ほとんど使用されない特定の原料の使用回数が多すぎませんか？
- ダッシュボードに移動して、この原料を使用した過去の実験を確認してください。実験結果は期待どおりでしたか、それともトレーニングセットから除外すべき異常値でしたか？
- 原料の合計は合理的ですか？特定のカテゴリの原料の使用量が多すぎたり少なすぎたりしていませんか？
- これらの上限は、「制約条件」で調整できます。
- どの推奨事項も似たり寄ったりではありませんか？
- これにはいくつかの原因が考えられます。最もよくある原因は2つで、制約条件が必要以上に厳しいか、スペックが1つの目標に重点を置きすぎているかです。制約条件を緩める必要があるかどうか、目標が高すぎるアウトプット目標がないかを確認してください。また、過去のデータが非常に包括的なため、テストに最適な実験がこの領域にあるという点で信頼性の高いモデルの場合もあります。
5.2）モデルの予測精度を評価する
「モデルの分析」ツールを使用すると、モデルをより詳細に評価できます。「トレーニングの精度」テーブルには、最適化に使用されるモデルがどの程度適切に構築されているかが表示されます。
各アウトプットについて、以下が表示されます。
- RMSE – これはモデルの予測誤差です。RMSEが低いほど、モデルの予測精度は高まります。このRMSEは、リーブワンアウト相互検証手順から計算されます。
- r² スコア – これは決定係数であり、値が1に近づくほど、モデルの説明力が高くなります。これは、作成されたモデルによってデータセットのアウトプットの分散と範囲がどの程度説明できるかを評価する1つの方法です。
- エラーの説明 – エラーの説明は、RMSEの大きさとデータの標準偏差の大きさを比較します。RMSEは絶対尺度であり、その大きさはアウトプットごとに異なる可能性があるため、標準偏差に基づいて正規化することで異なるアウトプット間を比較することができます。エラーの説明が100%に近づくほど、モデルの予測精度は高くなります。
- Scatter Plot of Predicted vs. Actual: 多くの点で、予測品質の最も直感的で有益な尺度の1つです。目標は、モデルの予測をトレーニングデータセットの実験の実際の値に近づけることです。つまり、点はグラフ上のy=xの灰色の対角線の近くにある必要があります。散布図では以下を確認します。
- 外れ値。1つまたは2つの点で、他のすべてのデータ点よりも実際の値と大きく異なる予測が含まれる場合。こうした実験の測定値は信頼できるでしょうか？信頼できない場合は、トレーニングデータセットから完全に削除できます。
- 次の図のような「縦に連なった線」。
このグラフは、実際の値（Y軸）に対して予測値（X軸）をモデル化しています。「線」は、モデルが実際には異なる実測値の、複数のデータ点で同じ予測を行ったことを示します。これに対して考えられる最もよくある理由は3つあります。1）工程条件のデータが空白になっている。モデルによって「0」と解釈されてしまいます。不完全な工程条件を持つデータ点を削除するか、こうした工程条件をモデル特性から削除してください。2）重要なインプットの特性が欠落している。この場合、すべての重要な要素がモデルの作成に使用される制約条件に組み込まれていることを確認してください。3）データのサブグループが隠されている。まとめている実験が、一緒にすべきではない別のグループや実験条件からのものではないことを確認してください。
5.3）エフェクトサイズテーブル を確認する
各アウトプットについて、モデル内の特定のアウトプットに対する各インプットのエフェクトサイズがどの程度大きいかを確認できます。どのインプットが最大のプラスのエフェクトサイズとマイナスのエフェクトサイズかを簡単に確認したい場合に便利です。
これらの原料や工程条件が、確認したエフェクトサイズであることは合理的でしょうか？合理的でない場合は、エフェクトサイズに疑問がある特定のアウトプットと特定のインプットの散布図を確認し、エフェクトサイズを決定付けるような異常な実験が行われていないか確認できます。
ステップ6 最適化する
ステップ5で制約条件、スペック、トレーニングセットに対して必要な調整を行ったら、その設定でジョブを再実行できます。結果として得られたモデルの精度の尺度がより優れているかどうかを確認し、推奨される実験が、プロジェクトで取るべきステップとして適切であるかをもう一度確認します。
ある程度納得いくモデルを推奨事項の中から選択してメインプロジェクトにインポートし、ラボで実際の実験を実行できます。