├── assets
├── isolation_plot.png
├── bad_search_space.png
├── good_search_space.png
├── gradient_clipping.png
├── more_frequent_evals.png
├── stride_instability.png
├── have_we_sampled_enough.png
├── beneficial_effect_warmup.png
├── axis_model_with_instability.png
├── instability_during_warmup.png
└── loss_model_with_instability.png
├── CITATION.bib
├── CONTRIBUTING.md
├── LICENSE
└── README.md
/assets/isolation_plot.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/isolation_plot.png
--------------------------------------------------------------------------------
/assets/bad_search_space.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/bad_search_space.png
--------------------------------------------------------------------------------
/assets/good_search_space.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/good_search_space.png
--------------------------------------------------------------------------------
/assets/gradient_clipping.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/gradient_clipping.png
--------------------------------------------------------------------------------
/assets/more_frequent_evals.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/more_frequent_evals.png
--------------------------------------------------------------------------------
/assets/stride_instability.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/stride_instability.png
--------------------------------------------------------------------------------
/assets/have_we_sampled_enough.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/have_we_sampled_enough.png
--------------------------------------------------------------------------------
/assets/beneficial_effect_warmup.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/beneficial_effect_warmup.png
--------------------------------------------------------------------------------
/assets/axis_model_with_instability.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/axis_model_with_instability.png
--------------------------------------------------------------------------------
/assets/instability_during_warmup.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/instability_during_warmup.png
--------------------------------------------------------------------------------
/assets/loss_model_with_instability.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/Valkyrja3607/tuning_playbook_ja/HEAD/assets/loss_model_with_instability.png
--------------------------------------------------------------------------------
/CITATION.bib:
--------------------------------------------------------------------------------
1 | @misc{tuningplaybookgithub,
2 | author = {Varun Godbole and George E. Dahl and Justin Gilmer and Christopher J. Shallue and Zachary Nado},
3 | title = {Deep Learning Tuning Playbook},
4 | url = {https://github.com/google-research/tuning_playbook},
5 | year = {2023},
6 | note = "Version 1"
7 | }
--------------------------------------------------------------------------------
/CONTRIBUTING.md:
--------------------------------------------------------------------------------
1 | ## 寄稿の方法
2 |
3 | - 本製品はGoogleの公式サポート製品ではありません。
4 | - ぜひ、ご意見をお聞かせください
5 | - このプレイブックが気に入ったら、ぜひ[星を付けてください](https://docs.github.com/en/get-started/exploring-projects-on-github/saving-repositories-with-stars#starring-a-repository)。または deep-learning-tuning-playbook \[at\] googlegroups.com までメールしてください。お客様の声は、このようなリソースをより多く作成することを正当化する助けになります。
6 | - もし何か間違っていると思われることがあれば、issueを提出して議論を始めてください。質問やその他のメッセージで issue が適切でない場合は、GitHub で新しいディスカッショントピックを立ててください。
7 | - 前文で述べたように、これは生きている文書です。大なり小なり、定期的に改良を加えていく予定です。もし通知を受けたい場合は、私たちのリポジトリをウォッチしてください ([説明](https://docs.github.com/en/account-and-profile/managing-subscriptions-and-notifications-on-github/setting-up-notifications/configuring-notifications#configuring-your-watch-settings-for-an-individual-repository)を参照)。
8 | 最初に課題追跡システムを通じて作者と調整することなく、プルリクエストを提出するのはやめてください。
9 |
10 | ### コントリビューター使用許諾契約書
11 | このプロジェクトへの貢献は、貢献者ライセンス契約（CLA）を伴わなければなりません。あなた（またはあなたの雇用主）は、あなたの貢献に対する著作権を保持します。これは単に、あなたの貢献をプロジェクトの一部として使用し、再配布する許可を与えるものです。https://cla.developers.google.com/ にアクセスして、現在登録されている契約書を確認したり、新しい契約書に署名したりできます。
12 |
13 | 通常、CLAを提出するのは一度だけなので、すでにCLAを提出している場合は（それが別のプロジェクト用であっても）、おそらく再度提出する必要はありません。
14 |
15 | ### コードレビュー
16 | プロジェクトメンバーによる投稿を含め、すべての投稿はレビューが必要です。この目的のために、GitHubのプルリクエストを使用しています。プルリクエストの使い方については、[GitHubのヘルプ](https://help.github.com/articles/about-pull-requests/)を参照してください。
17 |
18 | ### コミュニティガイドライン
19 | このプロジェクトは、[Google's Open Source Community Guidelines](https://opensource.google/conduct/)に準拠しています。
20 |
--------------------------------------------------------------------------------
/LICENSE:
--------------------------------------------------------------------------------
1 | Creative Commons Attribution 4.0 International Public License
2 |
3 | By exercising the Licensed Rights (defined below), You accept and agree
4 | to be bound by the terms and conditions of this Creative Commons
5 | Attribution 4.0 International Public License ("Public License"). To the
6 | extent this Public License may be interpreted as a contract, You are
7 | granted the Licensed Rights in consideration of Your acceptance of
8 | these terms and conditions, and the Licensor grants You such rights in
9 | consideration of benefits the Licensor receives from making the
10 | Licensed Material available under these terms and conditions.
11 |
12 |
13 | Section 1 -- Definitions.
14 |
15 | a. Adapted Material means material subject to Copyright and Similar
16 | Rights that is derived from or based upon the Licensed Material
17 | and in which the Licensed Material is translated, altered,
18 | arranged, transformed, or otherwise modified in a manner requiring
19 | permission under the Copyright and Similar Rights held by the
20 | Licensor. For purposes of this Public License, where the Licensed
21 | Material is a musical work, performance, or sound recording,
22 | Adapted Material is always produced where the Licensed Material is
23 | synched in timed relation with a moving image.
24 |
25 | b. Adapter's License means the license You apply to Your Copyright
26 | and Similar Rights in Your contributions to Adapted Material in
27 | accordance with the terms and conditions of this Public License.
28 |
29 | c. Copyright and Similar Rights means copyright and/or similar rights
30 | closely related to copyright including, without limitation,
31 | performance, broadcast, sound recording, and Sui Generis Database
32 | Rights, without regard to how the rights are labeled or
33 | categorized. For purposes of this Public License, the rights
34 | specified in Section 2(b)(1)-(2) are not Copyright and Similar
35 | Rights.
36 |
37 | d. Effective Technological Measures means those measures that, in the
38 | absence of proper authority, may not be circumvented under laws
39 | fulfilling obligations under Article 11 of the WIPO Copyright
40 | Treaty adopted on December 20, 1996, and/or similar international
41 | agreements.
42 |
43 | e. Exceptions and Limitations means fair use, fair dealing, and/or
44 | any other exception or limitation to Copyright and Similar Rights
45 | that applies to Your use of the Licensed Material.
46 |
47 | f. Licensed Material means the artistic or literary work, database,
48 | or other material to which the Licensor applied this Public
49 | License.
50 |
51 | g. Licensed Rights means the rights granted to You subject to the
52 | terms and conditions of this Public License, which are limited to
53 | all Copyright and Similar Rights that apply to Your use of the
54 | Licensed Material and that the Licensor has authority to license.
55 |
56 | h. Licensor means the individual(s) or entity(ies) granting rights
57 | under this Public License.
58 |
59 | i. Share means to provide material to the public by any means or
60 | process that requires permission under the Licensed Rights, such
61 | as reproduction, public display, public performance, distribution,
62 | dissemination, communication, or importation, and to make material
63 | available to the public including in ways that members of the
64 | public may access the material from a place and at a time
65 | individually chosen by them.
66 |
67 | j. Sui Generis Database Rights means rights other than copyright
68 | resulting from Directive 96/9/EC of the European Parliament and of
69 | the Council of 11 March 1996 on the legal protection of databases,
70 | as amended and/or succeeded, as well as other essentially
71 | equivalent rights anywhere in the world.
72 |
73 | k. You means the individual or entity exercising the Licensed Rights
74 | under this Public License. Your has a corresponding meaning.
75 |
76 |
77 | Section 2 -- Scope.
78 |
79 | a. License grant.
80 |
81 | 1. Subject to the terms and conditions of this Public License,
82 | the Licensor hereby grants You a worldwide, royalty-free,
83 | non-sublicensable, non-exclusive, irrevocable license to
84 | exercise the Licensed Rights in the Licensed Material to:
85 |
86 | a. reproduce and Share the Licensed Material, in whole or
87 | in part; and
88 |
89 | b. produce, reproduce, and Share Adapted Material.
90 |
91 | 2. Exceptions and Limitations. For the avoidance of doubt, where
92 | Exceptions and Limitations apply to Your use, this Public
93 | License does not apply, and You do not need to comply with
94 | its terms and conditions.
95 |
96 | 3. Term. The term of this Public License is specified in Section
97 | 6(a).
98 |
99 | 4. Media and formats; technical modifications allowed. The
100 | Licensor authorizes You to exercise the Licensed Rights in
101 | all media and formats whether now known or hereafter created,
102 | and to make technical modifications necessary to do so. The
103 | Licensor waives and/or agrees not to assert any right or
104 | authority to forbid You from making technical modifications
105 | necessary to exercise the Licensed Rights, including
106 | technical modifications necessary to circumvent Effective
107 | Technological Measures. For purposes of this Public License,
108 | simply making modifications authorized by this Section 2(a)
109 | (4) never produces Adapted Material.
110 |
111 | 5. Downstream recipients.
112 |
113 | a. Offer from the Licensor -- Licensed Material. Every
114 | recipient of the Licensed Material automatically
115 | receives an offer from the Licensor to exercise the
116 | Licensed Rights under the terms and conditions of this
117 | Public License.
118 |
119 | b. No downstream restrictions. You may not offer or impose
120 | any additional or different terms or conditions on, or
121 | apply any Effective Technological Measures to, the
122 | Licensed Material if doing so restricts exercise of the
123 | Licensed Rights by any recipient of the Licensed
124 | Material.
125 |
126 | 6. No endorsement. Nothing in this Public License constitutes or
127 | may be construed as permission to assert or imply that You
128 | are, or that Your use of the Licensed Material is, connected
129 | with, or sponsored, endorsed, or granted official status by,
130 | the Licensor or others designated to receive attribution as
131 | provided in Section 3(a)(1)(A)(i).
132 |
133 | b. Other rights.
134 |
135 | 1. Moral rights, such as the right of integrity, are not
136 | licensed under this Public License, nor are publicity,
137 | privacy, and/or other similar personality rights; however, to
138 | the extent possible, the Licensor waives and/or agrees not to
139 | assert any such rights held by the Licensor to the limited
140 | extent necessary to allow You to exercise the Licensed
141 | Rights, but not otherwise.
142 |
143 | 2. Patent and trademark rights are not licensed under this
144 | Public License.
145 |
146 | 3. To the extent possible, the Licensor waives any right to
147 | collect royalties from You for the exercise of the Licensed
148 | Rights, whether directly or through a collecting society
149 | under any voluntary or waivable statutory or compulsory
150 | licensing scheme. In all other cases the Licensor expressly
151 | reserves any right to collect such royalties.
152 |
153 |
154 | Section 3 -- License Conditions.
155 |
156 | Your exercise of the Licensed Rights is expressly made subject to the
157 | following conditions.
158 |
159 | a. Attribution.
160 |
161 | 1. If You Share the Licensed Material (including in modified
162 | form), You must:
163 |
164 | a. retain the following if it is supplied by the Licensor
165 | with the Licensed Material:
166 |
167 | i. identification of the creator(s) of the Licensed
168 | Material and any others designated to receive
169 | attribution, in any reasonable manner requested by
170 | the Licensor (including by pseudonym if
171 | designated);
172 |
173 | ii. a copyright notice;
174 |
175 | iii. a notice that refers to this Public License;
176 |
177 | iv. a notice that refers to the disclaimer of
178 | warranties;
179 |
180 | v. a URI or hyperlink to the Licensed Material to the
181 | extent reasonably practicable;
182 |
183 | b. indicate if You modified the Licensed Material and
184 | retain an indication of any previous modifications; and
185 |
186 | c. indicate the Licensed Material is licensed under this
187 | Public License, and include the text of, or the URI or
188 | hyperlink to, this Public License.
189 |
190 | 2. You may satisfy the conditions in Section 3(a)(1) in any
191 | reasonable manner based on the medium, means, and context in
192 | which You Share the Licensed Material. For example, it may be
193 | reasonable to satisfy the conditions by providing a URI or
194 | hyperlink to a resource that includes the required
195 | information.
196 |
197 | 3. If requested by the Licensor, You must remove any of the
198 | information required by Section 3(a)(1)(A) to the extent
199 | reasonably practicable.
200 |
201 | 4. If You Share Adapted Material You produce, the Adapter's
202 | License You apply must not prevent recipients of the Adapted
203 | Material from complying with this Public License.
204 |
205 |
206 | Section 4 -- Sui Generis Database Rights.
207 |
208 | Where the Licensed Rights include Sui Generis Database Rights that
209 | apply to Your use of the Licensed Material:
210 |
211 | a. for the avoidance of doubt, Section 2(a)(1) grants You the right
212 | to extract, reuse, reproduce, and Share all or a substantial
213 | portion of the contents of the database;
214 |
215 | b. if You include all or a substantial portion of the database
216 | contents in a database in which You have Sui Generis Database
217 | Rights, then the database in which You have Sui Generis Database
218 | Rights (but not its individual contents) is Adapted Material; and
219 |
220 | c. You must comply with the conditions in Section 3(a) if You Share
221 | all or a substantial portion of the contents of the database.
222 |
223 | For the avoidance of doubt, this Section 4 supplements and does not
224 | replace Your obligations under this Public License where the Licensed
225 | Rights include other Copyright and Similar Rights.
226 |
227 |
228 | Section 5 -- Disclaimer of Warranties and Limitation of Liability.
229 |
230 | a. UNLESS OTHERWISE SEPARATELY UNDERTAKEN BY THE LICENSOR, TO THE
231 | EXTENT POSSIBLE, THE LICENSOR OFFERS THE LICENSED MATERIAL AS-IS
232 | AND AS-AVAILABLE, AND MAKES NO REPRESENTATIONS OR WARRANTIES OF
233 | ANY KIND CONCERNING THE LICENSED MATERIAL, WHETHER EXPRESS,
234 | IMPLIED, STATUTORY, OR OTHER. THIS INCLUDES, WITHOUT LIMITATION,
235 | WARRANTIES OF TITLE, MERCHANTABILITY, FITNESS FOR A PARTICULAR
236 | PURPOSE, NON-INFRINGEMENT, ABSENCE OF LATENT OR OTHER DEFECTS,
237 | ACCURACY, OR THE PRESENCE OR ABSENCE OF ERRORS, WHETHER OR NOT
238 | KNOWN OR DISCOVERABLE. WHERE DISCLAIMERS OF WARRANTIES ARE NOT
239 | ALLOWED IN FULL OR IN PART, THIS DISCLAIMER MAY NOT APPLY TO YOU.
240 |
241 | b. TO THE EXTENT POSSIBLE, IN NO EVENT WILL THE LICENSOR BE LIABLE
242 | TO YOU ON ANY LEGAL THEORY (INCLUDING, WITHOUT LIMITATION,
243 | NEGLIGENCE) OR OTHERWISE FOR ANY DIRECT, SPECIAL, INDIRECT,
244 | INCIDENTAL, CONSEQUENTIAL, PUNITIVE, EXEMPLARY, OR OTHER LOSSES,
245 | COSTS, EXPENSES, OR DAMAGES ARISING OUT OF THIS PUBLIC LICENSE OR
246 | USE OF THE LICENSED MATERIAL, EVEN IF THE LICENSOR HAS BEEN
247 | ADVISED OF THE POSSIBILITY OF SUCH LOSSES, COSTS, EXPENSES, OR
248 | DAMAGES. WHERE A LIMITATION OF LIABILITY IS NOT ALLOWED IN FULL OR
249 | IN PART, THIS LIMITATION MAY NOT APPLY TO YOU.
250 |
251 | c. The disclaimer of warranties and limitation of liability provided
252 | above shall be interpreted in a manner that, to the extent
253 | possible, most closely approximates an absolute disclaimer and
254 | waiver of all liability.
255 |
256 |
257 | Section 6 -- Term and Termination.
258 |
259 | a. This Public License applies for the term of the Copyright and
260 | Similar Rights licensed here. However, if You fail to comply with
261 | this Public License, then Your rights under this Public License
262 | terminate automatically.
263 |
264 | b. Where Your right to use the Licensed Material has terminated under
265 | Section 6(a), it reinstates:
266 |
267 | 1. automatically as of the date the violation is cured, provided
268 | it is cured within 30 days of Your discovery of the
269 | violation; or
270 |
271 | 2. upon express reinstatement by the Licensor.
272 |
273 | For the avoidance of doubt, this Section 6(b) does not affect any
274 | right the Licensor may have to seek remedies for Your violations
275 | of this Public License.
276 |
277 | c. For the avoidance of doubt, the Licensor may also offer the
278 | Licensed Material under separate terms or conditions or stop
279 | distributing the Licensed Material at any time; however, doing so
280 | will not terminate this Public License.
281 |
282 | d. Sections 1, 5, 6, 7, and 8 survive termination of this Public
283 | License.
284 |
285 |
286 | Section 7 -- Other Terms and Conditions.
287 |
288 | a. The Licensor shall not be bound by any additional or different
289 | terms or conditions communicated by You unless expressly agreed.
290 |
291 | b. Any arrangements, understandings, or agreements regarding the
292 | Licensed Material not stated herein are separate from and
293 | independent of the terms and conditions of this Public License.
294 |
295 |
296 | Section 8 -- Interpretation.
297 |
298 | a. For the avoidance of doubt, this Public License does not, and
299 | shall not be interpreted to, reduce, limit, restrict, or impose
300 | conditions on any use of the Licensed Material that could lawfully
301 | be made without permission under this Public License.
302 |
303 | b. To the extent possible, if any provision of this Public License is
304 | deemed unenforceable, it shall be automatically reformed to the
305 | minimum extent necessary to make it enforceable. If the provision
306 | cannot be reformed, it shall be severed from this Public License
307 | without affecting the enforceability of the remaining terms and
308 | conditions.
309 |
310 | c. No term or condition of this Public License will be waived and no
311 | failure to comply consented to unless expressly agreed to by the
312 | Licensor.
313 |
314 | d. Nothing in this Public License constitutes or may be interpreted
315 | as a limitation upon, or waiver of, any privileges and immunities
316 | that apply to the Licensor or You, including from the legal
317 | processes of any jurisdiction or authority.
318 |
319 |
320 | =======================================================================
321 |
322 | Creative Commons is not a party to its public
323 | licenses. Notwithstanding, Creative Commons may elect to apply one of
324 | its public licenses to material it publishes and in those instances
325 | will be considered the “Licensor.” The text of the Creative Commons
326 | public licenses is dedicated to the public domain under the CC0 Public
327 | Domain Dedication. Except for the limited purpose of indicating that
328 | material is shared under a Creative Commons public license or as
329 | otherwise permitted by the Creative Commons policies published at
330 | creativecommons.org/policies, Creative Commons does not authorize the
331 | use of the trademark "Creative Commons" or any other trademark or logo
332 | of Creative Commons without its prior written consent including,
333 | without limitation, in connection with any unauthorized modifications
334 | to any of its public licenses or any other arrangements,
335 | understandings, or agreements concerning use of licensed material. For
336 | the avoidance of doubt, this paragraph does not form part of the
337 | public licenses.
338 |
339 | Creative Commons may be contacted at creativecommons.org.
--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
1 | # ディープラーニングチューニングプレイブック日本語版
2 |
3 | [Deep Learning Tuning Playbook](https://github.com/google-research/tuning_playbook)の日本語版です．
4 |
5 | *本製品はGoogleの公式サポート製品ではありません*
6 |
7 | **Varun Godbole†, George E. Dahl†, Justin Gilmer†, Christopher J. Shallue‡, Zachary Nado†**
8 |
9 |
10 | † Google Research, Brain Team
11 |
12 | ‡ Harvard University
13 |
14 | ## 目次
15 |
16 | - [このドキュメントは誰のためにあるのか](#who-is-this-document-for)
17 | - [なぜチューニングのプレイブックなのか](#why-a-tuning-playbook)
18 | - [新しいプロジェクトを始めるためのガイド](#guide-for-starting-a-new-project)
19 | - [モデルアーキテクチャの選択](#choosing-a-model-architecture)
20 | - [オプティマイザの選択](#choosing-the-optimizer)
21 | - [バッチサイズの選択](#choosing-the-batch-size)
22 | - [初期設定の選択](#choosing-the-initial-configuration)
23 | - [モデル性能を向上させる科学的アプローチ](#a-scientific-approach-to-improving-model-performance)
24 | - [インクリメンタルチューニング戦略](#the-incremental-tuning-strategy)
25 | - [探索と探索の比較](#exploration-vs-exploitation)
26 | - [次の実験の目標を決める](#choosing-the-goal-for-the-next-round-of-experiments)
27 | - [次のラウンドの実験の設計](#Designing-the-next-round-of-experiments)
28 | - [実験結果からの洞察の抽出](#Extracting-insight-from-experimental-results)
29 | - [学習パイプラインの変更やハイパーパラメータの設定を採用するかどうかの判断](#Determining-whether-to-adopt-a-training-pipeline-change-or-hyperparameter-configuration)
30 | - [探索終了後](#After-exploration-concludes)
31 | - [各学習実行のステップ数の決定](#Determining-the-number-of-steps-for-each-training-run)
32 | - [訓練が計算機バウンドしない場合の訓練時間の決定](#Deciding-how-long-to-train-when-training-is-not-compute-bound)
33 | - [学習が計算機バウンドする場合の学習時間を決める](#Deciding-how-long-to-train-when-training-is-compute-bound)
34 | - [学習パイプラインの追加ガイダンス](#Additional-guidance-for-the-training-pipeline)
35 | - [入力パイプラインの最適化](#Optimizing-the-input-pipeline)
36 | - [モデル性能の評価](#Evaluating-model-performance)
37 | - [チェックポイントの保存と最適なチェックポイントの遡及選択](#Saving-checkpoints-and-retrospectively-selecting-the-best-checkpoint)
38 | - [実験追跡の設定](#Setting-up-experiment-tracking)
39 | - [バッチノーマライズの実装詳細](#Batch-normalization-implementation-details)
40 | - [マルチホストパイプラインの注意点](#Considerations-for-multi-host-pipelines)
41 | - [よくある質問](#faqs)
42 | - [謝辞](#acknowledgments)
43 | - [引用](#citing)
44 | - [寄稿](#contributing)
45 |
46 |
47 | ## このドキュメントは誰のためにあるのか
48 |
49 | このドキュメントは，**深層学習モデルの性能の最大化**に興味のあるエンジニアや研究者（個人とチームの両方）向けのものです．
50 | 機械学習と深層学習の概念に関する基本的な知識を前提としています．
51 |
52 | 我々は**ハイパーパラメータチューニングの過程**に重点を置いています．我々は，他の
53 | パイプラインの実装や最適化など，深層学習学習の他の側面にも触れていますが，これらの取り扱いは完全なものではありません．
54 |
55 | 機械学習の問題は，教師あり学習，またはそれによく似たもの(例：自己教師あり学習)であると仮定します．とはいえ，この文書に書かれている手法は，他の種類の問題にも適用できるかもしれません．
56 |
57 |
58 | ## なぜチューニングのプレイブックなのか
59 |
60 | 現在，ディープニューラルネットワークを実際にうまく機能させるためには，驚くほど多くの労力と推測が必要です．さらに悪いことに，深層学習で良い結果を得るために実際に使われるレシピが文書化されることは稀です．論文では，よりきれいなストーリーを提示するために，最終的な結果に至ったプロセスは無視され，商業的な問題に取り組む機械学習エンジニアには，一歩下がってそのプロセスを一般化する時間はほとんどありません．教科書は，たとえ著者が有用な助言を提供するために必要な応用経験を有していたとしても，実用的な指針を避け，基本原理を優先する傾向がある．このドキュメントを作成する準備をしていたとき，私たちは，*深層学習で良い結果を得る方法*を実際に説明する包括的な試みを見つけることができませんでした．その代わりに，ブログ記事やソーシャルメディア上のアドバイスの断片，研究論文のappendixから覗くトリック，ある特定のプロジェクトやパイプラインに関する時折のケーススタディ，そして多くの混乱が見受けられました．深層学習の専門家が達成した結果と，表面的に類似した手法を使用するあまり熟練していない従事者の間には，大きな隔たりがある．同時に，これらの専門家は，彼らが行うことの一部が正当化されないかもしれないことを容易に認めています．深層学習が成熟し，世界に大きな影響を与えるようになると，コミュニティは，良い結果を得るために非常に重要であるすべての実用的な詳細を含む有用なレシピをカバーする，より多くのリソースを必要とします．
61 |
62 | 私たちは5人の研究者とエンジニアからなるチームで，長年にわたってディープラーニングに取り組んできました．我々は音声認識から天文学まであらゆる問題にディープラーニングを適用し，その過程で多くのことを学んできた．このドキュメントは，私たち自身がニューラルネットワークを使用し，新しい機械学習エンジニアを指導し，深層学習の実践について同僚に助言してきた経験から生まれたものです．深層学習が，一握りの学術スタディ所で行われていた機械学習の手法から，何十億人もの人々が使う製品に力を与える技術になったことは喜ばしいことだが，深層学習は工学分野としてはまだ初期段階にあり，この文書によって，この分野の実験プロトコルを体系化する手助けになればと願っています．
63 |
64 | この文書は，私たちが深層学習に対する独自のアプローチを具体化しようとしたときに生まれたものであり，したがって，執筆時の著者の意見を表したものであって，ある種の客観的な真実ではありません．私たちはハイパーパラメータのチューニングに苦労したため，特に重点を置いていますが，私たちが仕事で遭遇した（あるいはうまくいかないのを見た）他の重要な問題も取り上げています．私たちは，この著作を，私たちの信念の変化に応じて成長し，進化する生きた文書とすることを意図しています．例えば，学習の失敗のデバッグと軽減に関する資料は，最近の結果や進行中の調査に基づいているため，2年前に書くことは不可能だったでしょう．新しい結果やワークフローの改善を考慮し，私たちのアドバイスの一部を更新する必要があるのは必然です．私たちは，最適な深層学習のレシピを知りませんが，コミュニティが様々な手順を書き留め，議論し始めるまでは，それを見つけることは望めません．そのため，私たちのアドバイスに問題を見つけた読者は，説得力のある証拠とともに代替の推奨事項を提示し，私たちがプレイブックを更新できるようにすることをお勧めします．また，私たちは，コミュニティとしてベストプラクティスを追求するために，異なる推奨事項を持つ可能性のある代替ガイドやプレイブックをぜひ見てみたいと思っています．最後に，🤖の絵文字がついた箇所は，私たちがもっと調査をしたい場所です．このプレイブックを書いてみて初めて，深層学習の実践者のワークフローに，いかに多くの興味深い，そして無視されていた研究課題があるかが完全に明らかになりました．
65 |
66 |
67 | ## 新しいプロジェクトを始めるためのガイド
68 |
69 | チューニングの過程で行う決定の多くは，プロジェクト開始時に一度だけ行い，状況が変化したときに時折見直す程度です．
70 |
71 | 以下のガイダンスでは，次のような前提を置いています．
72 |
73 | - 問題設定やデータクリーニングなどの基本的な作業はすでに十分行われており，モデル・アーキテクチャや学習の設定に時間をかけることは理にかなっています．
74 | - 学習と評価を行うパイプラインがすでに設定されており，興味のある様々なモデルの学習と予測のジョブを簡単に実行することができます．
75 | - 適切な評価指標が選択され，実装されている．これらは，導入された環境で測定されるものを可能な限り代表するものでなければなりません．
76 |
77 |
78 | ### モデルアーキテクチャの選択
79 |
80 | ***要約:*** *新しいプロジェクトを始めるときは，すでに動作しているモデルを再利用するようにしましょう．*
81 | - 最初に動作させるために，よく確立された，一般的に使用されているモデルアーキテクチャを選択します．後でカスタムモデルを構築することはいつでも可能です．
82 | - モデル・アーキテクチャは通常，モデルのサイズやその他の詳細（層数，層幅，活性化関数の種類など）を決定するさまざまなハイパーパラメータを持っています．
83 | - したがって，アーキテクチャを選択するということは，実際には系列の異なるモデルの（モデルのハイパーパラメータの各設定に対して1つ）を選択することを意味します．
84 | - モデルのハイパーパラメータを選択する問題については，[初期設定の選択](#choosing-the-initial-configuration)と[モデル性能を向上させる科学的アプローチ](#a-scientific-approach-to-improving-model-performance).で検討することにしています．
85 | - 可能であれば，できるだけ近い問題に取り組んでいる論文を探し，そのモデルを起点に再現するようにします．
86 |
87 |
88 |
89 | ### オプティマイザの選択
90 | ***要約:*** *まず，問題の種類に応じた最も一般的なオプティマイザを使用します．*
91 |
92 | - 機械学習の問題やモデル・アーキテクチャの種類を問わず，「ベスト」なオプティマイザは存在しない．[オプティマイザの性能を比較するだけでも難しい作業](https://arxiv.org/abs/1910.05446)である．🤖
93 | - 特に新しいプロジェクトを始める際には，よく知られた一般的なオプティマイザを使用することをお勧めします．
94 | - 理想的には，同じ種類の問題に使用される最も一般的なオプティマイザを選択することです．
95 | - 選択したオプティマイザの**\*****すべて****\***のハイパーパラメーターに注意を払う覚悟が必要です．
96 | - より多くのハイパーパラメータを持つオプティマイザは，最適な構成を見つけるために，より多くのチューニングの労力を必要とする場合があります．
97 | - このことは，プロジェクトの初期段階において，オプティマイザのハイパーパラメータを[迷惑パラメータ](#identifying-scientific-nuisance-and-fixed-hyperparameters)として扱いながら，他のさまざまなハイパーパラメータ（例えば，アーキテクチャーのハイパーパラメータ）の最適値を見つけようとする場合に特に関係します．
98 | - プロジェクトの初期段階では，より単純なオプティマイザ（momentum(運動量)を固定したSGDや， $\epsilon$， $\beta_{1}$， $\beta_{2}$を固定したAdamなど）で開始し，後でより一般的なオプティマイザに切り替えることが望ましい場合があります．
99 | - 私たちが気に入っている定評のあるオプティマイザは以下の通りです（ただし，これらに限定されるものではありません）:
100 | - [SGD with momentum](#what-are-the-update-rules-for-all-the-popular-optimization-algorithms)
101 | (我々はNesterov variantを好んでいる)
102 | - [Adamと，NAdam](#what-are-the-update-rules-for-all-the-popular-optimization-algorithms)は，SGD with momentum よりも一般的なものです．Adamは4つの調整可能なハイパーパラメータを持ち，[それらはすべて問題になり得る](https://arxiv.org/abs/1910.05446)ことに注意してください．
103 | - [Adamのハイパーパラメータはどのように調整されるべきか？](#how-should-adams-hyperparameters-be-tuned)をご覧ください．
104 |
105 |
106 | ### バッチサイズの選択
107 | ***要約:*** *バッチサイズは学習速度を制御するものであり，バリデーションセットの性能を直接調整するために使用するべきではありません．多くの場合，理想的なバッチサイズは，ハードウェアでサポート可能な最大のバッチサイズになります．*
108 |
109 | - バッチサイズは，学習時間と計算機資源の消費量を決定する重要な要素である．
110 | - バッチサイズを大きくすると，多くの場合，学習時間が短縮される．これは，以下のような理由で非常に有益である．
111 | - 一定時間内にハイパーパラメータをより徹底的に調整することができ，最終的なモデルがより良いものになる可能性があります．
112 | - 開発サイクルの待ち時間を短縮し，新しいアイデアをより頻繁にテストすることができます．
113 | - バッチサイズを大きくすると，リソース消費量が減少するか，増加するか，あるいは変化しないかのいずれかである．
114 | - バッチサイズは，バリデーションセットの性能のための調整可能なハイパーパラメータとして***扱われるべきではありません***．
115 | - すべてのハイパーパラメータ（特に学習率と正則化のハイパーパラメータ）がうまく調整され，学習ステップ数が十分である限り，どのバッチサイズでも同じ最終性能を達成できるはずです（[Shallue et al.2018](https://arxiv.org/abs/1811.03600)参照）．
116 | - [バリデーションセットの性能を直接向上させるためにバッチサイズをチューニングしてはいけない理由](#why-shouldnt-the-batch-size-be-tuned-to-directly-improve-validation-set-performance)をご覧ください．
117 |
118 |
119 |
120 | #### 実現可能なバッチサイズの決定と学習スループットの見積もり
121 | [Click to expand]
122 |
123 |
124 |
125 | - あるモデルとオプティマイザに対して，利用可能なハードウェアがサポートするバッチサイズの範囲が一般的に存在します．制限となるのは，通常，アクセラレータメモリです．
126 | - 残念ながら，トレーニングプログラム全体を実行するか，少なくともコンパイルすることなく，どのバッチサイズがメモリに収まるかを計算するのは困難な場合があります．
127 | - 最も簡単な解決策は，異なるバッチサイズ（例えば2の累乗）の学習ジョブを，利用可能なメモリを超えるまで，少ないステップ数で実行することです．
128 | - 各バッチサイズにおいて，学習スループットの信頼できる推定値を得るのに十分な時間，学習を行う必要があります．
129 |
130 | 学習スループット = (処理件数/秒)
131 |
132 | もしくは， ステップごとの時間.
133 |
134 | ステップごとの時間 = (バッチサイズ) / (学習スループット)
135 |
136 | - アクセラレータがまだ飽和していない場合，バッチサイズが2倍になると，学習スループットも2倍（または少なくともほぼ2倍）になるはずです．同様に，バッチサイズが大きくなっても，1ステップあたりの時間は一定でなければなりません（少なくともほぼ一定）．
137 | - もしそうでない場合は，計算ノード間のI/Oや同期など，学習パイプラインにボトルネックがあると考えられます．これは，先に進む前に診断し，修正する価値があるかもしれません．
138 | - もし，ある最大バッチサイズまでしか学習スループットが上がらないのであれば，より大きなバッチサイズがハードウェアによってサポートされていたとしても，その最大バッチサイズまでしか考慮しない方が良いでしょう．
139 | - バッチサイズを大きくすることで得られるメリットは，すべて学習スループットが向上することを前提としています．そうでない場合は，ボトルネックを修正するか，より小さなバッチサイズを使用します．
140 | - 勾配累積は，ハードウェアがサポートできるよりも大きなバッチサイズをシミュレートするため，スループット上の利点はありません．一般に，応用的な作業では避けるべきです．
141 | - これらの手順は，モデルやオプティマイザが変更されるたびに繰り返す必要があるかもしれません（たとえば，モデルのアーキテクチャが変われば，メモリに収まるバッチサイズが大きくなる可能性があります）．
142 |
143 | [Click to expand]
150 |
151 |
152 |
153 |
154 | 学習時間 = (ステップごとの時間) x (総ステップ数)
155 |
156 | - 多くの場合，実行可能なすべてのバッチサイズにおいて，1ステップあたりの時間はほぼ一定であると考えることができます．これは，並列計算によるオーバーヘッドがなく，すべての学習ボトルネックが診断され修正されている場合に当てはまります（学習ボトルネックの特定方法については[前のセクション](#determining-the-feasible-batch-sizes-and-estimating-training-throughput)を参照してください）．しかし，実際には，バッチサイズを大きくすることにより，少なくともいくつかのオーバーヘッドが発生します．
157 | - バッチサイズが増加すると，一定の性能目標に到達するために必要なステップの総数は，通常減少します（バッチサイズが変更されたときに，すべての関連するハイパーパラメータが再チューニングされる場合；[Shallue et al.2018](https://arxiv.org/abs/1811.03600)）．
158 | - 例：バッチサイズを2倍にすると，必要な総ステップ数が半分になる場合がある．これを**パーフェクトスケーリング**と呼ぶ．
159 | - 完全スケーリングは，臨界バッチサイズまではすべてのバッチサイズで成立し，それを超えると収穫逓減(diminishing returns)となる．
160 | - 最終的には，バッチサイズを大きくしても学習ステップ数は減らない（増えることはない）．
161 | - したがって，学習時間を最小化するバッチサイズは，通常，必要な学習ステップ数の削減を実現する最大のバッチサイズとなる．
162 | - このバッチサイズはデータセット，モデル，オプティマイザに依存し，新しい問題ごとに実験的に見つける以外に，どのように計算するかは未解決の問題である．🤖
163 | - バッチサイズを比較する際には，example budget/[epoch](https://developers.google.com/machine-learning/glossary#epoch) budget（学習例の提示数を固定して全ての実験を行う）とstep budget（学習ステップ数を固定して全ての実験を行う）の違いに注意する必要があります．
164 | - バッチサイズとエポックバジェットの比較は，バッチサイズを大きくしても，必要な学習ステップ数を減らすことで意味のある速度向上が得られる可能性があるにもかかわらず，完全なスケーリング領域を探るだけです．
165 | - 多くの場合，利用可能なハードウェアでサポートされる最大のバッチサイズは，クリティカルバッチサイズより小さくなる．したがって，経験則として（実験を行わずに），可能な限り大きなバッチサイズを使用するのがよい．
166 | - バッチサイズを大きくしても，学習時間が長くなっては意味がありません．
167 |
168 | [Click to expand]
174 |
175 |
176 |
177 | - バッチサイズを大きくすることで発生するリソースコストは2種類あります:
178 | 1. 初期費用：新しいハードウェアの購入や，マルチGPU/マルチTPUトレーニングを実装するためのトレーニングパイプラインの書き換えなど．
179 | 2. 利用コスト：チームのリソース予算に対する課金，クラウドプロバイダーからの課金，電気代やメンテナンス費用など．
180 | - バッチサイズの増加に大きな初期費用がかかる場合は，プロジェクトが成熟し，費用対効果のトレードオフを評価しやすくなるまで，バッチサイズの増加を延期する方がよいでしょう．マルチホスト並列トレーニングプログラムの実装は，[バグ](#Considerations-for-multi-host-pipelines)や[微妙な問題](#Batch-normalization-implementation-details)を引き起こす可能性があるため，いずれにせよ，よりシンプルなパイプラインから始める方がよいでしょう．(一方，学習時間の大幅な高速化は，多くのチューニング実験が必要な初期段階において非常に有効です）．
181 | - ここでは，総使用コスト（複数の異なる種類のコストを含む）を「リソース消費量」と呼ぶことにします．資源消費は次のような要素に分解できる．
182 |
183 | リソース消費量 = (ステップごとのリソース消費量) x (総ステップ数)
184 |
185 | - 通常，バッチサイズを大きくすることで，[ステップの総数を減らす](#choosing-the-batch-size-to-minimize-training-time)ことができる．リソースの消費量が増えるのか減るのかは，1ステップあたりの消費量がどう変化するかによる．
186 | - バッチサイズを大きくすると，資源消費量が減少する場合がある．例えば，バッチサイズが大きい方が小さい方と同じハードウェアで各ステップを実行できる場合（1ステップあたりの時間が少し増えるだけ），ステップあたりのリソース消費量の増加は，ステップ数の減少に勝るかもしれない．
187 | - バッチサイズを大きくしても，資源消費量が変わらない場合がある．例えば，バッチサイズを 2 倍にすることで，必要なステップ数が半分になり，使用する GPU の数が 2 倍になる場合，GPU 時間で見た総消費量は変わりません．
188 | - バッチサイズを大きくすると，資源消費量が増加する場合があります．例えば，バッチサイズを大きくしてハードウェアのアップグレードが必要になった場合，1ステップあたりの消費量の増加がステップ数の減少を上回る可能性があります．
189 |
190 | [Click to expand]
196 |
197 |
198 |
199 | - ほとんどのハイパーパラメータの最適値は，バッチサイズに敏感である．したがって，バッチサイズを変更すると，通常，チューニング・プロセスをすべてやり直す必要があります．
200 | - バッチサイズと最も強く相互作用するハイパーパラメータは，オプティマイザのハイパーパラメータ（学習率，運動量など）と正則化のハイパーパラメータで，各バッチサイズに対して個別に調整することが最も重要です．
201 | - プロジェクトの開始時にバッチサイズを選択する際には，この点に留意してください．後で別のバッチサイズに変更する必要がある場合，新しいバッチサイズ用にすべてを再チューニングするのは難しく，時間とコストがかかる可能性があります．
202 |
203 | [Click to expand]
210 |
211 |
212 |
213 | - バッチノルムは複雑で，一般的には勾配計算とは異なるバッチサイズを使用して統計量を計算する必要があります．詳細な議論は[バッチノルムのセクション](#Batch-normalization-implementation-details)を参照してください．
214 |
215 | [Click to expand]
310 |
311 |
312 |
313 | - 与えられたゴールに対して，すべてのハイパーパラメータは，**科学的ハイパーパラメータ**，**迷惑ハイパーパラメータ**，または**固定ハイパーパラメータ**のいずれかになります．
314 | - 科学的ハイパーパラメータとは，モデルの性能に与える影響を測定するためのパラメータです．
315 | - 迷惑ハイパーパラメータは，科学的ハイパーパラメータの異なる値を公平に比較するために最適化する必要があるパラメータです．これは，統計学でいうところの[nuisance parameters](https://en.wikipedia.org/wiki/Nuisance_parameter)と同じようなものです．
316 | - 固定ハイパーパラメータは，現在の実験ラウンドでその値が固定されます．科学的ハイパーパラメータの異なる値を比較する際に，値を変更する必要がない（あるいは変更させたくない）ハイパーパラメータです．
317 | - 一組の実験に対して特定のハイパーパラメータを固定することによって，実験から得られた結論は，固定されたハイパーパラメータの他の設定に対しては有効でないかもしれないことを受け入れなければならない．言い換えれば，固定されたハイパーパラメータは，我々が実験から導き出した結論に警告を与えるものである．
318 | - 例えば，「隠れ層の多いモデルがバリデーション誤差を減らすかどうかを判断する」ことが目的であれば，隠れ層の数は科学的ハイパーパラメータとなる．
319 | - 学習率は，各層数に対して個別に調整された場合にのみ，異なる数の隠れ層を持つモデルを公平に比較することができるので，迷惑ハイパーパラメータです（最適な学習率は，一般的にモデル・アーキテクチャに依存します）．
320 | - 活性化関数は，最適な活性化関数の選択がモデルの深さに依存しないことを事前の実験で決定している場合，または隠れ層の数についての結論を，活性化関数のこの特定の選択のみに制限することを望んでいる場合，固定ハイパーパラメータとすることができる．あるいは，各隠れ層の数に対して個別に調整する用意があれば，迷惑パラメータになる可能性もあります．
321 | - 特定のハイパーパラメータが科学的ハイパーパラメータ，迷惑ハイパーパラメータ，または固定ハイパーパラメータであるかどうかは，そのハイパーパラメータに固有のものではなく，実験目標によって変化する．
322 | - 例えば，活性化関数の選択は，科学的ハイパーパラメータ（我々の問題にはReLUとtanhのどちらが良い選択か），迷惑ハイパーパラメータ（いくつかの異なる活性化関数の可能性を許容するとき，最良の5層モデルは最良の6層モデルより良いか），または固定ハイパーパラメータ（ReLUネットについて，特定の位置にバッチ正規化を追加すると良いか）などが考えられる．
323 | - 新しい実験計画を立てる際には，まず，実験目的に応じた科学的なハイパーパラメータを特定する．
324 | - この段階では，他のすべてのハイパーパラメータは迷惑ハイパーパラメータであると考える．
325 | - 次に，いくつかの迷惑ハイパーパラメータを固定ハイパーパラメータに変換する．
326 | - 無限のリソースがあれば，科学的でないハイパーパラメータはすべて迷惑ハイパーパラメータとして残し，実験から得られる結論が固定されたハイパーパラメータ値に関する注意事項から解放されるようにすることができます．
327 | - しかし，迷惑ハイパーパラメータを調整しようとすればするほど，科学的ハイパーパラメータの各設定に対して十分に調整することができず，実験から誤った結論に達してしまう危険性が高くなる．
328 | - 後述するように，このリスクには計算機予算を増やすことで対処できますが，多くの場合，最大リソース予算はすべての非科学的ハイパーパラメータを調整するのに必要な予算よりも少なくなってしまいます．
329 | - 我々は，迷惑ハイパーパラメータを固定ハイパーパラメータに変換するのは，固定ハイパーパラメータにすることによって生じる注意点が，迷惑ハイパーパラメータとして含むことのコストよりも小さいと判断したときである．
330 | - ある迷惑ハイパーパラメータが科学的ハイパーパラメータと相互作用すればするほど，その値を固定化することのダメージは大きくなります．例えば，重み減衰の強さの最適値は，一般的にモデルサイズに依存するので，重み減衰の単一の特定の値を仮定して異なるモデルサイズを比較することは，あまり洞察的ではありません．
331 | - 各ハイパーパラメータに割り当てるタイプは実験目標によって異なりますが，ハイパーパラメータの特定のカテゴリについては，以下のような経験則があります．
332 | - 様々なオプティマイザのハイパーパラメータ（学習率，運動量，学習率スケジュールパラメータ，アダ ムベータなど）のうち，少なくともいくつかは，他の変化と最も相互作用する傾向があるため，迷惑ハイパーパラメータになるでしょう．
333 | - なぜなら，「現在のパイプラインに最適な学習レートは何か」というような目標では，あまり洞察が得られないからです - とにかく最適な設定は，次のパイプラインの変更で簡単に変わってしまうのです．
334 | - リソースの制約や，科学的パラメータと相互作用しないという特に強い証拠がある場合，それらの一部を修正することがありますが，一般的には，科学的ハイパーパラメータの異なる設定間の公正な比較を行うために，オプティマイザのハイパーパラメータを個別に調整する必要があり，したがって固定化すべきではないと仮定すべきです．
335 | - さらに，あるオプティマイザのハイパーパラメーター値を他の値より優先する先験的な理由もありません（例えば，通常，フォワードパスやグラジエントの計算コストに影響を与えることはありません）．
336 | - これに対して，オプティマイザの選択は，通常，科学的ハイパーパラメータまたは固定ハイパーパラメータとなります．
337 | - 実験目標が2つ以上の異なるオプティマイザを公正に比較することである場合，科学的ハイパーパラメータとなります （例えば，「与えられたステップ数で最も低いバリデーション誤差を生成するオプティマイザを決定する」）．
338 | - また，（1）過去の実験から，この問題に最適なオプティマイザは現在の科学的ハイパーパラメータに影響されないと考えられる，（2）学習曲線の推論が容易であるため，このオプティマイザを用いて科学的ハイパーパラメータの値を比較したい，（3）代替案よりもメモリ使用量が少ないため，このオプティマイザを使用したいなど，さまざまな理由から固定ハイパーパラメータにすることができます．
339 | - 正則化手法によって導入されるハイパーパラメータは，通常，迷惑ハイパーパラメータですが，正則化手法を全く含まないかどうかは，科学的ハイパーパラメータまたは固定ハイパーパラメータになります．
340 | - 例えば，ドロップアウトはコードの複雑さを増すので，それを含めるかどうかを決めるとき，「ドロップアウトなし」対「ドロップアウト」を科学的ハイパーパラメータとし，ドロップアウト率を迷惑ハイパーパラメータとする．
341 | - この実験に基づいてパイプラインにドロップアウトを追加することを決定した場合，ドロップアウト率は将来の実験では迷惑ハイパーパラメータになります．
342 | - アーキテクチャのハイパーパラメータは，しばしば科学的ハイパーパラメータまたは固定ハイパーパラメータとなる．なぜなら，アーキテクチャの変更は，サービスおよびトレーニングのコスト，レイテンシ，およびメモリ要件に影響を与える可能性があるからである．
343 | - 例えば，層数は学習速度とメモリ使用量に劇的な影響を与える傾向があるため，一般的に科学的または固定的なハイパーパラメータとなります．
344 | - 場合によっては，迷惑ハイパーパラメータと固定ハイパーパラメータのセットは，科学的ハイパーパラメータの値に依存することになる．
345 | - 例えば，Nesterov momentumとAdamのうち，どのオプティマイザがバリデーション誤差を最小にするかを決定しようとします．科学的ハイパーパラメータはオプティマイザで， `{"Nesterov_momentum", "Adam"}`という値をとります．`optimizer="Nesterov_momentum"`という値は，迷惑な/固定ハイパーパラメータ`{learning_rate, momentum}`を導入しますが，`optimizer="Adam"`という値は，迷惑な/固定ハイパーパラメータ`{learning_rate, beta1, beta2, epsilon}`を導入します．
346 | - 科学的ハイパーパラメータの特定の値に対してのみ存在するハイパーパラメータは，**条件付きハイパーパラメータ**と呼ばれます．
347 | - 同じ名前だからといって，2 つの条件付きハイパーパラメータが同じだと仮定してはいけません! 上の例では，`learning_rate`という条件付きハイパーパラメータは，`optimizer="Nesterov_momentum"`と`optimizer="Adam"`では異なるハイパーパラメータになります．この2つのアルゴリズムでは，その役割は（同一ではないものの）似ていますが，それぞれのオプティマイザでうまく機能する値の範囲は，通常，数桁の違いがあります．
348 |
349 | [Click to expand]
356 |
357 |
358 |
359 | - 科学的ハイパーパラメータと迷惑ハイパーパラメータを特定したら，実験目標に向かって前進するためのスタディまたは一連のスタディを設計します．
360 | - スタディは，その後の解析のために実行されるハイパーパラメータ設定のセットを指定する．各設定は"trial"と呼ばれます．
361 | - スタディの作成には，通常，スタディ間で変化するハイパーパラメータの選択，それらのハイパーパラメータが取り得る値（「探索空間」）の選択，試験回数の選択，探索空間から多くの試験をサンプリングする自動探索アルゴリズムの選択が含まれます．あるいは，ハイパーパラメータ設定のセットを手動で指定して，スタディを作成することもできます．
362 | - スタディの目的は，科学的ハイパーパラメータの異なる値間の比較ができるだけ公平になるように，迷惑ハイパーパラメータを **「排除」**（または「最適化」）すると同時に，科学的ハイパーパラメータの異なる値でパイプラインを実行することにあります．
363 | - 最も単純なケースでは，科学的パラメータの各構成に対して別々のスタディを行い，それぞれのスタディが迷惑ハイパーパラメータを調整することになります．
364 | - 例えば，Nesterov momentumとAdamの中から最適なオプティマイザを選択することが目的である場合，`optimizer="Nesterov_momentum"`，迷惑ハイパーパラメータは`{learning_rate, momentum}`とするスタディを作成し，もう一つのスタディは，`optimizer="Adam"`，迷惑ハイパーパラメータは`{learning_rate, beta1, beta2, epsilon}`とするスタディです．それぞれのスタディから最もパフォーマンスの良いトライアルを選択することで，2つのオプティマイザを比較することになります．
365 | - ベイズ最適化や進化的アルゴリズムなどの勾配なし最適化アルゴリズムを使用して，迷惑ハイパーパラメータを最適化することができます．ただし，チューニングの[探索段階](#exploration-vs-exploitation)では，この設定におけるさまざまな利点から，準ランダム探索の使用を[推奨](#why-use-quasi-random-search-instead-of-more-sophisticated-black-box-optimization-algorithms-during-the-exploration-phase-of-tuning)しています．[探索が終わった後](#After-exploration-concludes)，もし最新のベイズ最適化ソフトウェアが利用できるのであれば，そちらを使用することをお勧めします．
366 | - 科学的ハイパーパラメータの多数の値を比較したいが，それほど多くの独立したスタディを行うのは現実的でない，より複雑なケースでは，科学的パラメータを迷惑ハイパーパラメータと同じ探索空間に含め，探索アルゴリズムを使って一回のスタディで科学的ハイパーパラメータと迷惑ハイパーパラメータの両方の値をサンプルすることができます．
367 | - このアプローチをとる場合，条件付きハイパーパラメータは，迷惑ハイパーパラメータのセットが科学的ハイパーパラメータのすべての値に対して同じでない限り，探索空間を指定することが困難であるため，問題が発生する可能性があります．
368 | - この場合，ブラックボックス最適化ツールよりも準ランダム探索の方が，科学的ハイパーパラメータの値のサンプリングが比較的均一であるため，より[好ましい](#why-use-quasi-random-search-instead-of-more-sophisticated-black-box-optimization-algorithms-during-the-exploration-phase-of-tuning)と言えます．どのような探索アルゴリズムであっても，科学的パラメータを一様に探索することを何とか確認する必要があります．
369 |
370 | [Click to expand]
377 |
378 |
379 |
380 | - 試験や一連のスタディをデザインする際，以下の3つの望みを十分に達成するために，限られた予算を割り当てる必要があります．
381 | 1. 科学的ハイパーパラメータの十分な異なる値を比較する．
382 | 2. 十分な広さの探索空間で迷惑ハイパーパラメータを調整する．
383 | 3. 迷惑ハイパーパラメータの探索空間を十分に密にサンプリングする．
384 | - この3つの条件を満たせば満たすほど，実験からより多くの知見を得ることができる．
385 | - 科学的ハイパーパラメータをできるだけ多くの値で比較することで，実験から得られる洞察の幅が広がる．
386 | - できるだけ多くの迷惑ハイパーパラメータを含み，各迷惑ハイパーパラメータができるだけ広い範囲で変化するようにすると，科学的ハイパーパラメータの各構成の探索空間に「良い」値が**存在する**という確信が得られます．
387 | - そうでなければ，科学的ハイパーパラメータの値によっては，より良い値が存在する可能性のある迷惑なパラメータ空間の領域を探索しないため，科学的ハイパーパラメータの値の間で不公平な比較をする可能性がある．
388 | - 迷惑ハイパーパラメータの探索空間をできるだけ密にサンプリングすることで，探索空間に存在する迷惑ハイパーパラメータの良い設定が探索手順によって発見されるという確信が得られます．
389 | - そうでなければ，迷惑ハイパーパラメータのサンプリングで幸運になった値があるため，科学的パラメータの値の間で不公平な比較をすることになるかもしれません．
390 | - 残念ながら，これら3つの次元のいずれかを改善するには，試行回数を増やしてリソースコストを上げるか，他の次元でリソースを節約する方法を見つける必要があります．
391 | - どの問題にも特有の性質や計算上の制約があるため，これら3つの要望に対してどのようにリソースを配分するかは，ある程度専門的な知識が必要です．
392 | - スタディを実行した後，我々は常にそのスタディが迷惑ハイパーパラメータを十分に調整したかどうか（すなわち，十分に広い空間を十分に広範に探索したかどうか）を把握し，科学的ハイパーパラメータ（[以下](#Extracting-insight-from-experimental-results)でさらに詳細に説明する）を公正に比較しようと努めています．
393 |
394 | [Click to expand]
424 |
425 |
426 |
427 | - 探索空間からサンプリングされた最良の点がその境界の近くにある場合，その探索空間は疑わしい．もしその方向に探索範囲を広げれば，さらに良い点が見つかるかもしれません．
428 | - 探索空間の境界を確認するために，我々は完了した試行を基本的なハイパーパラメータ軸プロットと呼ぶものにプロットするのが好きだ．プロット上の各ポイントは1つのトライアルに対応する．
429 | - 各試行のバリデーション目的値は，通常，訓練期間中に達成された最良の値であるべきである．
430 |
431 |
432 | 
433 | 
434 |
435 |
436 | 図1: 悪い探索空間の境界と許容される探索空間の境界の例．
437 |
438 | - [図1](#figure-1)のプロットは，初期学習率に対するエラー率（低いほど良い）を示している．
439 | - もし最良の点が探索空間の端（ある次元）に集まっている場合，最良の観測点が境界の近くになくなるまで探索空間の境界を拡張する必要があるかもしれない．
440 | - しばしば，発散したり，非常に悪い結果を出したりする「実行不可能な」試行が含まれる（上のプロットでは赤いX印で示されている）．
441 | - もしすべての試行がある閾値より大きい学習率で実行不可能であり，かつ最も性能の良い試行の学習率がその領域の端にある場合，モデルはより高い学習率にアクセスするのを妨げる安定性の問題に悩まされるかもしれない．
442 |
443 | [Click to expand]
449 |
450 |
451 |
452 | - 一般に，探索空間が十分に密にサンプリングされているかどうかを[知ることは非常に難しい場合があります](#how-many-trials-are-needed-to-get-good-results-with-quasi-random-search)．🤖
453 | - より多くの試行を行うことはもちろん良いことですが，それには明らかなコストがかかります．
454 | - 十分なサンプリングができたかどうかを知るのは非常に難しいので，通常は余裕のあるサンプリングを行い，様々なハイパーパラメータ軸プロットを繰り返し見て，探索空間の「良い」領域にどれだけのポイントがあるのかを把握することで，直感的な信頼感を較正しようとするのです．
455 |
456 | [Click to expand]
494 |
495 |
496 |
497 |
498 | 
500 |
501 |
502 | 図2: ImageNetで学習したResNet-50の重み減衰の最適値を調査した分離プロット
503 |
504 | - 多くの場合，一連の実験の目的は，科学的ハイパーパラメータの異なる値を比較することである．
505 | - 例えば，最高のバリデーション誤差をもたらす重み減衰の値を決定したい場合があります．
506 | - **分離プロット**は，基本的なハイパーパラメータ軸プロットの特別なケースです．分離プロット上の各ポイントは，迷惑ハイパーパラメータの一部（またはすべて）にわたって，*最良*のトライアルのパフォーマンスに対応します．
507 | - 言い換えれば，迷惑ハイパーパラメータを「最適化」した後のモデル性能をプロットしているのです．
508 | - 分離プロットにより，科学的ハイパーパラメータの異なる値間のリンゴ対リンゴの比較を簡単に行うことができます．
509 | - 例えば，[図2](#figure-2)は，ImageNetで学習したResNet-50の特定の構成で，最高のバリデーション性能を生み出す重み減衰の値を明らかにします．
510 | - もし我々の目的が Weight Decay を全く含まないかどうかを判断することであるなら，このプロットから最良の点を Weight Decay 無しのベースラインと比較することになる．公平に比較するためには，ベースラインの学習率も同様に調整する必要があります．
511 | - (擬似)ランダムサーチで生成されたデータがあり，分離プロットのための連続ハイパーパラメータを検討している場合，基本ハイパーパラメータ軸プロットのX軸の値をバケット化し，バケットで定義された各縦スライスで最良の試行を取ることにより分離プロットを近似することができます．
512 |
513 | [Click to expand]
519 |
520 |
521 |
522 | - プロット生成に手間がかかればかかるほど，プロットをあまり見なくなります．したがって，できるだけ多くのプロットを自動的に生成するようにインフラをセットアップするのが得策です．
523 | - 少なくとも，実験で変化させたすべてのハイパーパラメータについて，基本的なハイパーパラメータ軸のプロットを自動的に生成します．
524 | - さらに，すべてのトライアルについてトレーニングカーブを自動的に作成し，各スタディのベストトライアルをできるだけ簡単に見つけ，そのトレーニングカーブを調べることができるようにします．
525 | - その他にも，有用なプロットや可視化を追加できる可能性があります．上記のものは良い出発点ですが，Geoffrey Hintonの言葉を借りれば，"Every time you plot something new, you learn something new."（新しいものを描くたびに，新しいことを学ぶ）です．
526 |
527 | [Click to expand]
604 |
605 |
606 |
607 | - この手順では，トレーニングセットを「完全に」適合させるだけでなく，一定の学習率で適合させることも可能であると仮定している．
608 | - もしトレーニングセット全体を完全にフィットさせることが可能であれば，トレーニングセットに完全にフィットする設定（`max_train_steps`の値がある）が存在するはずである．そのような構成を見つけ，その`max_train_steps`の値を開始点`N`として使用します．
609 | - データ補強や正則化を行わず，各試行が`N`ステップで学習するように，一定の学習率スイープ（すなわち，学習率のグリッドサーチ）を実行する．
610 | - スイープの中で最も速い試行が完璧な学習性能に到達するために必要なステップ数が，`max_train_steps` の初期推測値である．
611 | - **注意：**探索空間が悪いと，自己欺瞞に陥る可能性がある．
612 | - 例えば，ある研究のすべての学習率が小さすぎる場合，`max_train_steps`の値を非常に大きくする必要があると誤って結論づけることがあります．
613 | - 最低限，学習における最適な学習率が探索空間の境界にないことを確認する必要がある．
614 |
615 | [Click to expand]
639 |
640 |
641 |
642 | - 残念ながら，短時間の不完全な訓練で見つかった良いハイパーパラメータが，訓練の長さが大幅に増加したときにも良い選択であるという保証はどこにもないのです．しかし，ハイパーパラメータの種類によっては，ラウンド1でも十分に相関があることが多いのです．
643 | - どのようなハイパーパラメータが，短い訓練で発見され，長い訓練に移行することが期待できるのでしょうか？これら全てについて，さらなる研究が必要です．しかし，これまでに分かっていることに基づいて，移行の確率が低い順に著者の疑いを紹介します．
644 | - 移行する可能性が非常に高い
645 | - 初期の学習不安定性は，より少ない数の学習ステップを用いた最初のチューニングで解決することができる．おそらく，これらのハイパーパラメータが最も確実な移行の可能性に近いと思われる．
646 | - ウォームアップの長さ
647 | - 初期化
648 | - 移行の可能性が高い
649 | - モデルアーキテクチャ: モデルアーキテクチャの劇的にうまく行く場合は，通常，移行されますが，おそらく多くの反例があると思われます．
650 | - 移行する可能性がある
651 | - 最適化アルゴリズム/最適化ハイパーパラメータ: これは「緩やかに」移行すると思われます．これは，上記のものよりも確実に弱いです．
652 | - データ拡張
653 | - 正規化
654 | - トレーニングセットに完全にフィットしない場合，モデルは正則化があまり役に立たない領域にある可能性があります．
655 | - 移行の可能性が低い
656 | - 学習率スケジュール: 完全に移行する可能性は低い．
657 | - [この論文](https://arxiv.org/abs/2203.15556)では減衰スケジュールでも転送されることを示唆しているが，一般的にはそうでないと考えている．例：学習ステップ数が少ないときにsqrt decayを調整し，その後大きなステップ数に拡張すると，学習の大部分が過度に小さなステップ数で行われることになる．
658 | - 極端なトレーニングバジェットの制限内では，ほとんどのスケジュールで "good enough"になる可能性がありますが，チューニングすれば顕著な性能向上が見られると思われます．
659 | - [Understanding Short-Horizon Bias in Stochastic Meta-Optimization](https://arxiv.org/abs/1803.02021) は，近視眼的に学習率を選択しようとすることの危険性について述べています．
660 |
661 | [Click to expand]
666 |
667 |
668 |
669 | - ラウンド1の最適なハイパーパラメータ設定を実行する．
670 | - **(推測)** 🤖 余分なステップを利用して，高い学習率で学習する期間を延長する．
671 | - 例：線形スケジュールなら，減衰の長さをRound1から固定にして，最初は学習率を一定にした期間を延長する．
672 | - コサイン減衰の場合は，[Chinchilla paper](https://arxiv.org/abs/2203.15556)と同様に，ラウンド1から基本の学習率を維持し，`max_train_steps`を延長するだけでよい．
673 | - モデリングとチューニングのパイプラインが非常に成熟しており，実機でのトレーニングが非常に長く高価なチームでは，ラウンド数を増やすことは意味があるかもしれませんが，多くの場合，やりすぎでしょう．
674 | - ここまで，ステップ1→ステップ2への移行方法について説明してきました．もし，解析時間を気にせず，計算を効率的に使用することが最大の関心事であるならば，理想的なのは，チューニングの多くの異なるラウンドでトレーニング実行の長さ（したがって，研究を完了するためのエンドツーエンドの時間）を指数関数的に増加させることでしょう．
675 | - 各ラウンドで，私たちが選択したものが引き続き有効であることを体系的に確認します．
676 | - 新しいアイデアは，ステップiからステップi+1まで，次第に長くなる実験を用いて，徐々に派生していくパイプラインを通過する．
677 |
678 | [Click to expand]
709 |
710 |
711 |
712 | - モデルのパフォーマンスを評価するには，いくつかの設定があります．
713 | - **オンライン評価**: 評価指標は，モデルが実運用環境で予測を提供するときに収集されます．
714 | - **オフライン評価**: 本番環境を代表するオフラインの訓練/バリデーション/テスト・セットでモデルを実行したときに，評価指標が収集されます．
715 | - **定期的な評価**: 評価指標は，オフライン評価の代理となるモデルのトレーニング中や，オフライン評価で使用されたデータのサブセットで収集されます．
716 | - オンライン評価はゴールドスタンダードであるが，モデル開発段階では現実的でないことが多い．
717 | - 問題によっては，オフライン評価はかなり複雑で，計算コストがかかる場合があります．
718 | - 定期的な評価は最も実用的で経済的な選択ですが，実稼働環境を完全に表現できない場合があります．
719 | - 定期的な評価では，トレーニング中に得られる信号の信頼性を犠牲にすることなく，オフライン評価の簡便なプロキシを使用することを目標としています．
720 |
721 | [Click to expand]
726 |
727 |
728 |
729 | - トレーニング中に定期的な評価を行うことで，トレーニングの進捗をリアルタイムに監視し，[レトロスペクティブなモデルのチェックポイント選択](#Saving-checkpoints-and-retrospectively-selecting-the-best-checkpoint)を容易にし，[トレーニング終了時にトレーニングカーブを検証](#examining-the-training-curves)できるようにします．
730 | - 最も単純な構成は，トレーニングと定期的な評価の両方を同じ計算インスタンス内で行い，トレーニングと評価を周期的に交互に行うものです．
731 | - この場合，評価時にモデルのアクティブ度を維持する必要がないため，評価のためのバッチサイズは少なくともトレーニング時のバッチサイズと同程度にする必要があり，1例あたりの計算量が少なくなります．
732 | - 定期的な評価は，時間間隔ではなく，一定のステップ間隔で行う必要があります．
733 | - 時間間隔に基づいて評価すると，トレーニングカーブの解釈が難しくなります．特に，トレーニングジョブの先送り，ネットワークの遅延の問題などが発生する可能性があります．
734 | - バリデーション/テスト評価指標の周期性（シャッフルされたトレイン/バリデーション/テスト分割を使用する場合）は，テストデータがトレインデータと重複している，またはトレインデータが適切にシャッフルされていないなどの実装上のバグを示すことがあります．一定のステップ間隔で評価することで，これらの問題を容易に発見することができます．
735 | - 評価セットがバッチサイズで割り切れない場合，パーシャルバッチが発生することがあります．損失関数にバイアスがかからないように，パディングされたサンプルは正しく重み付けされていることを確認してください．多くの場合，これらのパディングされた例には，ゼロの重みを与えることができます．
736 | - オフライン分析をサポートするために，評価ごとに十分な情報を保存する．理想的には，個々の例の選択に関する予測を保存することで，デバッグに非常に役立つからです．
737 | - [SavedModels](https://www.tensorflow.org/guide/saved_model)のような成果物を生成することで，評価ジョブが終了した後にアドホックなモデル検査を容易に行うことができます．
738 |
739 | [Click to expand]
744 |
745 |
746 |
747 | - 定期評価ジョブは，オフライン評価セット全体の評価指標を合理的な時間で計算できるほど高速に実行できない場合があります．このため，定期的な評価のためにデータのサンプリングが必要になることがよくあります．
748 | - サンプリングされたデータセットを構築する際には，以下の要因を考慮します．
749 | - サンプルサイズ
750 | - 定期的なジョブが使用するサンプルデータセットで計算された性能が，オフライン評価セット全体の性能と一致すること，つまりサンプルセットとデータセット全体の間に偏りがないことを確認する．
751 | - 定期的な評価に使用するデータセットは，その全体にわたってモデル予測を生成することが容易なほど十分に小さく，しかしモデルの改善を正確に測定できるほど十分に大きい（すなわち，ラベルノイズに圧倒されない）ことが必要です．
752 | - また，このような評価を複数の試行にわたって順番に行い，なおかつ正確な推定値が得られるような大きさである必要がある．つまり，時間経過とともにバリデーションセットに適応的に「フィット」してしまい，保持されたテストセットに一般化されないことを避けるためである．しかし，このような懸念は現実的にはほとんどありません．
753 | - アンバランスなデータセット
754 | - 不均衡なデータセットでは，稀なクラスの例に対する性能がノイズとなることが多い．
755 | - クラスラベルの例数が少ないデータセットでは，正しく予測された例数をログに記録して，精度の向上をより深く理解します（.05の感度向上というとよく聞こえますが，正しい例数が1つ増えただけなのではないしょうか？）．
756 |
757 | [Click to expand]
813 |
814 |
815 |
816 | - これは未解決の問題です．学習率の減衰スケジュールが「最善」であることを確信できる厳密な実験のセットをどのように構築するかは明らかではない．
817 | - 我々は，最適なスケジュール集合を知らないが，何らかの（一定でない）スケジュールを持つことが重要であり，それを調整することが重要であることを確信している．
818 | - 最適化プロセスにおいて，異なる学習速度が異なる時期に最も効果的に働きます．ある種のスケジュールを持つことで，モデルが良い学習速度に到達する可能性が高くなります．
819 |
820 | [Click to expand]
826 |
827 |
828 |
829 | - 私たちの好みはlinear decayかcosine decayですが，他のスケジュール集合も良いでしょう．
830 |
831 | [Click to expand]
837 |
838 |
839 |
840 | - 複雑な区分けされた学習率減衰スケジュールを持つ論文を見ることは珍しいことではない．
841 | - 読者はしばしば，著者がどのようにしてそのような複雑な研究にたどり着いたのか不思議に思う．
842 | - 多くの複雑な学習率減衰スケジュールは，バリデーションセットの性能の関数として，以下の様にスケジュールをアドホックにチューニングした結果です．
843 | 1. 単純な学習率減衰（または一定の学習率）で1回の学習を開始する．
844 | 2. パフォーマンスが低下するまで学習を継続する．この場合，トレーニングを一時停止します．この時点から，おそらくより急な学習率減衰スケジュール（またはより小さな一定の学習レート）でトレーニングを再開する．このプロセスを会議／発売の締め切りまで繰り返す．
845 | - 結果として得られるスケジュールをそのままコピーすることは，一般的に良いアイデアとは言えません．なぜなら，最適な特定のスケジュールは，他の多くのハイパーパラメータの選択に対して敏感だからです．
846 | - スケジュールを生成したアルゴリズムをコピーするのがベターですが，人間の恣意的な判断でスケジュールを生成した場合は，これが可能なことは稀です．
847 | - このようなバリデーションエラーに敏感なスケジュールは，完全に自動化できるのであれば使用しても問題ありませんが，バリデーションエラーの関数である人間ループのスケジュールはもろく，簡単に再現できないので，避けることをお勧めします．
848 | - このようなスケジュールを使用した結果を公表する前に，十分に再現性を持たせるように努めてください．
849 |
850 | [Click to expand]
857 |
858 |
859 |
860 | - 上述したように，探索空間や探索空間からいくつの点をサンプリングすべきかについて一般的な記述をすることは非常に困難である．Adamのすべてのハイパーパラメータが同じように重要であるわけではないことに注意してください．以下の経験則は，研究の試行回数の異なる「予算」に対応するものです．
861 | - 試行回数が10回未満の場合は，（基本）学習率のみを調整する．
862 | - 10-25試行の場合，学習速度と $\beta_1$を調整する．
863 | - 25回以上の試行がある場合は，学習率と $\beta_1$， $\epsilon$を調整する．
864 | - 25回以上の試行が可能であれば，さらに $\beta_2$を調整する．
865 |
866 | [Click to expand]
872 |
873 |
874 |
875 | - 準ランダム探索（[不一致の少ないシーケンス](https://en.wikipedia.org/wiki/Low-discrepancy_sequence)に基づく）は，チューニング問題を最大限に理解することを目的とした反復チューニングプロセスの一部として使用する場合（私たちは「探索フェーズ」と呼んでいます），派手なブラックボックス最適化ツールよりも私たちの好みとなります．ベイズ最適化および類似のツールは，探索フェーズにより適しています．
876 | - ランダムにシフトされた低不連続度シーケンスに基づく準ランダム探索は，与えられた探索空間を一様に，しかしランダムに探索し，ランダム探索よりも探索点を広げることから，「ジッタード・シャッフル格子探索」と考えることができる．
877 | - より洗練されたブラックボックス最適化ツール（ベイズ最適化，進化的アルゴリズムなど）に対する準ランダム探索の利点は以下の通りです．
878 | 1. 探索空間を非適応的にサンプリングすることで，実験を再実行することなく，ポストホック分析でチューニングの目的を変更することが可能になります．
879 | - 例えば，我々は通常，学習のどの時点でも達成される検証誤差の観点から最適な試行を見つけたいと思う．しかし，準ランダム探索の非適応性により，最終的な検証誤差，訓練誤差，あるいは別の評価指標に基づいて最適な試行を見つけることが，実験を再実行することなく可能になる．
880 | 2. 準ランダムサーチは一貫性があり，統計的に再現可能な方法で動作する．
881 | - 探索アルゴリズムの実装が変わっても，同じ一様性の特性を維持する限り，6ヶ月前の研究を再現することが可能なはずです．高度なベイズ最適化ソフトウェアを使用している場合，バージョン間で実装が重要な形で変更される可能性があり，古い検索を再現することが非常に難しくなります．また，最適化ツールがサービスとして稼働している場合など，古い実装にロールバックすることが常に可能とは限りません．
882 | 3. 探索空間を均一に探索することで，結果や探索空間に関する示唆を容易に推論することができます．
883 | - 例えば，準ランダム探索のトラバーサルにおける最良のポイントが探索空間の境界にある場合，これは探索空間の境界を変更すべきであるという良いシグナルです（ただし，確実ではありません）．[このセクション](#identifying-bad-search-space-boundaries)では，さらに深く掘り下げます．しかし，適応型ブラックボックス最適化アルゴリズムでは，同じように良い点を含んでいても，初期の試行が不運だったために探索空間の真ん中が無視されることがあります．
884 | 4. 準ランダム探索（または他の非適応探索アルゴリズム）を使用する場合，適応型アルゴリズムとは異なり，異なる数の試行を並列に実行しても，統計的に異なる結果が得られることはありません．
885 | 5. より洗練された探索アルゴリズムは，特にニューラルネットワークのハイパーパラメータのチューニングを念頭に置いて設計されていない場合，実行不可能な点を必ずしも正しく扱えないことがあります．
886 | 6. 準ランダム探索はシンプルで，多くのチューニング試行を並行して行う場合に特に効果的です．
887 | - 特に多くの試行を並行して行う必要がある場合，適応アルゴリズムがその2倍の予算を持つ準ランダム探索に勝つのは非常に難しい（したがって，新しい試行を開始する際に以前の試行結果を利用する機会はほとんどない），という逸話がある[^3]．
888 | - ベイズ最適化などの高度なブラックボックス最適化手法の専門知識がなければ，原理的には提供できるはずのメリットが得られないかもしれません．現実的な深層学習のチューニング条件で，高度なブラックボックス最適化アルゴリズムをベンチマークすることは困難である．これらは現在の研究において非常に活発な分野であり，より洗練されたアルゴリズムには，経験の浅いユーザーにとってそれなりの落とし穴があるのです．これらの手法の専門家は良い結果を得ることができますが，高並列の条件では探索空間と予算がより重要になる傾向があります．
889 | - つまり，計算機資源が少数の試行しか並列に実行できず，多くの試行を順番に実行する余裕がある場合，ベイズ最適化はチューニング結果の解釈が難しくなるにもかかわらず，より魅力的になるのです．
890 |
891 | [^3]: Ben RechtとKevin Jamiesonは，2倍予算のランダム探索がベースラインとしていかに強いかを[指摘](http://www.argmin.net/2016/06/20/hypertuning/)しましたが（[Hyperbandの論文](https://jmlr.org/papers/volume18/16-558/16-558.pdf)も同様の主張をしています），最先端のベイズ最適化技術が2倍予算のランダム探索を打ち負かす探索空間と問題を見つけることは確かに可能です．しかし，我々の経験では，高並列度領域では，ベイズ最適化は以前の試行の結果を観察する機会がないため，2倍の予算のランダム探索に勝つことは非常に難しくなります．
892 | [Click to expand]
897 |
898 |
899 |
900 | - 我々は，与えられた探索空間に対してハルトン配列を生成する[この実装](https://github.com/mlcommons/algorithmic-efficiency/blob/main/algorithmic_efficiency/halton.py)を使用している（https://arxiv.org/abs/1706.03200 で推奨されているように，シフトされ，スクランブルされたハルトン配列を実装することを意図している）．
901 | 低不連続数列に基づく擬似ランダム探索アルゴリズムが利用できない場合は，擬似ランダム一様探索で代用することが可能ですが，若干効率が悪くなる可能性があります．
902 | 1-2次元ではグリッド探索も可能であるが，高次元では不可能である（[Bergstra & Bengio, 2012](https://www.jmlr.org/papers/v13/bergstra12a.html)を参照）．
903 |
904 | [Click to expand]
910 |
911 |
912 |
913 |
914 | 
915 |
916 |
917 | 図3: ResNet-50はImageNet上で100回の試行を行い，チューニングを行った．ブートストラップにより，異なるチューニング予算がシミュレートされた．各試行予算における最適性能の箱ひげ図を上に示す．
918 |
919 | - この問いに一概に答えることはできないが，具体的な例を見ることはできる．
920 | - 図3が示すように，試行回数は結果に大きな影響を与える可能性があります．
921 | - 試行回数が6回の場合と20回の場合では，四分位範囲がいかに大きいかに注目してください．
922 | - 20回の試行でも，特に幸運な研究と不運な研究の差は，ハイパーパラメータを固定し，異なるランダムシードでこのモデルを再トレーニングした場合の一般的な変動よりも大きくなる可能性があります．（この作業負荷では，バリデーションエラー率約23%で約±0.1%）
923 |
924 |
[Click to expand]
930 |
931 |
932 |
933 | ***要約:*** *もしモデルに最適化の問題があれば，他のことを試す前にそれを解決することが重要です．トレーニングの失敗を診断し修正することは，活発な研究分野です．*
934 |
935 |
936 | 
937 |
938 |
939 |
940 | 図4: WideResnetの1つの残差ブロック（2x2 -> 1x1）の歩幅を変更すると，学習が不安定になる．これは，低い学習率では性能が低下しないが，高い学習率では不安定になり，うまく学習できない．1000ステップの学習率ウォームアップを行うことで，この不安定性を解消し，最大学習率0.1での安定した学習を可能にした．
941 |
942 | #### 不安定なワークロードの特定
943 | - 学習率が大きすぎると，どんなワークロードも不安定になる．不安定さが問題になるのは，小さすぎる学習率を使わざるを得なくなったときだけである．
944 | - 学習の不安定さには，少なくとも2つのタイプがあり，区別する価値がある．
945 | 1. 初期化時やトレーニングの初期に発生する不安定性
946 | 2. トレーニングの途中で突然不安定になること．
947 | - 作業負荷の安定性の問題を特定するために，系統的なアプローチを取ることができます．
948 | 1. 学習率スイープを行い，最適な学習率*を見つける．
949 | 2. 学習率*以上の学習率で学習ロスカーブをプロットする．
950 | 3. もし，学習率 > 学習率* が損失の不安定性を示すなら（学習期間中に損失が増加し，減少しない），その不安定性を修正することが，より良い学習をもたらすと思われる．
951 | - 学習中の全損失勾配のL2ノルムを記録すると，異常値によって学習中に不安定性が発生する可能性があります．これはgradientやupdate clippingをどのように選択するかという情報になります．
952 | **注意：**モデルによっては，初期に不安定な状態になり，その後，回復して，ゆっくりではあるが安定した学習ができるものもあります．**一般的な評価スケジュールは，十分な頻度で評価しないため，このような問題を見逃す可能性があります!**
953 | これを確認するために，`lr = 2 * current best`を使用して，\~500ステップの短縮されたトレーニングを行うことができますが，すべてのステップを評価します．
954 |
955 |
956 | 
958 |
959 |
960 | 図5: トレーニング開始時の評価をより頻繁に行うことの価値を示す図．学習初期にモデルが不安定になる可能性がある場合に有効．
961 |
962 | #### よくある不安定なパターンに対する修正の可能性
963 | - 学習速度のウォームアップを適用
964 | - 初期の学習が不安定な場合に最適です．
965 | - 勾配クリッピングの適用
966 | - 初期・中期学習不安定に有効，warmupでは直せない悪いインプットも直せる可能性がある．
967 | - 新しいオプティマイザを試す
968 | - AdamはMomentumが扱えない不安定性を扱えることがある．これは活発な研究分野です．
969 | - モデルアーキテクチャのベストプラクティス/初期化を確実に行うことができる（以下の例）．
970 | - モデルにまだ含まれていない場合は，残留接続(residual connections)と正規化を追加します．
971 | - 正規化は，残差の前の最後の操作であるべきです．例：x + Norm(f(x))．
972 | - Norm(x + f(x))は問題を引き起こすことが知られています．
973 | - 残差分岐を0に初期化してみてください(例：[ReZero init](https://arxiv.org/abs/2003.04887))．
974 | - 学習率を下げる
975 | - これは最後の手段です．
976 |
977 | #### 学習速度ウォームアップ
978 |
979 |
980 | 
982 |
983 |
984 | 図6: ウォームアップ時の不安定さの一例（横軸の対数スケールに注意）．この場合，トレーニングを成功させるためには40k歩のウォームアップが必要であった．
985 |
986 | #### 学習率ウォームアップを適用するタイミング
987 |
988 |
989 | 
990 |
991 |
992 | 図7a: 学習が不安定なモデルのハイパーパラメータ軸プロットの一例．最適な学習率は，実行可能な範囲の端にある．「実現不可能」な試行とは，NaN を発生させるか，損失が異常に大きい試行と定義される．
993 |
994 |
995 | 
996 |
997 |
998 | 図7b: 不安定さが見られる学習率で学習させたモデルの学習損失．
999 |
1000 | - 図7aは，最適化が不安定なモデルを示すハイパーパラメータ軸プロットで，最適な学習率が不安定になるぎりぎりのところにあることを示しています．
1001 | - 図7bは，このピークよりも5倍または10倍大きな学習率で学習させたモデルの学習損失を調べることで，これをダブルチェックする方法を示しています．もしこのプロットが，一定の減少の後に損失が急激に増加している場合（例えば上の図の\~10kのステップ），そのモデルは最適化の不安定性に悩まされている可能性があります．
1002 |
1003 |
1004 |
1005 | #### 学習率ウォームアップの適用方法
1006 |
1007 |
1008 | 
1009 |
1010 |
1011 | 図8: 学習速度のウォームアップがトレーニングの不安定性に対処する上で有益な効果．
1012 |
1013 | - 上記のセクションを利用して，モデルが不安定になる学習率を既に特定したと仮定します．これが`unstable_base_learning_rate`である．
1014 | - ウォームアップには，学習率を0から，`unstable_base_learning_rate`より少なくとも1桁大きい安定した`base_learning_rate`に上昇させる学習率スケジュールを前置することが含まれます．デフォルトでは，不安定な基本学習速度の10倍の基本学習速度が試される．しかし，100倍の`unstable_base_learning_rate`でこの手順全体を再度実行することが可能であることに注意してください．
1015 | - 具体的なスケジュールは`warmup_steps`で0から`base_learning_rate`まで上昇させる．
1016 | - `post_warmup_steps`は一定の速度で学習する．
1017 | - 我々の目標は，`unstable_base_learning_rate`よりもはるかに高いピーク学習レートにアクセスできる，最短の`warmup_steps`の数を見つけることです．
1018 | - そのため，それぞれの`base_learning_rate`に対して，`warmup_steps`と`post_warmup_steps`を調整する必要があります．通常，`post_warmup_steps` は `2*warmup_steps`に設定すれば問題ないでしょう．
1019 | - Warmupは既存の減衰スケジュールと独立して調整することができる．`warmup_steps`は，いくつかの異なるオーダーで掃引する必要がある．例えば，研究例では，[10, 103, 104,105]を試すことができる．最大の実行可能ポイントは，`max_train_steps`の10%以上であってはならない．
1020 | - `base_learning_rate`での学習を吹き飛ばさない`warmup_steps`が確立されたら，それをベースラインモデルに適用する必要があります．基本的に，このスケジュールを既存のスケジュールの上に追加し，この実験とベースラインを比較するために，上述の最適なチェックポイントの選択を使用します．例えば，元々10,000 max_train_stepsで，warmup_stepsを1000ステップ行った場合，新しい学習手順は合計11,000ステップで実行されるはずです．
1021 | - 安定したトレーニングのために長い`warmup_steps`が必要な場合（`max_train_steps`の5%以上），これを考慮して`max_train_steps`を増加させる必要があるかもしれません．
1022 | - ワークロードの全範囲にわたって「典型的な」値があるわけではありません．100ステップで済むモデルもあれば，40k以上のステップが必要なモデル（特に変換器）もあります．
1023 |
1024 | #### 勾配のクリッピング(Gradient clipping)
1025 |
1026 | 
1027 |
1028 |
1029 | 図9: 学習初期の不安定さを修正する勾配クリッピングの説明図．
1030 |
1031 | - 勾配クリッピングは，大きな勾配や異常な勾配の問題が発生した場合に最も有効です．
1032 | - クリッピングはトレーニング初期の不安定さ（初期の大きな勾配ノルム），またはトレーニング中期の不安定さ（トレーニング中の突然の勾配スパイク）のいずれかを修正することができます．
1033 | - ウォームアップ期間を長くすることで，クリッピングでは修正できない不安定さを修正できる場合があります．([上記のこのセクション](#How-to-apply-learning-rate-warmup)を参照してください．)
1034 | - 🤖ウォームアップ中のクリッピングはどうするのですか？
1035 | - 理想的なクリップのしきい値は「典型的な」勾配ノルムのすぐ上にあります．
1036 | - 以下は，勾配クリッピングの例です．
1037 | - もし勾配ノルム $\left | g \right |$が勾配クリッピングのしきい値 $\lambda$より大きければ，${g}'$を新たな勾配として${g}'= \lambda \times \frac{g}{\left | g \right |}$のようにします．
1038 | - 学習中のクリップされていない勾配ノルムを記録します．デフォルトでは，生成します．
1039 | - 勾配ノルム vs ステップのプロット
1040 | - 全ステップにわたって集計された勾配ノルムのヒストグラム
1041 | - 勾配ノルムの90パーセンタイルに基づいて，勾配クリッピングの閾値を選択します．
1042 | - 閾値は作業負荷に依存しますが，90%は良い出発点です．うまくいかない場合は，この閾値を調整することができる．
1043 | - 🤖 ある種の適応的な戦略はどうでしょうか？
1044 | - 勾配クリッピングを試してみて，不安定性の問題が残るようなら，より強く試すことができます（つまり，閾値を小さくする）．
1045 | - 極端に攻撃的な勾配クリッピングは，要するに学習率を下げるための奇妙な方法です．もし極端にアグレッシブなクリッピングを使用していることに気づいたら，おそらく代わりに学習率を下げるべきでしょう．
1046 | - 通常，更新の50％以上が何らかの形でクリッピングされることを「極めて積極的」と見なします．
1047 | - 不安定性の問題に対処するために極めて積極的な勾配クリッピングを行う必要があるのなら，学習率を下げたほうがよいでしょう．
1048 |
1049 | [Click to expand]
1054 |
1055 |
1056 | - 確かに「ハイパーパラメータ」という言葉はベイズ機械学習において正確な[意味](https://en.wikipedia.org/wiki/Hyperparameter)を持ち，学習率や深層学習で調整する他のパラメータのほとんどを「ハイパーパラメータ」と呼ぶのは用語の乱用である．
1057 | - 我々は，学習率，アーキテクチャパラメータ，および深層学習で調整する他のすべてのものに対して「メタパラメータ」という用語を使用することを好む．なぜなら，「ハイパーパラメータ」という用語を誤って使用することから生じる混乱の可能性を回避することができる（確率的応答曲面モデルがそれ自身の真のハイパーパラメータを持っているベイズ最適化を議論する際に，特に起こり得る混乱）．
1058 | - 残念ながら，混乱を招く可能性はあるものの，ハイパーパラメーターという言葉は深層学習界では極めて一般的になっている．
1059 | - そのため，この文書のように，この技術的なことを知らないであろう多くの人々を含む幅広い読者を対象とした文書では，別の混乱を避けるために，この分野の混乱の原因の1つに貢献することを選択しました．
1060 | - とはいえ，研究論文を発表するときには別の選択をするかもしれませんし，ほとんどの文脈で代わりに「メタパラメータ」を使うよう他の人に勧めたいと思います．
1061 |
1062 | [Click to expand]
1069 |
1070 |
1071 | - *トレーニングパイプラインの他の詳細を変更せずに*バッチサイズを変更すると，多くの場合，バリデーションセットの性能に影響を及ぼします．
1072 | - しかし，トレーニングパイプラインをバッチサイズごとに独立して最適化すると，2つのバッチサイズ間のバリデーションセットの性能の差は，通常なくなります．
1073 | - バッチサイズと最も強く相互作用するハイパーパラメータは，オプティマイザのハイパーパラメータ（例：学習率，運動量）と正則化のハイパーパラメータです．
1074 | - バッチサイズが小さいと，サンプルの分散により学習アルゴリズムに多くのノイズが混入し，このノイズが正則化の効果をもたらす可能性があります．したがって，バッチサイズが大きくなると過学習が起こりやすくなり，より強力な正則化および/または追加の正則化技術が必要になる場合があります．
1075 | - また，バッチサイズを変更する際には，[学習ステップの数を調整](#choosing-the-batch-size-to-minimize-training-time)する必要がある場合もあります．
1076 | - これらの効果をすべて考慮すると，バッチサイズが最大達成可能な検証性能に影響を与えるという説得力のある証拠は今のところありません（[Shallue et al.2018](https://arxiv.org/abs/1811.03600)参照）．
1077 |
1078 | [Click to expand]
1085 |
1086 |
1087 |
1088 | #### Stochastic gradient descent (SGD)
1089 |
1090 | $ $\theta_{t+1} = \theta_{t} - \eta_t \nabla \mathcal{l}(\theta_t)$$
1091 |
1092 | #### Momentum
1093 |
1094 | $$v_0 = 0$$
1095 |
1096 | $$v_{t+1} = \gamma v_{t} + \nabla \mathcal{l}(\theta_t)$$
1097 |
1098 | $ $\theta_{t+1} = \theta_{t} - \eta_t v_{t+1}$$
1099 |
1100 | #### Nesterov
1101 |
1102 | $$v_0 = 0$$
1103 |
1104 | $$v_{t+1} = \gamma v_{t} + \nabla \mathcal{l}(\theta_t)$$
1105 |
1106 | $ $\theta_{t+1} = \theta_{t} - \eta_t( \gamma v_{t+1} + \nabla \mathcal{l}(\theta_{t})$$
1107 |
1108 | #### RMSProp
1109 |
1110 | $$v_0 = 1 \text{,} m_0 = 0$$
1111 |
1112 | $$v_{t+1} = \rho v_{t} + (1 - \rho) \nabla \mathcal{l}(\theta_t)^2$$
1113 |
1114 | $$m_{t+1} = \gamma m_{t} + \frac{\eta_t}{\sqrt{v_{t+1} + \epsilon}}\nabla \mathcal{l}(\theta_t)$$
1115 |
1116 | $ $\theta_{t+1} = \theta_{t} - m_{t+1}$$
1117 |
1118 | #### ADAM
1119 |
1120 | $$m_0 = 0 \text{,} v_0 = 0$$
1121 |
1122 | $$m_{t+1} = \beta_1 m_{t} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)$$
1123 |
1124 | $$v_{t+1} = \beta_2 v_{t} + (1 - \beta_2) \nabla \mathcal{l}(\theta_t)^2$$
1125 |
1126 | $$b_{t+1} = \frac{\sqrt{1 - \beta_2^{t+1}}}{1 - \beta_1^{t+1}}$$
1127 |
1128 | $ $\theta_{t+1} = \theta_{t} - \alpha_t \frac{m_{t+1}}{\sqrt{v_{t+1}} + \epsilon} b_{t+1}$$
1129 |
1130 | #### NADAM
1131 |
1132 | $$m_0 = 0 \text{,} v_0 = 0$$
1133 |
1134 | $$m_{t+1} = \beta_1 m_{t} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)$$
1135 |
1136 | $$v_{t+1} = \beta_2 v_{t} + (1 - \beta_2) \nabla \mathcal{l} (\theta_t)^2$$
1137 |
1138 | $$b_{t+1} = \frac{\sqrt{1 - \beta_2^{t+1}}}{1 - \beta_1^{t+1}}$$
1139 |
1140 | $ $\theta_{t+1} = \theta_{t} - \alpha_t \frac{\beta_1 m_{t+1} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)}{\sqrt{v_{t+1}} + \epsilon} b_{t+1}$$
1141 |
1142 |