├── .Rhistory
├── .gitignore
├── Makefile
├── README
├── make.bat
├── markdown
    ├── docs
    │   ├── 01_anthrax_comparative_analysis.md
    │   └── index.md
    ├── mkdocs.yml
    └── site
    │   ├── 01_anthrax_comparative_analysis
    │       └── index.html
    │   ├── 404.html
    │   ├── css
    │       ├── base.css
    │       ├── bootstrap-custom.css
    │       ├── bootstrap-custom.min.css
    │       ├── cinder.css
    │       ├── font-awesome-4.0.3.css
    │       └── highlight.css
    │   ├── fonts
    │       ├── fontawesome-webfont.eot
    │       ├── fontawesome-webfont.svg
    │       ├── fontawesome-webfont.ttf
    │       └── fontawesome-webfont.woff
    │   ├── img
    │       ├── favicon.ico
    │       ├── grid1.png
    │       ├── grid10.png
    │       ├── grid11.png
    │       ├── grid12.png
    │       ├── grid13.png
    │       ├── grid14.png
    │       ├── grid15.png
    │       ├── grid16.png
    │       ├── grid17.png
    │       ├── grid18.png
    │       ├── grid19.png
    │       ├── grid2.png
    │       ├── grid20.png
    │       ├── grid3.png
    │       ├── grid4.png
    │       ├── grid5.png
    │       ├── grid6.png
    │       ├── grid7.png
    │       ├── grid8.png
    │       └── grid9.png
    │   ├── index.html
    │   ├── js
    │       ├── base.js
    │       ├── bootstrap-3.0.3.min.js
    │       ├── highlight.pack.js
    │       └── jquery-1.10.2.min.js
    │   ├── mkdocs
    │       ├── js
    │       │   ├── lunr.min.js
    │       │   ├── mustache.min.js
    │       │   ├── require.js
    │       │   ├── search-results-template.mustache
    │       │   ├── search.js
    │       │   └── text.js
    │       └── search_index.json
    │   └── sitemap.xml
├── requirements.txt
└── source
    ├── _static
        └── img
        │   ├── appendix
        │       └── practice
        │       │   ├── image1.png
        │       │   └── image2.png
        │   ├── appendix_a2_1.png
        │   ├── appendix_a2_2.png
        │   ├── appendix_a5_1.png
        │   ├── appendix_a5_2.png
        │   ├── chapter_02
        │       └── Rplot.png
        │   ├── chapter_05
        │       ├── appendix_a5_1.png
        │       └── appendix_a5_2.png
        │   ├── circos-anatomy.png
        │   ├── fork.png
        │   ├── miseq.jpg
        │   ├── pull_request.png
        │   └── ubuntu.jpg
    ├── appendix
        ├── edirect.rst
        ├── file_format.rst
        ├── get_data.rst
        ├── index.rst
        ├── introduce_lab.rst
        └── practice.rst
    ├── chapter_00
        ├── Aspera_Connect.rst
        ├── FastQC.rst
        ├── RAxML.rst
        ├── SPAdes.rst
        └── index.rst
    ├── chapter_01
        ├── 01_get_data.rst
        ├── 02_quality_control.rst
        ├── 03_assembly.rst
        ├── 04_annotation.rst
        ├── 05_practice.rst
        └── index.rst
    ├── chapter_02
        ├── 01_blast.rst
        ├── 02_msa.rst
        ├── 03_mapping.rst
        ├── 04_call_variant.rst
        └── index.rst
    ├── chapter_03
        ├── 01_pangenomics.rst
        ├── 02_orthologs_analysis.rst
        ├── 03_phylogenomics.rst
        ├── 04_get_homologues.rst
        ├── aln2phy.py
        ├── index.rst
        ├── realphy.docker
        └── snp.rst
    ├── chapter_04
        ├── 01_circos.rst
        ├── 02_ggplot2.rst
        ├── 03_genome_viewer.rst
        └── index.rst
    ├── chapter_05
        ├── 01_cloud.rst
        ├── 02_aws.rst
        ├── 03_docker.rst
        ├── 04_galaxy.rst
        └── index.rst
    ├── chapter_06
        ├── 01_metagenomics.rst
        ├── 02_centrifuge.rst
        ├── 03_clark-s.rst
        ├── 04_kraken.rst
        ├── 05_meta-beetl.rst
        └── index.rst
    ├── chapter_07
        ├── 01_snippy.rst
        ├── 02_realphy.rst
        ├── 03_ksnp.rst
        ├── 04_snp-pipeline.rst
        └── index.rst
    ├── chapter_08
        ├── 01_mummer.rst
        ├── 02_mauve.rst
        └── index.rst
    ├── conf.py
    ├── index.rst
    └── preface
        ├── 01_linux.rst
        ├── 02_shell.rst
        ├── 03_python.rst
        ├── 04_perl.rst
        ├── 05_awk.rst
        ├── 06_sed.rst
        ├── 07_r.rst
        ├── 08_docker.rst
        ├── 09_git.rst
        ├── 10_ngs_basic.rst
        ├── 11_resource.rst
        └── index.rst


/.Rhistory:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/.Rhistory


--------------------------------------------------------------------------------
/.gitignore:
--------------------------------------------------------------------------------
1 | build
2 | 
3 | 


--------------------------------------------------------------------------------
/Makefile:
--------------------------------------------------------------------------------
  1 | # Makefile for Sphinx documentation
  2 | #
  3 | 
  4 | # You can set these variables from the command line.
  5 | SPHINXOPTS    =
  6 | SPHINXBUILD   = sphinx-build
  7 | PAPER         =
  8 | BUILDDIR      = build
  9 | 
 10 | # Internal variables.
 11 | PAPEROPT_a4     = -D latex_paper_size=a4
 12 | PAPEROPT_letter = -D latex_paper_size=letter
 13 | ALLSPHINXOPTS   = -d $(BUILDDIR)/doctrees $(PAPEROPT_$(PAPER)) $(SPHINXOPTS) source
 14 | # the i18n builder cannot share the environment and doctrees with the others
 15 | I18NSPHINXOPTS  = $(PAPEROPT_$(PAPER)) $(SPHINXOPTS) source
 16 | 
 17 | .PHONY: help
 18 | help:
 19 | 	@echo "Please use \`make <target>' where <target> is one of"
 20 | 	@echo "  html       to make standalone HTML files"
 21 | 	@echo "  dirhtml    to make HTML files named index.html in directories"
 22 | 	@echo "  singlehtml to make a single large HTML file"
 23 | 	@echo "  pickle     to make pickle files"
 24 | 	@echo "  json       to make JSON files"
 25 | 	@echo "  htmlhelp   to make HTML files and a HTML help project"
 26 | 	@echo "  qthelp     to make HTML files and a qthelp project"
 27 | 	@echo "  applehelp  to make an Apple Help Book"
 28 | 	@echo "  devhelp    to make HTML files and a Devhelp project"
 29 | 	@echo "  epub       to make an epub"
 30 | 	@echo "  epub3      to make an epub3"
 31 | 	@echo "  latex      to make LaTeX files, you can set PAPER=a4 or PAPER=letter"
 32 | 	@echo "  latexpdf   to make LaTeX files and run them through pdflatex"
 33 | 	@echo "  latexpdfja to make LaTeX files and run them through platex/dvipdfmx"
 34 | 	@echo "  text       to make text files"
 35 | 	@echo "  man        to make manual pages"
 36 | 	@echo "  texinfo    to make Texinfo files"
 37 | 	@echo "  info       to make Texinfo files and run them through makeinfo"
 38 | 	@echo "  gettext    to make PO message catalogs"
 39 | 	@echo "  changes    to make an overview of all changed/added/deprecated items"
 40 | 	@echo "  xml        to make Docutils-native XML files"
 41 | 	@echo "  pseudoxml  to make pseudoxml-XML files for display purposes"
 42 | 	@echo "  linkcheck  to check all external links for integrity"
 43 | 	@echo "  doctest    to run all doctests embedded in the documentation (if enabled)"
 44 | 	@echo "  coverage   to run coverage check of the documentation (if enabled)"
 45 | 	@echo "  dummy      to check syntax errors of document sources"
 46 | 
 47 | .PHONY: clean
 48 | clean:
 49 | 	rm -rf $(BUILDDIR)/*
 50 | 
 51 | .PHONY: html
 52 | html:
 53 | 	$(SPHINXBUILD) -b html $(ALLSPHINXOPTS) $(BUILDDIR)/html
 54 | 	@echo
 55 | 	@echo "Build finished. The HTML pages are in $(BUILDDIR)/html."
 56 | 
 57 | .PHONY: dirhtml
 58 | dirhtml:
 59 | 	$(SPHINXBUILD) -b dirhtml $(ALLSPHINXOPTS) $(BUILDDIR)/dirhtml
 60 | 	@echo
 61 | 	@echo "Build finished. The HTML pages are in $(BUILDDIR)/dirhtml."
 62 | 
 63 | .PHONY: singlehtml
 64 | singlehtml:
 65 | 	$(SPHINXBUILD) -b singlehtml $(ALLSPHINXOPTS) $(BUILDDIR)/singlehtml
 66 | 	@echo
 67 | 	@echo "Build finished. The HTML page is in $(BUILDDIR)/singlehtml."
 68 | 
 69 | .PHONY: pickle
 70 | pickle:
 71 | 	$(SPHINXBUILD) -b pickle $(ALLSPHINXOPTS) $(BUILDDIR)/pickle
 72 | 	@echo
 73 | 	@echo "Build finished; now you can process the pickle files."
 74 | 
 75 | .PHONY: json
 76 | json:
 77 | 	$(SPHINXBUILD) -b json $(ALLSPHINXOPTS) $(BUILDDIR)/json
 78 | 	@echo
 79 | 	@echo "Build finished; now you can process the JSON files."
 80 | 
 81 | .PHONY: htmlhelp
 82 | htmlhelp:
 83 | 	$(SPHINXBUILD) -b htmlhelp $(ALLSPHINXOPTS) $(BUILDDIR)/htmlhelp
 84 | 	@echo
 85 | 	@echo "Build finished; now you can run HTML Help Workshop with the" \
 86 | 	      ".hhp project file in $(BUILDDIR)/htmlhelp."
 87 | 
 88 | .PHONY: qthelp
 89 | qthelp:
 90 | 	$(SPHINXBUILD) -b qthelp $(ALLSPHINXOPTS) $(BUILDDIR)/qthelp
 91 | 	@echo
 92 | 	@echo "Build finished; now you can run "qcollectiongenerator" with the" \
 93 | 	      ".qhcp project file in $(BUILDDIR)/qthelp, like this:"
 94 | 	@echo "# qcollectiongenerator $(BUILDDIR)/qthelp/NGSDataAnalysisforPathogens.qhcp"
 95 | 	@echo "To view the help file:"
 96 | 	@echo "# assistant -collectionFile $(BUILDDIR)/qthelp/NGSDataAnalysisforPathogens.qhc"
 97 | 
 98 | .PHONY: applehelp
 99 | applehelp:
100 | 	$(SPHINXBUILD) -b applehelp $(ALLSPHINXOPTS) $(BUILDDIR)/applehelp
101 | 	@echo
102 | 	@echo "Build finished. The help book is in $(BUILDDIR)/applehelp."
103 | 	@echo "N.B. You won't be able to view it unless you put it in" \
104 | 	      "~/Library/Documentation/Help or install it in your application" \
105 | 	      "bundle."
106 | 
107 | .PHONY: devhelp
108 | devhelp:
109 | 	$(SPHINXBUILD) -b devhelp $(ALLSPHINXOPTS) $(BUILDDIR)/devhelp
110 | 	@echo
111 | 	@echo "Build finished."
112 | 	@echo "To view the help file:"
113 | 	@echo "# mkdir -p $$HOME/.local/share/devhelp/NGSDataAnalysisforPathogens"
114 | 	@echo "# ln -s $(BUILDDIR)/devhelp $$HOME/.local/share/devhelp/NGSDataAnalysisforPathogens"
115 | 	@echo "# devhelp"
116 | 
117 | .PHONY: epub
118 | epub:
119 | 	$(SPHINXBUILD) -b epub $(ALLSPHINXOPTS) $(BUILDDIR)/epub
120 | 	@echo
121 | 	@echo "Build finished. The epub file is in $(BUILDDIR)/epub."
122 | 
123 | .PHONY: epub3
124 | epub3:
125 | 	$(SPHINXBUILD) -b epub3 $(ALLSPHINXOPTS) $(BUILDDIR)/epub3
126 | 	@echo
127 | 	@echo "Build finished. The epub3 file is in $(BUILDDIR)/epub3."
128 | 
129 | .PHONY: latex
130 | latex:
131 | 	$(SPHINXBUILD) -b latex $(ALLSPHINXOPTS) $(BUILDDIR)/latex
132 | 	@echo
133 | 	@echo "Build finished; the LaTeX files are in $(BUILDDIR)/latex."
134 | 	@echo "Run \`make' in that directory to run these through (pdf)latex" \
135 | 	      "(use \`make latexpdf' here to do that automatically)."
136 | 
137 | .PHONY: latexpdf
138 | latexpdf:
139 | 	$(SPHINXBUILD) -b latex $(ALLSPHINXOPTS) $(BUILDDIR)/latex
140 | 	@echo "Running LaTeX files through pdflatex..."
141 | 	$(MAKE) -C $(BUILDDIR)/latex all-pdf
142 | 	@echo "pdflatex finished; the PDF files are in $(BUILDDIR)/latex."
143 | 
144 | .PHONY: latexpdfja
145 | latexpdfja:
146 | 	$(SPHINXBUILD) -b latex $(ALLSPHINXOPTS) $(BUILDDIR)/latex
147 | 	@echo "Running LaTeX files through platex and dvipdfmx..."
148 | 	$(MAKE) -C $(BUILDDIR)/latex all-pdf-ja
149 | 	@echo "pdflatex finished; the PDF files are in $(BUILDDIR)/latex."
150 | 
151 | .PHONY: text
152 | text:
153 | 	$(SPHINXBUILD) -b text $(ALLSPHINXOPTS) $(BUILDDIR)/text
154 | 	@echo
155 | 	@echo "Build finished. The text files are in $(BUILDDIR)/text."
156 | 
157 | .PHONY: man
158 | man:
159 | 	$(SPHINXBUILD) -b man $(ALLSPHINXOPTS) $(BUILDDIR)/man
160 | 	@echo
161 | 	@echo "Build finished. The manual pages are in $(BUILDDIR)/man."
162 | 
163 | .PHONY: texinfo
164 | texinfo:
165 | 	$(SPHINXBUILD) -b texinfo $(ALLSPHINXOPTS) $(BUILDDIR)/texinfo
166 | 	@echo
167 | 	@echo "Build finished. The Texinfo files are in $(BUILDDIR)/texinfo."
168 | 	@echo "Run \`make' in that directory to run these through makeinfo" \
169 | 	      "(use \`make info' here to do that automatically)."
170 | 
171 | .PHONY: info
172 | info:
173 | 	$(SPHINXBUILD) -b texinfo $(ALLSPHINXOPTS) $(BUILDDIR)/texinfo
174 | 	@echo "Running Texinfo files through makeinfo..."
175 | 	make -C $(BUILDDIR)/texinfo info
176 | 	@echo "makeinfo finished; the Info files are in $(BUILDDIR)/texinfo."
177 | 
178 | .PHONY: gettext
179 | gettext:
180 | 	$(SPHINXBUILD) -b gettext $(I18NSPHINXOPTS) $(BUILDDIR)/locale
181 | 	@echo
182 | 	@echo "Build finished. The message catalogs are in $(BUILDDIR)/locale."
183 | 
184 | .PHONY: changes
185 | changes:
186 | 	$(SPHINXBUILD) -b changes $(ALLSPHINXOPTS) $(BUILDDIR)/changes
187 | 	@echo
188 | 	@echo "The overview file is in $(BUILDDIR)/changes."
189 | 
190 | .PHONY: linkcheck
191 | linkcheck:
192 | 	$(SPHINXBUILD) -b linkcheck $(ALLSPHINXOPTS) $(BUILDDIR)/linkcheck
193 | 	@echo
194 | 	@echo "Link check complete; look for any errors in the above output " \
195 | 	      "or in $(BUILDDIR)/linkcheck/output.txt."
196 | 
197 | .PHONY: doctest
198 | doctest:
199 | 	$(SPHINXBUILD) -b doctest $(ALLSPHINXOPTS) $(BUILDDIR)/doctest
200 | 	@echo "Testing of doctests in the sources finished, look at the " \
201 | 	      "results in $(BUILDDIR)/doctest/output.txt."
202 | 
203 | .PHONY: coverage
204 | coverage:
205 | 	$(SPHINXBUILD) -b coverage $(ALLSPHINXOPTS) $(BUILDDIR)/coverage
206 | 	@echo "Testing of coverage in the sources finished, look at the " \
207 | 	      "results in $(BUILDDIR)/coverage/python.txt."
208 | 
209 | .PHONY: xml
210 | xml:
211 | 	$(SPHINXBUILD) -b xml $(ALLSPHINXOPTS) $(BUILDDIR)/xml
212 | 	@echo
213 | 	@echo "Build finished. The XML files are in $(BUILDDIR)/xml."
214 | 
215 | .PHONY: pseudoxml
216 | pseudoxml:
217 | 	$(SPHINXBUILD) -b pseudoxml $(ALLSPHINXOPTS) $(BUILDDIR)/pseudoxml
218 | 	@echo
219 | 	@echo "Build finished. The pseudo-XML files are in $(BUILDDIR)/pseudoxml."
220 | 
221 | .PHONY: dummy
222 | dummy:
223 | 	$(SPHINXBUILD) -b dummy $(ALLSPHINXOPTS) $(BUILDDIR)/dummy
224 | 	@echo
225 | 	@echo "Build finished. Dummy builder generates no files."
226 | 


--------------------------------------------------------------------------------
/README:
--------------------------------------------------------------------------------
1 | ngs data analysis for pathogen
2 | 


--------------------------------------------------------------------------------
/make.bat:
--------------------------------------------------------------------------------
  1 | @ECHO OFF
  2 | 
  3 | REM Command file for Sphinx documentation
  4 | 
  5 | if "%SPHINXBUILD%" == "" (
  6 | 	set SPHINXBUILD=sphinx-build
  7 | )
  8 | set BUILDDIR=build
  9 | set ALLSPHINXOPTS=-d %BUILDDIR%/doctrees %SPHINXOPTS% source
 10 | set I18NSPHINXOPTS=%SPHINXOPTS% source
 11 | if NOT "%PAPER%" == "" (
 12 | 	set ALLSPHINXOPTS=-D latex_paper_size=%PAPER% %ALLSPHINXOPTS%
 13 | 	set I18NSPHINXOPTS=-D latex_paper_size=%PAPER% %I18NSPHINXOPTS%
 14 | )
 15 | 
 16 | if "%1" == "" goto help
 17 | 
 18 | if "%1" == "help" (
 19 | 	:help
 20 | 	echo.Please use `make ^<target^>` where ^<target^> is one of
 21 | 	echo.  html       to make standalone HTML files
 22 | 	echo.  dirhtml    to make HTML files named index.html in directories
 23 | 	echo.  singlehtml to make a single large HTML file
 24 | 	echo.  pickle     to make pickle files
 25 | 	echo.  json       to make JSON files
 26 | 	echo.  htmlhelp   to make HTML files and a HTML help project
 27 | 	echo.  qthelp     to make HTML files and a qthelp project
 28 | 	echo.  devhelp    to make HTML files and a Devhelp project
 29 | 	echo.  epub       to make an epub
 30 | 	echo.  epub3      to make an epub3
 31 | 	echo.  latex      to make LaTeX files, you can set PAPER=a4 or PAPER=letter
 32 | 	echo.  text       to make text files
 33 | 	echo.  man        to make manual pages
 34 | 	echo.  texinfo    to make Texinfo files
 35 | 	echo.  gettext    to make PO message catalogs
 36 | 	echo.  changes    to make an overview over all changed/added/deprecated items
 37 | 	echo.  xml        to make Docutils-native XML files
 38 | 	echo.  pseudoxml  to make pseudoxml-XML files for display purposes
 39 | 	echo.  linkcheck  to check all external links for integrity
 40 | 	echo.  doctest    to run all doctests embedded in the documentation if enabled
 41 | 	echo.  coverage   to run coverage check of the documentation if enabled
 42 | 	echo.  dummy      to check syntax errors of document sources
 43 | 	goto end
 44 | )
 45 | 
 46 | if "%1" == "clean" (
 47 | 	for /d %%i in (%BUILDDIR%\*) do rmdir /q /s %%i
 48 | 	del /q /s %BUILDDIR%\*
 49 | 	goto end
 50 | )
 51 | 
 52 | 
 53 | REM Check if sphinx-build is available and fallback to Python version if any
 54 | %SPHINXBUILD% 1>NUL 2>NUL
 55 | if errorlevel 9009 goto sphinx_python
 56 | goto sphinx_ok
 57 | 
 58 | :sphinx_python
 59 | 
 60 | set SPHINXBUILD=python -m sphinx.__init__
 61 | %SPHINXBUILD% 2> nul
 62 | if errorlevel 9009 (
 63 | 	echo.
 64 | 	echo.The 'sphinx-build' command was not found. Make sure you have Sphinx
 65 | 	echo.installed, then set the SPHINXBUILD environment variable to point
 66 | 	echo.to the full path of the 'sphinx-build' executable. Alternatively you
 67 | 	echo.may add the Sphinx directory to PATH.
 68 | 	echo.
 69 | 	echo.If you don't have Sphinx installed, grab it from
 70 | 	echo.http://sphinx-doc.org/
 71 | 	exit /b 1
 72 | )
 73 | 
 74 | :sphinx_ok
 75 | 
 76 | 
 77 | if "%1" == "html" (
 78 | 	%SPHINXBUILD% -b html %ALLSPHINXOPTS% %BUILDDIR%/html
 79 | 	if errorlevel 1 exit /b 1
 80 | 	echo.
 81 | 	echo.Build finished. The HTML pages are in %BUILDDIR%/html.
 82 | 	goto end
 83 | )
 84 | 
 85 | if "%1" == "dirhtml" (
 86 | 	%SPHINXBUILD% -b dirhtml %ALLSPHINXOPTS% %BUILDDIR%/dirhtml
 87 | 	if errorlevel 1 exit /b 1
 88 | 	echo.
 89 | 	echo.Build finished. The HTML pages are in %BUILDDIR%/dirhtml.
 90 | 	goto end
 91 | )
 92 | 
 93 | if "%1" == "singlehtml" (
 94 | 	%SPHINXBUILD% -b singlehtml %ALLSPHINXOPTS% %BUILDDIR%/singlehtml
 95 | 	if errorlevel 1 exit /b 1
 96 | 	echo.
 97 | 	echo.Build finished. The HTML pages are in %BUILDDIR%/singlehtml.
 98 | 	goto end
 99 | )
100 | 
101 | if "%1" == "pickle" (
102 | 	%SPHINXBUILD% -b pickle %ALLSPHINXOPTS% %BUILDDIR%/pickle
103 | 	if errorlevel 1 exit /b 1
104 | 	echo.
105 | 	echo.Build finished; now you can process the pickle files.
106 | 	goto end
107 | )
108 | 
109 | if "%1" == "json" (
110 | 	%SPHINXBUILD% -b json %ALLSPHINXOPTS% %BUILDDIR%/json
111 | 	if errorlevel 1 exit /b 1
112 | 	echo.
113 | 	echo.Build finished; now you can process the JSON files.
114 | 	goto end
115 | )
116 | 
117 | if "%1" == "htmlhelp" (
118 | 	%SPHINXBUILD% -b htmlhelp %ALLSPHINXOPTS% %BUILDDIR%/htmlhelp
119 | 	if errorlevel 1 exit /b 1
120 | 	echo.
121 | 	echo.Build finished; now you can run HTML Help Workshop with the ^
122 | .hhp project file in %BUILDDIR%/htmlhelp.
123 | 	goto end
124 | )
125 | 
126 | if "%1" == "qthelp" (
127 | 	%SPHINXBUILD% -b qthelp %ALLSPHINXOPTS% %BUILDDIR%/qthelp
128 | 	if errorlevel 1 exit /b 1
129 | 	echo.
130 | 	echo.Build finished; now you can run "qcollectiongenerator" with the ^
131 | .qhcp project file in %BUILDDIR%/qthelp, like this:
132 | 	echo.^> qcollectiongenerator %BUILDDIR%\qthelp\NGSDataAnalysisforPathogens.qhcp
133 | 	echo.To view the help file:
134 | 	echo.^> assistant -collectionFile %BUILDDIR%\qthelp\NGSDataAnalysisforPathogens.ghc
135 | 	goto end
136 | )
137 | 
138 | if "%1" == "devhelp" (
139 | 	%SPHINXBUILD% -b devhelp %ALLSPHINXOPTS% %BUILDDIR%/devhelp
140 | 	if errorlevel 1 exit /b 1
141 | 	echo.
142 | 	echo.Build finished.
143 | 	goto end
144 | )
145 | 
146 | if "%1" == "epub" (
147 | 	%SPHINXBUILD% -b epub %ALLSPHINXOPTS% %BUILDDIR%/epub
148 | 	if errorlevel 1 exit /b 1
149 | 	echo.
150 | 	echo.Build finished. The epub file is in %BUILDDIR%/epub.
151 | 	goto end
152 | )
153 | 
154 | if "%1" == "epub3" (
155 | 	%SPHINXBUILD% -b epub3 %ALLSPHINXOPTS% %BUILDDIR%/epub3
156 | 	if errorlevel 1 exit /b 1
157 | 	echo.
158 | 	echo.Build finished. The epub3 file is in %BUILDDIR%/epub3.
159 | 	goto end
160 | )
161 | 
162 | if "%1" == "latex" (
163 | 	%SPHINXBUILD% -b latex %ALLSPHINXOPTS% %BUILDDIR%/latex
164 | 	if errorlevel 1 exit /b 1
165 | 	echo.
166 | 	echo.Build finished; the LaTeX files are in %BUILDDIR%/latex.
167 | 	goto end
168 | )
169 | 
170 | if "%1" == "latexpdf" (
171 | 	%SPHINXBUILD% -b latex %ALLSPHINXOPTS% %BUILDDIR%/latex
172 | 	cd %BUILDDIR%/latex
173 | 	make all-pdf
174 | 	cd %~dp0
175 | 	echo.
176 | 	echo.Build finished; the PDF files are in %BUILDDIR%/latex.
177 | 	goto end
178 | )
179 | 
180 | if "%1" == "latexpdfja" (
181 | 	%SPHINXBUILD% -b latex %ALLSPHINXOPTS% %BUILDDIR%/latex
182 | 	cd %BUILDDIR%/latex
183 | 	make all-pdf-ja
184 | 	cd %~dp0
185 | 	echo.
186 | 	echo.Build finished; the PDF files are in %BUILDDIR%/latex.
187 | 	goto end
188 | )
189 | 
190 | if "%1" == "text" (
191 | 	%SPHINXBUILD% -b text %ALLSPHINXOPTS% %BUILDDIR%/text
192 | 	if errorlevel 1 exit /b 1
193 | 	echo.
194 | 	echo.Build finished. The text files are in %BUILDDIR%/text.
195 | 	goto end
196 | )
197 | 
198 | if "%1" == "man" (
199 | 	%SPHINXBUILD% -b man %ALLSPHINXOPTS% %BUILDDIR%/man
200 | 	if errorlevel 1 exit /b 1
201 | 	echo.
202 | 	echo.Build finished. The manual pages are in %BUILDDIR%/man.
203 | 	goto end
204 | )
205 | 
206 | if "%1" == "texinfo" (
207 | 	%SPHINXBUILD% -b texinfo %ALLSPHINXOPTS% %BUILDDIR%/texinfo
208 | 	if errorlevel 1 exit /b 1
209 | 	echo.
210 | 	echo.Build finished. The Texinfo files are in %BUILDDIR%/texinfo.
211 | 	goto end
212 | )
213 | 
214 | if "%1" == "gettext" (
215 | 	%SPHINXBUILD% -b gettext %I18NSPHINXOPTS% %BUILDDIR%/locale
216 | 	if errorlevel 1 exit /b 1
217 | 	echo.
218 | 	echo.Build finished. The message catalogs are in %BUILDDIR%/locale.
219 | 	goto end
220 | )
221 | 
222 | if "%1" == "changes" (
223 | 	%SPHINXBUILD% -b changes %ALLSPHINXOPTS% %BUILDDIR%/changes
224 | 	if errorlevel 1 exit /b 1
225 | 	echo.
226 | 	echo.The overview file is in %BUILDDIR%/changes.
227 | 	goto end
228 | )
229 | 
230 | if "%1" == "linkcheck" (
231 | 	%SPHINXBUILD% -b linkcheck %ALLSPHINXOPTS% %BUILDDIR%/linkcheck
232 | 	if errorlevel 1 exit /b 1
233 | 	echo.
234 | 	echo.Link check complete; look for any errors in the above output ^
235 | or in %BUILDDIR%/linkcheck/output.txt.
236 | 	goto end
237 | )
238 | 
239 | if "%1" == "doctest" (
240 | 	%SPHINXBUILD% -b doctest %ALLSPHINXOPTS% %BUILDDIR%/doctest
241 | 	if errorlevel 1 exit /b 1
242 | 	echo.
243 | 	echo.Testing of doctests in the sources finished, look at the ^
244 | results in %BUILDDIR%/doctest/output.txt.
245 | 	goto end
246 | )
247 | 
248 | if "%1" == "coverage" (
249 | 	%SPHINXBUILD% -b coverage %ALLSPHINXOPTS% %BUILDDIR%/coverage
250 | 	if errorlevel 1 exit /b 1
251 | 	echo.
252 | 	echo.Testing of coverage in the sources finished, look at the ^
253 | results in %BUILDDIR%/coverage/python.txt.
254 | 	goto end
255 | )
256 | 
257 | if "%1" == "xml" (
258 | 	%SPHINXBUILD% -b xml %ALLSPHINXOPTS% %BUILDDIR%/xml
259 | 	if errorlevel 1 exit /b 1
260 | 	echo.
261 | 	echo.Build finished. The XML files are in %BUILDDIR%/xml.
262 | 	goto end
263 | )
264 | 
265 | if "%1" == "pseudoxml" (
266 | 	%SPHINXBUILD% -b pseudoxml %ALLSPHINXOPTS% %BUILDDIR%/pseudoxml
267 | 	if errorlevel 1 exit /b 1
268 | 	echo.
269 | 	echo.Build finished. The pseudo-XML files are in %BUILDDIR%/pseudoxml.
270 | 	goto end
271 | )
272 | 
273 | if "%1" == "dummy" (
274 | 	%SPHINXBUILD% -b dummy %ALLSPHINXOPTS% %BUILDDIR%/dummy
275 | 	if errorlevel 1 exit /b 1
276 | 	echo.
277 | 	echo.Build finished. Dummy builder generates no files.
278 | 	goto end
279 | )
280 | 
281 | :end
282 | 


--------------------------------------------------------------------------------
/markdown/docs/01_anthrax_comparative_analysis.md:
--------------------------------------------------------------------------------
  1 | # 炭疽芽胞杆菌基因组 SNPs 分析
  2 | 
  3 | G20备战期间，单位要加强生物恐怖事件的防控能力。最著名的细菌性生物恐怖战剂就是含有炭疽芽胞杆菌的白色粉末。由于日常工作中无法接触到这些病原，因此在经验和技能方面都只能处于理论状态（即使实战一般也是由军科院等机构出面）。但是为了能力建设，应对万一发生的疑似事件，在基因组数据分析的技术方面还是可以做好准备。构建相应的分析流程，在获得菌株基因组数据后可以第一时间就进行溯源方面的研究。从而在这准备工作的过程中形成了此文档。主要目的也是为了抛砖引玉，做到举一反三，给其他细菌性病原微生物基因组溯源分析时提供参考。
  4 | 
  5 | 软件中使用的一些参数是根据自己的服务器设置的，具体运行时需要根据计算机配置进行相应的调整。我们服务器的配置如下：
  6 | 
  7 | * CPU: E3 2650v3 x2
  8 | * Memory: ECC 16G x8
  9 | * Harddisk: 7200转 1T x4 组 Raid 5 + 1 Hotspare
 10 | * System: Ubuntu 16.04 LTS 64bit
 11 | 
 12 | ## 1. 获取公共数据库数据
 13 | 
 14 | 手中没有炭疽芽胞杆菌的资源，自己没有办法做测序的前提下，我们只能通过下载 NCBI SRA 数据库中他人提交的基因组测序数据来作分析。
 15 | 
 16 | 首先检索 NCBI SRA 数据库中所有使用 illumina 平台对炭疽芽胞杆菌基因组进行 PE 测序的 大于 100M 的 NGS 数据，并在下载这些 sra 数据后转换成 fastq.gz 格式。使用的工具主要为 `edirect` 和 `sra-tools`。
 17 | 
 18 | ```bash
 19 | $ esearch -db sra -query '"Bacillus anthracis"[Organism] AND \
 20 | > (Hiseq[ALL] OR Miseq[ALL]) AND "strategy wgs"[Properties]' | \
 21 | > efetch -db sra -format runinfo | grep 'PAIRED' | grep '^[DSE]RR*' | \
 22 | > awk -F',' '{if($5>100000000) print $1}' | sort -n | \
 23 | > xargs fastq-dump --split-files --gzip --outdir bacillus_anthracis
 24 | ```
 25 | 
 26 | 虽然我们检索时限定了 PE 测序数据，但是很多时候数据库里的信息不准确，还是会有很多 SE 的数据会被下载。确定 PE 或者 SE 的方法很多。
 27 | 
 28 | ```bash
 29 | # sra-stat 统计 sra 文件，nreads=1 表示 SE 测序，nreads=2 表示 PE 测序。程序统计整个文件，速度比较慢
 30 | $ sra-stat -xs *.sra | grep "nreads"
 31 | # 批量删除
 32 | $ parallel 'sra-stat -xs' ::: *.sra | xtract -Pattern Run -element Run@accession \
 33 | > Statistics@nreads | awk '{if($2==1) print $1}' | xargs rm
 34 | 
 35 | # fastq-dump 输出一个 reads，计算行数如果是4，那么就是 SE，如果是8,则是 PE
 36 | $ fastq-dump -X 1 --split-spot -Z SRR955386.sra | wc -l
 37 | 
 38 | # fastq-dump 自己判断，当 sra 文件是 SE 测序时，fastq-dump 只能生成1个 *_1.fastq 文件
 39 | $ fastq-dump --split-files ERR493452.sra
 40 | 
 41 | # fastq-dump 只能调用单核转换，可以使用 parallel 工具并行处理加快速度。
 42 | $ parallel "fastq-dump --split-files --gzip --outdir bacillus_anthracis" ::: *.sra
 43 | ```
 44 | 
 45 | 有时候有些sra文件在 dump 时会出错，不能生成对应的 PE fastq 文件，这就需要比较后删除了。如果是 mate pair 的数据，会生成 `*_3.fastq.gz`，如果不需要则可手工删除。
 46 | 
 47 | ```bash
 48 | # 核对 PE 双端测序文件是否一致
 49 | $ ls -l *_1.fastq.gz | awk '{print $9}' | awk -F'_' '{print $1}' > R1.txt
 50 | $ ls -l *_2.fastq.gz | awk '{print $9}' | awk -F'_' '{print $1}' > R2.txt
 51 | $ diff R1.txt R2.txt
 52 | # diff 如果2个文件内容一致，则终端不会有输出。否则就要删除文件
 53 | ```
 54 | 
 55 | ## 2. 数据的前期处理
 56 | 
 57 | 由于是公共数据库下载的数据，并不能保证测序实验质量或者数据提交者是否提交的是质控后的数据。因此建议要对数据做一些前期的质控处理。
 58 | 
 59 | ### 2.1 数据 QC
 60 | 
 61 | 首先对基因组 GC 含量和 Q 值进行初步筛选，对于偏差较大的数据考虑直接剔除（或者用其他软件验证看是否是错误物种）。这里使用的工具为 `bioawk` 或 `parallel`。
 62 | 
 63 | ```bash
 64 | # 因为 reads 覆盖度可能并不均一，高覆盖度的区域 GC 含量比重会略高。但是大部分情况下，正常测序的基因组这种区域相对来说不多，平均到基因组后会整体 GC 含量影响不大。
 65 | $ for i in *.fastq.gz; do bioawk -c fastx 'BEGIN{n=0;q=0}{n+=gc($seq);q+=meanqual($seq)}END{print $name,n/NR,q/NR}' $i >> result.txt; done
 66 | # awk 类工具是单进程的，为了加速可以使用 parallel 来并行计算
 67 | $ parallel "bioawk -c fastx 'BEGIN{n=0;q=0}{n+=gc(\$seq);q+=meanqual(\$seq)}END{print \$name,n/NR,q/NR}' >> result.txt" ::: *.fastq.gz
 68 | # 按照 GC 含量排序
 69 | $ cat result.txt | sort -n -k3
 70 | ```
 71 | 
 72 | R 绘制 gc 分布图，如果 gc 含量偏差超过 10% 时就剔除该基因组数据。
 73 | 
 74 | ```r
 75 | > library(ggplot2)
 76 | > data<-read.table("result.txt")
 77 | > qplot(v2, v3, data=data)
 78 | ```
 79 | 
 80 | 结果显示有一个黑点的GC含量特别低，且Q值特别高。结果显示测序实验 SRR2155551 和 SRR2164197 的 GC 含量仅为22%，而其他样本 GC 含量范围在34%～41%。且这2个实验的样本均为同一个，是1个样本的2此测序（或者数据上传了2次），因此将其剔除。
 81 | 
 82 | ### 2.2 去除接头
 83 | 
 84 | 其次要去除接头的污染。因为分析流程中不仅包括 mapping 的方式，还包含 de novo assembly，为了避免接头序列对基因组拼接的影响，这里最好进行。这里使用的工具是 `FastQC` 和 `fadapa`
 85 | 
 86 | ```bash
 87 | # 使用脚本 scan_adaptors.py 来扫描下载的高通量基因组测序数据是否有接头污染的情况。
 88 | $ fastqc -t 40 -q --extract *.fastq.gz
 89 | $ python scan_fastqc_report.py -d qc
 90 | ```
 91 | 
 92 | ```python
 93 | #!usr/bin/env python
 94 | # -*- coding: utf-8 -*-
 95 | # scripts name: scan_fastqc_report.py
 96 | import os
 97 | from Bio.Seq import Seq
 98 | from Bio import SeqIO
 99 | from Bio.SeqRecord import SeqRecord
100 | from Bio.Alphabet import generic_nucleotide
101 | from fadapa import Fadapa
102 | import argparse
103 | 
104 | parser = argparse.ArgumentParser()
105 | parser.add_argument('-i', '--input', action='store', dest='qcfile', type=str, help="fastqc extract data file")
106 | parser.add_argument('-o', '--output', action='store', dest='adaptor', type=str, help="adaptors file")
107 | args = parser.parse_args()
108 | qc_file = Fadapa(args.qcfile)
109 | 
110 | if qc_file.summary()[-3][0] == 'fail':
111 |     adaptors = []
112 |     ors = qc_file.clean_data("Overrepresented sequences")
113 |     ors.pop(0)
114 | 
115 |     for (index, seq) in enumerate(ors):
116 |         if 'NNNNNN' in seq[0]:
117 |             continue
118 |         adaptors.append(SeqRecord(Seq(seq[0], generic_nucleotide), id="adaptor_%d" % (index+1)))
119 | 
120 |     if not os.path.exists(args.adaptor):
121 |         os.makedirs(args.adaptor)
122 |     SeqIO.write(adaptors, "%s/adaptor.fasta" % args.adaptor, "fasta")
123 |     print "Overrepresented sequences has been save to adaptors.fasta"
124 | else:
125 |     print "No Overrepresented sequences"
126 | ```
127 | 
128 | 
129 | ## 3. Pangenome 分析
130 | 
131 | ### 3.1 基因组组装
132 | 
133 | ### 3.2 基因组注释
134 | 
135 | ### 3.3 Roary & Phandango
136 | 
137 | ### 3.4 Harvest
138 | 
139 | ```bash
140 | 
141 | ```
142 | 
143 | 
144 | ## 3. SNPs 构建进化树
145 | 
146 | ### 3.1 用 Snippy 获得 snps
147 | 
148 | ```bash
149 | $ for i in *.fastq.gz | sort | uniq; \
150 | > do snippy --cpus 20 --outdir $i -ref reference.fa \
151 | > --R1 $i*_1*.fastq.gz --R2 $i*_2*.fastq.gz; done
152 | $ snippy-core --prefix core-snps SRR* DRR* ERR*
153 | ```
154 | 
155 | ### 3.2 用 RAxML 构建进化树
156 | 
157 | ```bash
158 | $ raxml -f a -x 12345 -p 12345 -# 100 -m GTRGAMMA -s core-snps.aln -n ex -T 40
159 | ```
160 | 
161 | ### 3.3 用 Figtree 绘制进化树
162 | 
163 | ```bash
164 | $ scp user@server-ip:/path/RAxML_bestTree.ex .
165 | $ figtree RAxML_bestTree.ex &
166 | ```
167 | 
168 | ## 4. 基因组组装
169 | 
170 | ```bash
171 | 
172 | ```
173 | 
174 | ## 5. Pangenome 分析
175 | 
176 | 
177 | 
178 | ##
179 | 
180 | 
181 | 
182 | ### 相关软件安装
183 | 
184 | **edirect**
185 | 
186 | ```bash
187 | $ wget ftp://ftp.ncbi.nlm.nih.gov/entrez/entrezdirect/edirect.tar.gz
188 | $ sudo tar zxf edirect.tar.gz -C /opt
189 | $ sudo chown -R root:root /opt/edirect
190 | $ cd /opt/edirect && sudo ./setup.sh
191 | $ sudo ln -s /opt/edirect/* /usr/local/sbin/
192 | ```
193 | 
194 | **sra-tools**
195 | 
196 | ```bash
197 | $ wget http://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/2.7.0/sratoolkit.2.7.0-ubuntu64.tar.gz
198 | $ sudo tar zxf sratoolkit.2.7.0-ubuntu64.tar.gz -C /opt/sratoolkit
199 | $ sudo chown -R root:root /opt/sratoolkit && cd /opt/sratoolkit
200 | $ sudo ln -s `pwd`/bin/* /usr/local/sbin/
201 | ```
202 | 
203 | **bio-awk**
204 | 
205 | ```bash
206 | $ sudo apt-get install bison
207 | $ git clone https://github.com/lh3/bioawk
208 | $ cd bioawk && make
209 | $ sudo cp bioawk /usr/local/sbin
210 | ```
211 | 
212 | **parallel**
213 | 
214 | ```bash
215 | $ sudo apt install parallel
216 | ```
217 | 
218 | **gplot**
219 | 
220 | ```bash
221 | $ sudo apt install gnuplot
222 | $ git clone https://github.com/RhysU/gplot
223 | $ sudo cp gplot/gplot /usr/local/sbin
224 | ```
225 | 
226 | **FastQC**
227 | 
228 | ```bash
229 | $ wget http://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip
230 | $ sudo unzip fastqc_v0.11.5.zip
231 | $ sudo mv fastqc_v0.11.5 /opt/fastqc && sudo chown -R root:root /opt/fastqc
232 | $ sudo cp /opt/fastqc/fastqc /usr/local/sbin
233 | ```
234 | 
235 | **Fadapa**
236 | 
237 | ```bash
238 | $ sudo pip install fadapa
239 | ```
240 | 
241 | **snippy**
242 | 
243 | ```bash
244 | $ git clone https://github.com/tseemann/snippy
245 | $ sudo cp snippy/bin/* /usr/local/sbin
246 | $ sudo cp snippy/binaries/linux/* /usr/local/sbin
247 | ```
248 | 
249 | **RAxML**
250 | 
251 | ```bash
252 | $ wget https://github.com/stamatak/standard-RAxML/archive/v8.1.17.tar.gz
253 | $ sudo tar zxf v8.1.17.tar.gz -C /opt/raxml
254 | $ sudo chown -R root:root /opt/raxml && cd /opt/raxml
255 | $ sudo make -f Makefile.SSE3.PTHREADS.gcc
256 | $ sudo ln -s `pwd`/raxmlHPC-PTHREADS-SSE3 /usr/local/raxml
257 | ```
258 | 
259 | ### Reference
260 | 
261 | 1. edirect help book: http://www.ncbi.nlm.nih.gov/books/NBK179288/
262 | 2. sra-tools wiki: https://github.com/ncbi/sra-tools/wiki
263 | 3. parallel tutorial: https://www.biostars.org/p/63816/
264 | 4. gnuplot tutorial: http://lzz5235.github.io/2016/01/12/gnuplot.html
265 | 5. gplot usage: https://github.com/RhysU/gplot/blob/master/README.md
266 | 


--------------------------------------------------------------------------------
/markdown/docs/index.md:
--------------------------------------------------------------------------------
 1 | # Welcome to MkDocs
 2 | 
 3 | For full documentation visit [mkdocs.org](http://mkdocs.org).
 4 | 
 5 | ## Commands
 6 | 
 7 | * `mkdocs new [dir-name]` - Create a new project.
 8 | * `mkdocs serve` - Start the live-reloading docs server.
 9 | * `mkdocs build` - Build the documentation site.
10 | * `mkdocs help` - Print this help message.
11 | 
12 | ## Project layout
13 | 
14 |     mkdocs.yml    # The configuration file.
15 |     docs/
16 |         index.md  # The documentation homepage.
17 |         ...       # Other markdown pages, images and other files.
18 | 


--------------------------------------------------------------------------------
/markdown/mkdocs.yml:
--------------------------------------------------------------------------------
1 | site_name: 病原微生物基因组NGS数据分析
2 | pages:
3 | - Home: index.md
4 | - Blog: 01_anthrax_comparative_analysis.md
5 | theme: 'cinder'
6 | 


--------------------------------------------------------------------------------
/markdown/site/404.html:
--------------------------------------------------------------------------------
  1 | <!DOCTYPE html>
  2 | <html lang="en">
  3 | 
  4 | <head>
  5 |     <meta charset="utf-8">
  6 |     <meta http-equiv="X-UA-Compatible" content="IE=edge">
  7 |     <meta name="viewport" content="width=device-width, initial-scale=1.0">   
  8 |     <link rel="shortcut icon" href="/img/favicon.ico">
  9 | 
 10 |     <title>病原微生物基因组NGS数据分析</title>
 11 | 
 12 |     <link href="/css/bootstrap-custom.min.css" rel="stylesheet">
 13 |     <link href="//maxcdn.bootstrapcdn.com/font-awesome/4.4.0/css/font-awesome.min.css" rel="stylesheet">
 14 |     <link rel="stylesheet" href="//cdn.jsdelivr.net/font-hack/2.018/css/hack.min.css">
 15 |     <link href='//fonts.googleapis.com/css?family=PT+Sans:400,400italic,700,700italic&subset=latin-ext,latin' rel='stylesheet' type='text/css'>
 16 |     <link href='//fonts.googleapis.com/css?family=Open+Sans:300italic,400italic,700italic,400,300,600,700&subset=latin-ext,latin' rel='stylesheet' type='text/css'>
 17 |     <link href="/css/base.css" rel="stylesheet">
 18 |     <link href="/css/cinder.css" rel="stylesheet">
 19 |     <link rel="stylesheet" href="/css/highlight.css">
 20 | 
 21 |     <!-- HTML5 shim and Respond.js IE8 support of HTML5 elements and media queries -->
 22 |     <!--[if lt IE 9]>
 23 |             <script src="https://oss.maxcdn.com/libs/html5shiv/3.7.0/html5shiv.js"></script>
 24 |             <script src="https://oss.maxcdn.com/libs/respond.js/1.3.0/respond.min.js"></script>
 25 |         <![endif]-->
 26 | 
 27 |     <script src="https://ajax.googleapis.com/ajax/libs/webfont/1.5.18/webfont.js"></script>
 28 |     <script>
 29 |     WebFont.load({
 30 |         google: {
 31 |             families: ['Open Sans', 'PT Sans']
 32 |         }
 33 |     });
 34 |     </script>
 35 | 
 36 |     
 37 | </head>
 38 | 
 39 | <body>
 40 | 
 41 |     <div class="navbar navbar-default navbar-fixed-top" role="navigation">
 42 |     <div class="container">
 43 | 
 44 |         <!-- Collapsed navigation -->
 45 |         <div class="navbar-header">
 46 |             
 47 |             <!-- Expander button -->
 48 |             <button type="button" class="navbar-toggle" data-toggle="collapse" data-target=".navbar-collapse">
 49 |                 <span class="sr-only">Toggle navigation</span>
 50 |                 <span class="icon-bar"></span>
 51 |                 <span class="icon-bar"></span>
 52 |                 <span class="icon-bar"></span>
 53 |             </button>
 54 |             
 55 | 
 56 |             <!-- Main title -->
 57 |             <a class="navbar-brand" href="">病原微生物基因组NGS数据分析</a>
 58 |         </div>
 59 | 
 60 |         <!-- Expanded navigation -->
 61 |         <div class="navbar-collapse collapse">
 62 |             
 63 |                 <!-- Main navigation -->
 64 |                 <ul class="nav navbar-nav">
 65 |                 
 66 |                 
 67 |                     <li >
 68 |                         <a href="">Home</a>
 69 |                     </li>
 70 |                 
 71 |                 
 72 |                 
 73 |                     <li >
 74 |                         <a href="/01_anthrax_comparative_analysis">Blog</a>
 75 |                     </li>
 76 |                 
 77 |                 
 78 |                 </ul>
 79 |             
 80 | 
 81 |             <ul class="nav navbar-nav navbar-right">
 82 |                 <li>
 83 |                     <a href="#" data-toggle="modal" data-target="#mkdocs_search_modal">
 84 |                         <i class="fa fa-search"></i> Search
 85 |                     </a>
 86 |                 </li>
 87 |                 
 88 |                     <li class="disabled">
 89 |                         <a rel="next" >
 90 |                             <i class="fa fa-arrow-left"></i> Previous
 91 |                         </a>
 92 |                     </li>
 93 |                     <li class="disabled">
 94 |                         <a rel="prev" >
 95 |                             Next <i class="fa fa-arrow-right"></i>
 96 |                         </a>
 97 |                     </li>
 98 |                 
 99 |                 
100 |             </ul>
101 |         </div>
102 |     </div>
103 | </div>
104 | 
105 |     <div class="container">
106 |         
107 | 
108 |     <div class="row-fluid">
109 |       <div id="main-content" class="span12">
110 |         <h1 id="404-page-not-found" style="text-align: center">404</h1>
111 |         <p style="text-align: center"><strong>Page not found</strong></p>
112 |         <p style="text-align: center"><a href="">Home</a></p>
113 |       </div>
114 |     </div>
115 | 
116 | 
117 |     </div>
118 | 
119 |     <footer class="col-md-12 text-center">
120 |         <hr>
121 |         <p>
122 |         <small>Documentation built with <a href="http://www.mkdocs.org/">MkDocs</a>.</p></small>
123 |     </footer>
124 | 
125 |     <script src="/js/jquery-1.10.2.min.js"></script>
126 |     <script src="/js/bootstrap-3.0.3.min.js"></script>
127 |     <script src="/js/highlight.pack.js"></script>
128 |     <script>hljs.initHighlightingOnLoad();</script>
129 |     <script>
130 |     var base_url = '';
131 |     </script>
132 |     <script data-main="/mkdocs/js/search.js" src="/mkdocs/js/require.js"></script>
133 |     <script src="/js/base.js"></script>
134 | 
135 |     <div class="modal" id="mkdocs_search_modal" tabindex="-1" role="dialog" aria-labelledby="Search Modal" aria-hidden="true">
136 |         <div class="modal-dialog">
137 |             <div class="modal-content">
138 |                 <div class="modal-header">
139 |                     <button type="button" class="close" data-dismiss="modal">
140 |                         <span aria-hidden="true">&times;</span>
141 |                         <span class="sr-only">Close</span>
142 |                     </button>
143 |                     <h4 class="modal-title" id="exampleModalLabel">Search</h4>
144 |                 </div>
145 |                 <div class="modal-body">
146 |                     <p>
147 |                         From here you can search these documents. Enter your search terms below.
148 |                     </p>
149 |                     <form role="form">
150 |                         <div class="form-group">
151 |                             <input type="text" class="form-control" placeholder="Search..." id="mkdocs-search-query">
152 |                         </div>
153 |                     </form>
154 |                     <div id="mkdocs-search-results"></div>
155 |                 </div>
156 |                 <div class="modal-footer">
157 |                 </div>
158 |             </div>
159 |         </div>
160 |     </div>
161 | 
162 |     </body>
163 | 
164 | </html>
165 | 


--------------------------------------------------------------------------------
/markdown/site/css/base.css:
--------------------------------------------------------------------------------
  1 | body {
  2 |     padding-top: 70px;
  3 | }
  4 | 
  5 | h1[id]:before, h2[id]:before, h3[id]:before, h4[id]:before, h5[id]:before, h6[id]:before {
  6 |     content: "";
  7 |     display: block;
  8 |     margin-top: -75px;
  9 |     height: 75px;
 10 | }
 11 | 
 12 | ul.nav li.first-level {
 13 |     font-weight: bold;
 14 | }
 15 | 
 16 | ul.nav li.third-level {
 17 |     padding-left: 12px;
 18 | }
 19 | 
 20 | div.col-md-3 {
 21 |     padding-left: 0;
 22 | }
 23 | 
 24 | div.col-md-9 {
 25 |     padding-bottom: 100px;
 26 | }
 27 | 
 28 | div.source-links {
 29 |     float: right;
 30 | }
 31 | 
 32 | /*
 33 |  * Side navigation
 34 |  *
 35 |  * Scrollspy and affixed enhanced navigation to highlight sections and secondary
 36 |  * sections of docs content.
 37 |  */
 38 | 
 39 | /* By default it's not affixed in mobile views, so undo that */
 40 | .bs-sidebar.affix {
 41 |     position: static;
 42 | }
 43 | 
 44 | .bs-sidebar.well {
 45 |     padding: 0;
 46 | }
 47 | 
 48 | /* First level of nav */
 49 | .bs-sidenav {
 50 |     margin-top: 30px;
 51 |     margin-bottom: 30px;
 52 |     padding-top:    10px;
 53 |     padding-bottom: 10px;
 54 |     border-radius: 5px;
 55 | }
 56 | 
 57 | /* All levels of nav */
 58 | .bs-sidebar .nav > li > a {
 59 |     display: block;
 60 |     padding: 5px 20px;
 61 |     z-index: 1;
 62 | }
 63 | .bs-sidebar .nav > li > a:hover,
 64 | .bs-sidebar .nav > li > a:focus {
 65 |     text-decoration: none;
 66 |     border-right: 1px solid;
 67 | }
 68 | .bs-sidebar .nav > .active > a,
 69 | .bs-sidebar .nav > .active:hover > a,
 70 | .bs-sidebar .nav > .active:focus > a {
 71 |     font-weight: bold;
 72 |     background-color: transparent;
 73 |     border-right: 1px solid;
 74 | }
 75 | 
 76 | /* Nav: second level (shown on .active) */
 77 | .bs-sidebar .nav .nav {
 78 |     display: none; /* Hide by default, but at >768px, show it */
 79 |     margin-bottom: 8px;
 80 | }
 81 | .bs-sidebar .nav .nav > li > a {
 82 |     padding-top:    3px;
 83 |     padding-bottom: 3px;
 84 |     padding-left: 30px;
 85 |     font-size: 90%;
 86 | }
 87 | 
 88 | /* Show and affix the side nav when space allows it */
 89 | @media (min-width: 992px) {
 90 |     .bs-sidebar .nav > .active > ul {
 91 |         display: block;
 92 |     }
 93 |     /* Widen the fixed sidebar */
 94 |     .bs-sidebar.affix,
 95 |     .bs-sidebar.affix-bottom {
 96 |         width: 213px;
 97 |     }
 98 |     .bs-sidebar.affix {
 99 |         position: fixed; /* Undo the static from mobile first approach */
100 |         top: 80px;
101 |     }
102 |     .bs-sidebar.affix-bottom {
103 |         position: absolute; /* Undo the static from mobile first approach */
104 |     }
105 |     .bs-sidebar.affix-bottom .bs-sidenav,
106 |     .bs-sidebar.affix .bs-sidenav {
107 |         margin-top: 0;
108 |         margin-bottom: 0;
109 |     }
110 | }
111 | @media (min-width: 1200px) {
112 |     /* Widen the fixed sidebar again */
113 |     .bs-sidebar.affix-bottom,
114 |     .bs-sidebar.affix {
115 |         width: 263px;
116 |     }
117 | }
118 | 
119 | 
120 | /* Added to support >2 level nav in drop down */
121 | 
122 | .dropdown-submenu {
123 |     position: relative;
124 | }
125 | 
126 | .dropdown-submenu>.dropdown-menu {
127 |     top: 0;
128 |     left: 100%;
129 |     margin-top: 0px;
130 |     margin-left: 0px;
131 |     -webkit-border-radius: 0 6px 6px 6px;
132 |     -moz-border-radius: 0 6px 6px;
133 |     border-radius: 0 6px 6px 6px;
134 | }
135 | 
136 | .dropdown-submenu:hover>.dropdown-menu {
137 |     display: block;
138 | }
139 | 
140 | .dropdown-submenu>a:after {
141 |     display: block;
142 |     content: " ";
143 |     float: right;
144 |     width: 0;
145 |     height: 0;
146 |     border-color: transparent;
147 |     border-style: solid;
148 |     border-width: 5px 0 5px 5px;
149 |     border-left-color: #ccc;
150 |     margin-top: 5px;
151 |     margin-right: -10px;
152 | }
153 | 
154 | .dropdown-submenu:hover>a:after {
155 |     border-left-color: #fff;
156 | }
157 | 
158 | .dropdown-submenu.pull-left {
159 |     float: none;
160 | }
161 | 
162 | .dropdown-submenu.pull-left>.dropdown-menu {
163 |     left: -100%;
164 |     margin-left: 00px;
165 |     -webkit-border-radius: 6px 0 6px 6px;
166 |     -moz-border-radius: 6px 0 6px 6px;
167 |     border-radius: 6px 0 6px 6px;
168 | }
169 | 


--------------------------------------------------------------------------------
/markdown/site/css/cinder.css:
--------------------------------------------------------------------------------
 1 | /*
 2 |   Cinder Theme for MkDocs | Copyright 2015 Christopher Simpkins | MIT License
 3 | */
 4 | 
 5 | body {
 6 |     font-family:"Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
 7 |     font-size: 16px;
 8 |     line-height: 1.7;
 9 |     background-color: #FFF;
10 |     color: #343838;
11 | }
12 | h1, h2, h3, h4, h5, h6 {
13 |     font-family:'PT Sans', 'Helvetica Neue', Helvetica, Arial, sans-serif;
14 |     color: #222;
15 | }
16 | h1 small, h2 small, h3 small, h4 small, h5 small, h6 small, .h1 small, .h2 small, .h3 small, .h4 small, .h5 small, .h6 small, h1 .small, h2 .small, h3 .small, h4 .small, h5 .small, h6 .small, .h1 .small, .h2 .small, .h3 .small, .h4 .small, .h5 .small, .h6 .small {
17 |     color: #B1B7B9;
18 | }
19 | h1, h2 {
20 |     font-weight: 700;
21 | }
22 | h4 {
23 |     font-family: 'Open Sans', 'Helvetica Neue', Helvetica, Arial, sans-serif;
24 |     font-weight: 300;
25 |     margin-top: 20px;
26 |     font-style: italic;
27 | }
28 | h5 {
29 |     font-family: 'Open Sans', 'Helvetica Neue', Helvetica, Arial, sans-serif;
30 |     font-weight: 300;
31 |     font-variant: small-caps;
32 | }
33 | pre, code {
34 |     background-color: #FCFDFF;
35 | }
36 | pre>code {
37 |     font-size: 13px;
38 | }
39 | pre {
40 |     margin-top: 25px;
41 |     margin-bottom: 25px;
42 | }
43 | .lead {
44 |     font-family:"Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
45 |     font-weight: 400;
46 |     line-height: 1.4;
47 |     letter-spacing: 0.0312em;
48 |     color: #B1B7B9;
49 | }
50 | .navbar-default {
51 |     background-color: #343838;
52 |     border-bottom: 8px #EBF2F2 solid;
53 | }
54 | .bs-sidenav {
55 |     background-image: url("../img/grid11.png");
56 |     background-repeat: repeat;
57 |     font-size: 12px;
58 | }
59 | .well {
60 |     background-color: #FCFDFF;
61 | }
62 | .btn-default {
63 |     background-color:#FCFDFF;
64 | }
65 | .table-striped > tbody > tr:nth-child(2n+1) > td, .table-striped > tbody > tr:nth-child(2n+1) > th {
66 |     background-color: #FCFDFF;
67 | }
68 | #mkdocs-search-query:focus {
69 |     outline: none;
70 |     -webkit-box-shadow: none;
71 |     box-shadow: none;
72 | }
73 | #mkdocs-search-query {
74 |     font-family:"Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
75 |     font-size: 20px;
76 |     font-weight: 700;
77 |     color: #343838;
78 |     height: 45px;
79 | }
80 | footer > hr {
81 |     width: 35%;
82 | }
83 | 


--------------------------------------------------------------------------------
/markdown/site/css/highlight.css:
--------------------------------------------------------------------------------
  1 | /*
  2 | This is the GitHub theme for highlight.js
  3 | 
  4 | github.com style (c) Vasily Polovnyov <vast@whiteants.net>
  5 | 
  6 | */
  7 | 
  8 | .hljs {
  9 |   display: block;
 10 |   overflow-x: auto;
 11 |   padding: 0.5em;
 12 |   color: #333;
 13 |   -webkit-text-size-adjust: none;
 14 | }
 15 | 
 16 | .hljs-comment,
 17 | .diff .hljs-header,
 18 | .hljs-javadoc {
 19 |   color: #998;
 20 |   font-style: italic;
 21 | }
 22 | 
 23 | .hljs-keyword,
 24 | .css .rule .hljs-keyword,
 25 | .hljs-winutils,
 26 | .nginx .hljs-title,
 27 | .hljs-subst,
 28 | .hljs-request,
 29 | .hljs-status {
 30 |   color: #333;
 31 |   font-weight: bold;
 32 | }
 33 | 
 34 | .hljs-number,
 35 | .hljs-hexcolor,
 36 | .ruby .hljs-constant {
 37 |   color: #008080;
 38 | }
 39 | 
 40 | .hljs-string,
 41 | .hljs-tag .hljs-value,
 42 | .hljs-phpdoc,
 43 | .hljs-dartdoc,
 44 | .tex .hljs-formula {
 45 |   color: #d14;
 46 | }
 47 | 
 48 | .hljs-title,
 49 | .hljs-id,
 50 | .scss .hljs-preprocessor {
 51 |   color: #900;
 52 |   font-weight: bold;
 53 | }
 54 | 
 55 | .hljs-list .hljs-keyword,
 56 | .hljs-subst {
 57 |   font-weight: normal;
 58 | }
 59 | 
 60 | .hljs-class .hljs-title,
 61 | .hljs-type,
 62 | .vhdl .hljs-literal,
 63 | .tex .hljs-command {
 64 |   color: #458;
 65 |   font-weight: bold;
 66 | }
 67 | 
 68 | .hljs-tag,
 69 | .hljs-tag .hljs-title,
 70 | .hljs-rule .hljs-property,
 71 | .django .hljs-tag .hljs-keyword {
 72 |   color: #000080;
 73 |   font-weight: normal;
 74 | }
 75 | 
 76 | .hljs-attribute,
 77 | .hljs-variable,
 78 | .lisp .hljs-body,
 79 | .hljs-name {
 80 |   color: #008080;
 81 | }
 82 | 
 83 | .hljs-regexp {
 84 |   color: #009926;
 85 | }
 86 | 
 87 | .hljs-symbol,
 88 | .ruby .hljs-symbol .hljs-string,
 89 | .lisp .hljs-keyword,
 90 | .clojure .hljs-keyword,
 91 | .scheme .hljs-keyword,
 92 | .tex .hljs-special,
 93 | .hljs-prompt {
 94 |   color: #990073;
 95 | }
 96 | 
 97 | .hljs-built_in {
 98 |   color: #0086b3;
 99 | }
100 | 
101 | .hljs-preprocessor,
102 | .hljs-pragma,
103 | .hljs-pi,
104 | .hljs-doctype,
105 | .hljs-shebang,
106 | .hljs-cdata {
107 |   color: #999;
108 |   font-weight: bold;
109 | }
110 | 
111 | .hljs-deletion {
112 |   background: #fdd;
113 | }
114 | 
115 | .hljs-addition {
116 |   background: #dfd;
117 | }
118 | 
119 | .diff .hljs-change {
120 |   background: #0086b3;
121 | }
122 | 
123 | .hljs-chunk {
124 |   color: #aaa;
125 | }
126 | 


--------------------------------------------------------------------------------
/markdown/site/fonts/fontawesome-webfont.eot:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/fonts/fontawesome-webfont.eot


--------------------------------------------------------------------------------
/markdown/site/fonts/fontawesome-webfont.ttf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/fonts/fontawesome-webfont.ttf


--------------------------------------------------------------------------------
/markdown/site/fonts/fontawesome-webfont.woff:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/fonts/fontawesome-webfont.woff


--------------------------------------------------------------------------------
/markdown/site/img/favicon.ico:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/favicon.ico


--------------------------------------------------------------------------------
/markdown/site/img/grid1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid1.png


--------------------------------------------------------------------------------
/markdown/site/img/grid10.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid10.png


--------------------------------------------------------------------------------
/markdown/site/img/grid11.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid11.png


--------------------------------------------------------------------------------
/markdown/site/img/grid12.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid12.png


--------------------------------------------------------------------------------
/markdown/site/img/grid13.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid13.png


--------------------------------------------------------------------------------
/markdown/site/img/grid14.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid14.png


--------------------------------------------------------------------------------
/markdown/site/img/grid15.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid15.png


--------------------------------------------------------------------------------
/markdown/site/img/grid16.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid16.png


--------------------------------------------------------------------------------
/markdown/site/img/grid17.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid17.png


--------------------------------------------------------------------------------
/markdown/site/img/grid18.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid18.png


--------------------------------------------------------------------------------
/markdown/site/img/grid19.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid19.png


--------------------------------------------------------------------------------
/markdown/site/img/grid2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid2.png


--------------------------------------------------------------------------------
/markdown/site/img/grid20.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid20.png


--------------------------------------------------------------------------------
/markdown/site/img/grid3.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid3.png


--------------------------------------------------------------------------------
/markdown/site/img/grid4.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid4.png


--------------------------------------------------------------------------------
/markdown/site/img/grid5.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid5.png


--------------------------------------------------------------------------------
/markdown/site/img/grid6.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid6.png


--------------------------------------------------------------------------------
/markdown/site/img/grid7.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid7.png


--------------------------------------------------------------------------------
/markdown/site/img/grid8.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid8.png


--------------------------------------------------------------------------------
/markdown/site/img/grid9.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/markdown/site/img/grid9.png


--------------------------------------------------------------------------------
/markdown/site/index.html:
--------------------------------------------------------------------------------
  1 | <!DOCTYPE html>
  2 | <html lang="en">
  3 | 
  4 | <head>
  5 |     <meta charset="utf-8">
  6 |     <meta http-equiv="X-UA-Compatible" content="IE=edge">
  7 |     <meta name="viewport" content="width=device-width, initial-scale=1.0">   
  8 |     <link rel="shortcut icon" href="./img/favicon.ico">
  9 | 
 10 |     <title>病原微生物基因组NGS数据分析</title>
 11 | 
 12 |     <link href="./css/bootstrap-custom.min.css" rel="stylesheet">
 13 |     <link href="//maxcdn.bootstrapcdn.com/font-awesome/4.4.0/css/font-awesome.min.css" rel="stylesheet">
 14 |     <link rel="stylesheet" href="//cdn.jsdelivr.net/font-hack/2.018/css/hack.min.css">
 15 |     <link href='//fonts.googleapis.com/css?family=PT+Sans:400,400italic,700,700italic&subset=latin-ext,latin' rel='stylesheet' type='text/css'>
 16 |     <link href='//fonts.googleapis.com/css?family=Open+Sans:300italic,400italic,700italic,400,300,600,700&subset=latin-ext,latin' rel='stylesheet' type='text/css'>
 17 |     <link href="./css/base.css" rel="stylesheet">
 18 |     <link href="./css/cinder.css" rel="stylesheet">
 19 |     <link rel="stylesheet" href="./css/highlight.css">
 20 | 
 21 |     <!-- HTML5 shim and Respond.js IE8 support of HTML5 elements and media queries -->
 22 |     <!--[if lt IE 9]>
 23 |             <script src="https://oss.maxcdn.com/libs/html5shiv/3.7.0/html5shiv.js"></script>
 24 |             <script src="https://oss.maxcdn.com/libs/respond.js/1.3.0/respond.min.js"></script>
 25 |         <![endif]-->
 26 | 
 27 |     <script src="https://ajax.googleapis.com/ajax/libs/webfont/1.5.18/webfont.js"></script>
 28 |     <script>
 29 |     WebFont.load({
 30 |         google: {
 31 |             families: ['Open Sans', 'PT Sans']
 32 |         }
 33 |     });
 34 |     </script>
 35 | 
 36 |     
 37 | </head>
 38 | 
 39 | <body class="homepage" >
 40 | 
 41 |     <div class="navbar navbar-default navbar-fixed-top" role="navigation">
 42 |     <div class="container">
 43 | 
 44 |         <!-- Collapsed navigation -->
 45 |         <div class="navbar-header">
 46 |             
 47 |             <!-- Expander button -->
 48 |             <button type="button" class="navbar-toggle" data-toggle="collapse" data-target=".navbar-collapse">
 49 |                 <span class="sr-only">Toggle navigation</span>
 50 |                 <span class="icon-bar"></span>
 51 |                 <span class="icon-bar"></span>
 52 |                 <span class="icon-bar"></span>
 53 |             </button>
 54 |             
 55 | 
 56 |             <!-- Main title -->
 57 |             <a class="navbar-brand" href=".">病原微生物基因组NGS数据分析</a>
 58 |         </div>
 59 | 
 60 |         <!-- Expanded navigation -->
 61 |         <div class="navbar-collapse collapse">
 62 |             
 63 |                 <!-- Main navigation -->
 64 |                 <ul class="nav navbar-nav">
 65 |                 
 66 |                 
 67 |                     <li class="active">
 68 |                         <a href=".">Home</a>
 69 |                     </li>
 70 |                 
 71 |                 
 72 |                 
 73 |                     <li >
 74 |                         <a href="01_anthrax_comparative_analysis/">Blog</a>
 75 |                     </li>
 76 |                 
 77 |                 
 78 |                 </ul>
 79 |             
 80 | 
 81 |             <ul class="nav navbar-nav navbar-right">
 82 |                 <li>
 83 |                     <a href="#" data-toggle="modal" data-target="#mkdocs_search_modal">
 84 |                         <i class="fa fa-search"></i> Search
 85 |                     </a>
 86 |                 </li>
 87 |                 
 88 |                     <li class="disabled">
 89 |                         <a rel="next" >
 90 |                             <i class="fa fa-arrow-left"></i> Previous
 91 |                         </a>
 92 |                     </li>
 93 |                     <li >
 94 |                         <a rel="prev" href="01_anthrax_comparative_analysis/">
 95 |                             Next <i class="fa fa-arrow-right"></i>
 96 |                         </a>
 97 |                     </li>
 98 |                 
 99 |                 
100 |             </ul>
101 |         </div>
102 |     </div>
103 | </div>
104 | 
105 |     <div class="container">
106 |         
107 |         <div class="col-md-3"><div class="bs-sidebar hidden-print affix well" role="complementary">
108 |     <ul class="nav bs-sidenav">
109 |     
110 |         <li class="first-level active"><a href="#welcome-to-mkdocs">Welcome to MkDocs</a></li>
111 |         
112 |             <li class="second-level"><a href="#commands">Commands</a></li>
113 |             
114 |         
115 |             <li class="second-level"><a href="#project-layout">Project layout</a></li>
116 |             
117 |         
118 |     
119 |     </ul>
120 | </div></div>
121 |         <div class="col-md-9" role="main">
122 | 
123 | <h1 id="welcome-to-mkdocs">Welcome to MkDocs</h1>
124 | <p>For full documentation visit <a href="http://mkdocs.org">mkdocs.org</a>.</p>
125 | <h2 id="commands">Commands</h2>
126 | <ul>
127 | <li><code>mkdocs new [dir-name]</code> - Create a new project.</li>
128 | <li><code>mkdocs serve</code> - Start the live-reloading docs server.</li>
129 | <li><code>mkdocs build</code> - Build the documentation site.</li>
130 | <li><code>mkdocs help</code> - Print this help message.</li>
131 | </ul>
132 | <h2 id="project-layout">Project layout</h2>
133 | <pre><code>mkdocs.yml    # The configuration file.
134 | docs/
135 |     index.md  # The documentation homepage.
136 |     ...       # Other markdown pages, images and other files.
137 | </code></pre></div>
138 |         
139 |     </div>
140 | 
141 |     <footer class="col-md-12 text-center">
142 |         <hr>
143 |         <p>
144 |         <small>Documentation built with <a href="http://www.mkdocs.org/">MkDocs</a>.</p></small>
145 |     </footer>
146 | 
147 |     <script src="./js/jquery-1.10.2.min.js"></script>
148 |     <script src="./js/bootstrap-3.0.3.min.js"></script>
149 |     <script src="./js/highlight.pack.js"></script>
150 |     <script>hljs.initHighlightingOnLoad();</script>
151 |     <script>
152 |     var base_url = '.';
153 |     </script>
154 |     <script data-main="./mkdocs/js/search.js" src="./mkdocs/js/require.js"></script>
155 |     <script src="./js/base.js"></script>
156 | 
157 |     <div class="modal" id="mkdocs_search_modal" tabindex="-1" role="dialog" aria-labelledby="Search Modal" aria-hidden="true">
158 |         <div class="modal-dialog">
159 |             <div class="modal-content">
160 |                 <div class="modal-header">
161 |                     <button type="button" class="close" data-dismiss="modal">
162 |                         <span aria-hidden="true">&times;</span>
163 |                         <span class="sr-only">Close</span>
164 |                     </button>
165 |                     <h4 class="modal-title" id="exampleModalLabel">Search</h4>
166 |                 </div>
167 |                 <div class="modal-body">
168 |                     <p>
169 |                         From here you can search these documents. Enter your search terms below.
170 |                     </p>
171 |                     <form role="form">
172 |                         <div class="form-group">
173 |                             <input type="text" class="form-control" placeholder="Search..." id="mkdocs-search-query">
174 |                         </div>
175 |                     </form>
176 |                     <div id="mkdocs-search-results"></div>
177 |                 </div>
178 |                 <div class="modal-footer">
179 |                 </div>
180 |             </div>
181 |         </div>
182 |     </div>
183 | 
184 |     </body>
185 | 
186 | </html>
187 | 
188 | <!--
189 | MkDocs version : 0.16.0
190 | Build Date UTC : 2016-12-12 15:36:22
191 | -->
192 | 


--------------------------------------------------------------------------------
/markdown/site/js/base.js:
--------------------------------------------------------------------------------
 1 | 
 2 | /* Highlight */
 3 | $( document ).ready(function() {
 4 |     hljs.initHighlightingOnLoad();
 5 |     $('table').addClass('table table-striped table-hover');
 6 | });
 7 | 
 8 | 
 9 | $('body').scrollspy({
10 |     target: '.bs-sidebar',
11 | });
12 | 
13 | 
14 | /* Prevent disabled links from causing a page reload */
15 | $("li.disabled a").click(function() {
16 |     event.preventDefault();
17 | });
18 | 
19 | 
20 | 
21 | 


--------------------------------------------------------------------------------
/markdown/site/mkdocs/js/lunr.min.js:
--------------------------------------------------------------------------------
1 | /**
2 |  * lunr - http://lunrjs.com - A bit like Solr, but much smaller and not as bright - 0.7.0
3 |  * Copyright (C) 2016 Oliver Nightingale
4 |  * MIT Licensed
5 |  * @license
6 |  */
7 | !function(){var t=function(e){var n=new t.Index;return n.pipeline.add(t.trimmer,t.stopWordFilter,t.stemmer),e&&e.call(n,n),n};t.version="0.7.0",t.utils={},t.utils.warn=function(t){return function(e){t.console&&console.warn&&console.warn(e)}}(this),t.utils.asString=function(t){return void 0===t||null===t?"":t.toString()},t.EventEmitter=function(){this.events={}},t.EventEmitter.prototype.addListener=function(){var t=Array.prototype.slice.call(arguments),e=t.pop(),n=t;if("function"!=typeof e)throw new TypeError("last argument must be a function");n.forEach(function(t){this.hasHandler(t)||(this.events[t]=[]),this.events[t].push(e)},this)},t.EventEmitter.prototype.removeListener=function(t,e){if(this.hasHandler(t)){var n=this.events[t].indexOf(e);this.events[t].splice(n,1),this.events[t].length||delete this.events[t]}},t.EventEmitter.prototype.emit=function(t){if(this.hasHandler(t)){var e=Array.prototype.slice.call(arguments,1);this.events[t].forEach(function(t){t.apply(void 0,e)})}},t.EventEmitter.prototype.hasHandler=function(t){return t in this.events},t.tokenizer=function(e){return arguments.length&&null!=e&&void 0!=e?Array.isArray(e)?e.map(function(e){return t.utils.asString(e).toLowerCase()}):e.toString().trim().toLowerCase().split(t.tokenizer.seperator):[]},t.tokenizer.seperator=/[\s\-]+/,t.tokenizer.load=function(t){var e=this.registeredFunctions[t];if(!e)throw new Error("Cannot load un-registered function: "+t);return e},t.tokenizer.label="default",t.tokenizer.registeredFunctions={"default":t.tokenizer},t.tokenizer.registerFunction=function(e,n){n in this.registeredFunctions&&t.utils.warn("Overwriting existing tokenizer: "+n),e.label=n,this.registeredFunctions[n]=e},t.Pipeline=function(){this._stack=[]},t.Pipeline.registeredFunctions={},t.Pipeline.registerFunction=function(e,n){n in this.registeredFunctions&&t.utils.warn("Overwriting existing registered function: "+n),e.label=n,t.Pipeline.registeredFunctions[e.label]=e},t.Pipeline.warnIfFunctionNotRegistered=function(e){var n=e.label&&e.label in this.registeredFunctions;n||t.utils.warn("Function is not registered with pipeline. This may cause problems when serialising the index.\n",e)},t.Pipeline.load=function(e){var n=new t.Pipeline;return e.forEach(function(e){var i=t.Pipeline.registeredFunctions[e];if(!i)throw new Error("Cannot load un-registered function: "+e);n.add(i)}),n},t.Pipeline.prototype.add=function(){var e=Array.prototype.slice.call(arguments);e.forEach(function(e){t.Pipeline.warnIfFunctionNotRegistered(e),this._stack.push(e)},this)},t.Pipeline.prototype.after=function(e,n){t.Pipeline.warnIfFunctionNotRegistered(n);var i=this._stack.indexOf(e);if(-1==i)throw new Error("Cannot find existingFn");i+=1,this._stack.splice(i,0,n)},t.Pipeline.prototype.before=function(e,n){t.Pipeline.warnIfFunctionNotRegistered(n);var i=this._stack.indexOf(e);if(-1==i)throw new Error("Cannot find existingFn");this._stack.splice(i,0,n)},t.Pipeline.prototype.remove=function(t){var e=this._stack.indexOf(t);-1!=e&&this._stack.splice(e,1)},t.Pipeline.prototype.run=function(t){for(var e=[],n=t.length,i=this._stack.length,r=0;n>r;r++){for(var o=t[r],s=0;i>s&&(o=this._stack[s](o,r,t),void 0!==o&&""!==o);s++);void 0!==o&&""!==o&&e.push(o)}return e},t.Pipeline.prototype.reset=function(){this._stack=[]},t.Pipeline.prototype.toJSON=function(){return this._stack.map(function(e){return t.Pipeline.warnIfFunctionNotRegistered(e),e.label})},t.Vector=function(){this._magnitude=null,this.list=void 0,this.length=0},t.Vector.Node=function(t,e,n){this.idx=t,this.val=e,this.next=n},t.Vector.prototype.insert=function(e,n){this._magnitude=void 0;var i=this.list;if(!i)return this.list=new t.Vector.Node(e,n,i),this.length++;if(e<i.idx)return this.list=new t.Vector.Node(e,n,i),this.length++;for(var r=i,o=i.next;void 0!=o;){if(e<o.idx)return r.next=new t.Vector.Node(e,n,o),this.length++;r=o,o=o.next}return r.next=new t.Vector.Node(e,n,o),this.length++},t.Vector.prototype.magnitude=function(){if(this._magnitude)return this._magnitude;for(var t,e=this.list,n=0;e;)t=e.val,n+=t*t,e=e.next;return this._magnitude=Math.sqrt(n)},t.Vector.prototype.dot=function(t){for(var e=this.list,n=t.list,i=0;e&&n;)e.idx<n.idx?e=e.next:e.idx>n.idx?n=n.next:(i+=e.val*n.val,e=e.next,n=n.next);return i},t.Vector.prototype.similarity=function(t){return this.dot(t)/(this.magnitude()*t.magnitude())},t.SortedSet=function(){this.length=0,this.elements=[]},t.SortedSet.load=function(t){var e=new this;return e.elements=t,e.length=t.length,e},t.SortedSet.prototype.add=function(){var t,e;for(t=0;t<arguments.length;t++)e=arguments[t],~this.indexOf(e)||this.elements.splice(this.locationFor(e),0,e);this.length=this.elements.length},t.SortedSet.prototype.toArray=function(){return this.elements.slice()},t.SortedSet.prototype.map=function(t,e){return this.elements.map(t,e)},t.SortedSet.prototype.forEach=function(t,e){return this.elements.forEach(t,e)},t.SortedSet.prototype.indexOf=function(t){for(var e=0,n=this.elements.length,i=n-e,r=e+Math.floor(i/2),o=this.elements[r];i>1;){if(o===t)return r;t>o&&(e=r),o>t&&(n=r),i=n-e,r=e+Math.floor(i/2),o=this.elements[r]}return o===t?r:-1},t.SortedSet.prototype.locationFor=function(t){for(var e=0,n=this.elements.length,i=n-e,r=e+Math.floor(i/2),o=this.elements[r];i>1;)t>o&&(e=r),o>t&&(n=r),i=n-e,r=e+Math.floor(i/2),o=this.elements[r];return o>t?r:t>o?r+1:void 0},t.SortedSet.prototype.intersect=function(e){for(var n=new t.SortedSet,i=0,r=0,o=this.length,s=e.length,a=this.elements,h=e.elements;;){if(i>o-1||r>s-1)break;a[i]!==h[r]?a[i]<h[r]?i++:a[i]>h[r]&&r++:(n.add(a[i]),i++,r++)}return n},t.SortedSet.prototype.clone=function(){var e=new t.SortedSet;return e.elements=this.toArray(),e.length=e.elements.length,e},t.SortedSet.prototype.union=function(t){var e,n,i;this.length>=t.length?(e=this,n=t):(e=t,n=this),i=e.clone();for(var r=0,o=n.toArray();r<o.length;r++)i.add(o[r]);return i},t.SortedSet.prototype.toJSON=function(){return this.toArray()},t.Index=function(){this._fields=[],this._ref="id",this.pipeline=new t.Pipeline,this.documentStore=new t.Store,this.tokenStore=new t.TokenStore,this.corpusTokens=new t.SortedSet,this.eventEmitter=new t.EventEmitter,this.tokenizerFn=t.tokenizer,this._idfCache={},this.on("add","remove","update",function(){this._idfCache={}}.bind(this))},t.Index.prototype.on=function(){var t=Array.prototype.slice.call(arguments);return this.eventEmitter.addListener.apply(this.eventEmitter,t)},t.Index.prototype.off=function(t,e){return this.eventEmitter.removeListener(t,e)},t.Index.load=function(e){e.version!==t.version&&t.utils.warn("version mismatch: current "+t.version+" importing "+e.version);var n=new this;return n._fields=e.fields,n._ref=e.ref,n.tokenizer=t.tokenizer.load(e.tokenizer),n.documentStore=t.Store.load(e.documentStore),n.tokenStore=t.TokenStore.load(e.tokenStore),n.corpusTokens=t.SortedSet.load(e.corpusTokens),n.pipeline=t.Pipeline.load(e.pipeline),n},t.Index.prototype.field=function(t,e){var e=e||{},n={name:t,boost:e.boost||1};return this._fields.push(n),this},t.Index.prototype.ref=function(t){return this._ref=t,this},t.Index.prototype.tokenizer=function(e){var n=e.label&&e.label in t.tokenizer.registeredFunctions;return n||t.utils.warn("Function is not a registered tokenizer. This may cause problems when serialising the index"),this.tokenizerFn=e,this},t.Index.prototype.add=function(e,n){var i={},r=new t.SortedSet,o=e[this._ref],n=void 0===n?!0:n;this._fields.forEach(function(t){var n=this.pipeline.run(this.tokenizerFn(e[t.name]));i[t.name]=n;for(var o=0;o<n.length;o++){var s=n[o];r.add(s),this.corpusTokens.add(s)}},this),this.documentStore.set(o,r);for(var s=0;s<r.length;s++){for(var a=r.elements[s],h=0,u=0;u<this._fields.length;u++){var l=this._fields[u],c=i[l.name],f=c.length;if(f){for(var d=0,p=0;f>p;p++)c[p]===a&&d++;h+=d/f*l.boost}}this.tokenStore.add(a,{ref:o,tf:h})}n&&this.eventEmitter.emit("add",e,this)},t.Index.prototype.remove=function(t,e){var n=t[this._ref],e=void 0===e?!0:e;if(this.documentStore.has(n)){var i=this.documentStore.get(n);this.documentStore.remove(n),i.forEach(function(t){this.tokenStore.remove(t,n)},this),e&&this.eventEmitter.emit("remove",t,this)}},t.Index.prototype.update=function(t,e){var e=void 0===e?!0:e;this.remove(t,!1),this.add(t,!1),e&&this.eventEmitter.emit("update",t,this)},t.Index.prototype.idf=function(t){var e="@"+t;if(Object.prototype.hasOwnProperty.call(this._idfCache,e))return this._idfCache[e];var n=this.tokenStore.count(t),i=1;return n>0&&(i=1+Math.log(this.documentStore.length/n)),this._idfCache[e]=i},t.Index.prototype.search=function(e){var n=this.pipeline.run(this.tokenizerFn(e)),i=new t.Vector,r=[],o=this._fields.reduce(function(t,e){return t+e.boost},0),s=n.some(function(t){return this.tokenStore.has(t)},this);if(!s)return[];n.forEach(function(e,n,s){var a=1/s.length*this._fields.length*o,h=this,u=this.tokenStore.expand(e).reduce(function(n,r){var o=h.corpusTokens.indexOf(r),s=h.idf(r),u=1,l=new t.SortedSet;if(r!==e){var c=Math.max(3,r.length-e.length);u=1/Math.log(c)}o>-1&&i.insert(o,a*s*u);for(var f=h.tokenStore.get(r),d=Object.keys(f),p=d.length,v=0;p>v;v++)l.add(f[d[v]].ref);return n.union(l)},new t.SortedSet);r.push(u)},this);var a=r.reduce(function(t,e){return t.intersect(e)});return a.map(function(t){return{ref:t,score:i.similarity(this.documentVector(t))}},this).sort(function(t,e){return e.score-t.score})},t.Index.prototype.documentVector=function(e){for(var n=this.documentStore.get(e),i=n.length,r=new t.Vector,o=0;i>o;o++){var s=n.elements[o],a=this.tokenStore.get(s)[e].tf,h=this.idf(s);r.insert(this.corpusTokens.indexOf(s),a*h)}return r},t.Index.prototype.toJSON=function(){return{version:t.version,fields:this._fields,ref:this._ref,tokenizer:this.tokenizerFn.label,documentStore:this.documentStore.toJSON(),tokenStore:this.tokenStore.toJSON(),corpusTokens:this.corpusTokens.toJSON(),pipeline:this.pipeline.toJSON()}},t.Index.prototype.use=function(t){var e=Array.prototype.slice.call(arguments,1);e.unshift(this),t.apply(this,e)},t.Store=function(){this.store={},this.length=0},t.Store.load=function(e){var n=new this;return n.length=e.length,n.store=Object.keys(e.store).reduce(function(n,i){return n[i]=t.SortedSet.load(e.store[i]),n},{}),n},t.Store.prototype.set=function(t,e){this.has(t)||this.length++,this.store[t]=e},t.Store.prototype.get=function(t){return this.store[t]},t.Store.prototype.has=function(t){return t in this.store},t.Store.prototype.remove=function(t){this.has(t)&&(delete this.store[t],this.length--)},t.Store.prototype.toJSON=function(){return{store:this.store,length:this.length}},t.stemmer=function(){var t={ational:"ate",tional:"tion",enci:"ence",anci:"ance",izer:"ize",bli:"ble",alli:"al",entli:"ent",eli:"e",ousli:"ous",ization:"ize",ation:"ate",ator:"ate",alism:"al",iveness:"ive",fulness:"ful",ousness:"ous",aliti:"al",iviti:"ive",biliti:"ble",logi:"log"},e={icate:"ic",ative:"",alize:"al",iciti:"ic",ical:"ic",ful:"",ness:""},n="[^aeiou]",i="[aeiouy]",r=n+"[^aeiouy]*",o=i+"[aeiou]*",s="^("+r+")?"+o+r,a="^("+r+")?"+o+r+"("+o+")?$",h="^("+r+")?"+o+r+o+r,u="^("+r+")?"+i,l=new RegExp(s),c=new RegExp(h),f=new RegExp(a),d=new RegExp(u),p=/^(.+?)(ss|i)es$/,v=/^(.+?)([^s])s$/,g=/^(.+?)eed$/,m=/^(.+?)(ed|ing)$/,y=/.$/,S=/(at|bl|iz)$/,w=new RegExp("([^aeiouylsz])\\1$"),k=new RegExp("^"+r+i+"[^aeiouwxy]$"),x=/^(.+?[^aeiou])y$/,b=/^(.+?)(ational|tional|enci|anci|izer|bli|alli|entli|eli|ousli|ization|ation|ator|alism|iveness|fulness|ousness|aliti|iviti|biliti|logi)$/,E=/^(.+?)(icate|ative|alize|iciti|ical|ful|ness)$/,F=/^(.+?)(al|ance|ence|er|ic|able|ible|ant|ement|ment|ent|ou|ism|ate|iti|ous|ive|ize)$/,_=/^(.+?)(s|t)(ion)$/,z=/^(.+?)e$/,O=/ll$/,P=new RegExp("^"+r+i+"[^aeiouwxy]$"),T=function(n){var i,r,o,s,a,h,u;if(n.length<3)return n;if(o=n.substr(0,1),"y"==o&&(n=o.toUpperCase()+n.substr(1)),s=p,a=v,s.test(n)?n=n.replace(s,"$1$2"):a.test(n)&&(n=n.replace(a,"$1$2")),s=g,a=m,s.test(n)){var T=s.exec(n);s=l,s.test(T[1])&&(s=y,n=n.replace(s,""))}else if(a.test(n)){var T=a.exec(n);i=T[1],a=d,a.test(i)&&(n=i,a=S,h=w,u=k,a.test(n)?n+="e":h.test(n)?(s=y,n=n.replace(s,"")):u.test(n)&&(n+="e"))}if(s=x,s.test(n)){var T=s.exec(n);i=T[1],n=i+"i"}if(s=b,s.test(n)){var T=s.exec(n);i=T[1],r=T[2],s=l,s.test(i)&&(n=i+t[r])}if(s=E,s.test(n)){var T=s.exec(n);i=T[1],r=T[2],s=l,s.test(i)&&(n=i+e[r])}if(s=F,a=_,s.test(n)){var T=s.exec(n);i=T[1],s=c,s.test(i)&&(n=i)}else if(a.test(n)){var T=a.exec(n);i=T[1]+T[2],a=c,a.test(i)&&(n=i)}if(s=z,s.test(n)){var T=s.exec(n);i=T[1],s=c,a=f,h=P,(s.test(i)||a.test(i)&&!h.test(i))&&(n=i)}return s=O,a=c,s.test(n)&&a.test(n)&&(s=y,n=n.replace(s,"")),"y"==o&&(n=o.toLowerCase()+n.substr(1)),n};return T}(),t.Pipeline.registerFunction(t.stemmer,"stemmer"),t.generateStopWordFilter=function(t){var e=t.reduce(function(t,e){return t[e]=e,t},{});return function(t){return t&&e[t]!==t?t:void 0}},t.stopWordFilter=t.generateStopWordFilter(["a","able","about","across","after","all","almost","also","am","among","an","and","any","are","as","at","be","because","been","but","by","can","cannot","could","dear","did","do","does","either","else","ever","every","for","from","get","got","had","has","have","he","her","hers","him","his","how","however","i","if","in","into","is","it","its","just","least","let","like","likely","may","me","might","most","must","my","neither","no","nor","not","of","off","often","on","only","or","other","our","own","rather","said","say","says","she","should","since","so","some","than","that","the","their","them","then","there","these","they","this","tis","to","too","twas","us","wants","was","we","were","what","when","where","which","while","who","whom","why","will","with","would","yet","you","your"]),t.Pipeline.registerFunction(t.stopWordFilter,"stopWordFilter"),t.trimmer=function(t){return t.replace(/^\W+/,"").replace(/\W+$/,"")},t.Pipeline.registerFunction(t.trimmer,"trimmer"),t.TokenStore=function(){this.root={docs:{}},this.length=0},t.TokenStore.load=function(t){var e=new this;return e.root=t.root,e.length=t.length,e},t.TokenStore.prototype.add=function(t,e,n){var n=n||this.root,i=t.charAt(0),r=t.slice(1);return i in n||(n[i]={docs:{}}),0===r.length?(n[i].docs[e.ref]=e,void(this.length+=1)):this.add(r,e,n[i])},t.TokenStore.prototype.has=function(t){if(!t)return!1;for(var e=this.root,n=0;n<t.length;n++){if(!e[t.charAt(n)])return!1;e=e[t.charAt(n)]}return!0},t.TokenStore.prototype.getNode=function(t){if(!t)return{};for(var e=this.root,n=0;n<t.length;n++){if(!e[t.charAt(n)])return{};e=e[t.charAt(n)]}return e},t.TokenStore.prototype.get=function(t,e){return this.getNode(t,e).docs||{}},t.TokenStore.prototype.count=function(t,e){return Object.keys(this.get(t,e)).length},t.TokenStore.prototype.remove=function(t,e){if(t){for(var n=this.root,i=0;i<t.length;i++){if(!(t.charAt(i)in n))return;n=n[t.charAt(i)]}delete n.docs[e]}},t.TokenStore.prototype.expand=function(t,e){var n=this.getNode(t),i=n.docs||{},e=e||[];return Object.keys(i).length&&e.push(t),Object.keys(n).forEach(function(n){"docs"!==n&&e.concat(this.expand(t+n,e))},this),e},t.TokenStore.prototype.toJSON=function(){return{root:this.root,length:this.length}},function(t,e){"function"==typeof define&&define.amd?define(e):"object"==typeof exports?module.exports=e():t.lunr=e()}(this,function(){return t})}();
8 | 


--------------------------------------------------------------------------------
/markdown/site/mkdocs/js/mustache.min.js:
--------------------------------------------------------------------------------
1 | (function(global,factory){if(typeof exports==="object"&&exports){factory(exports)}else if(typeof define==="function"&&define.amd){define(["exports"],factory)}else{factory(global.Mustache={})}})(this,function(mustache){var Object_toString=Object.prototype.toString;var isArray=Array.isArray||function(object){return Object_toString.call(object)==="[object Array]"};function isFunction(object){return typeof object==="function"}function escapeRegExp(string){return string.replace(/[\-\[\]{}()*+?.,\\\^$|#\s]/g,"\\$&")}var RegExp_test=RegExp.prototype.test;function testRegExp(re,string){return RegExp_test.call(re,string)}var nonSpaceRe=/\S/;function isWhitespace(string){return!testRegExp(nonSpaceRe,string)}var entityMap={"&":"&amp;","<":"&lt;",">":"&gt;",'"':"&quot;","'":"&#39;","/":"&#x2F;"};function escapeHtml(string){return String(string).replace(/[&<>"'\/]/g,function(s){return entityMap[s]})}var whiteRe=/\s*/;var spaceRe=/\s+/;var equalsRe=/\s*=/;var curlyRe=/\s*\}/;var tagRe=/#|\^|\/|>|\{|&|=|!/;function parseTemplate(template,tags){if(!template)return[];var sections=[];var tokens=[];var spaces=[];var hasTag=false;var nonSpace=false;function stripSpace(){if(hasTag&&!nonSpace){while(spaces.length)delete tokens[spaces.pop()]}else{spaces=[]}hasTag=false;nonSpace=false}var openingTagRe,closingTagRe,closingCurlyRe;function compileTags(tags){if(typeof tags==="string")tags=tags.split(spaceRe,2);if(!isArray(tags)||tags.length!==2)throw new Error("Invalid tags: "+tags);openingTagRe=new RegExp(escapeRegExp(tags[0])+"\\s*");closingTagRe=new RegExp("\\s*"+escapeRegExp(tags[1]));closingCurlyRe=new RegExp("\\s*"+escapeRegExp("}"+tags[1]))}compileTags(tags||mustache.tags);var scanner=new Scanner(template);var start,type,value,chr,token,openSection;while(!scanner.eos()){start=scanner.pos;value=scanner.scanUntil(openingTagRe);if(value){for(var i=0,valueLength=value.length;i<valueLength;++i){chr=value.charAt(i);if(isWhitespace(chr)){spaces.push(tokens.length)}else{nonSpace=true}tokens.push(["text",chr,start,start+1]);start+=1;if(chr==="\n")stripSpace()}}if(!scanner.scan(openingTagRe))break;hasTag=true;type=scanner.scan(tagRe)||"name";scanner.scan(whiteRe);if(type==="="){value=scanner.scanUntil(equalsRe);scanner.scan(equalsRe);scanner.scanUntil(closingTagRe)}else if(type==="{"){value=scanner.scanUntil(closingCurlyRe);scanner.scan(curlyRe);scanner.scanUntil(closingTagRe);type="&"}else{value=scanner.scanUntil(closingTagRe)}if(!scanner.scan(closingTagRe))throw new Error("Unclosed tag at "+scanner.pos);token=[type,value,start,scanner.pos];tokens.push(token);if(type==="#"||type==="^"){sections.push(token)}else if(type==="/"){openSection=sections.pop();if(!openSection)throw new Error('Unopened section "'+value+'" at '+start);if(openSection[1]!==value)throw new Error('Unclosed section "'+openSection[1]+'" at '+start)}else if(type==="name"||type==="{"||type==="&"){nonSpace=true}else if(type==="="){compileTags(value)}}openSection=sections.pop();if(openSection)throw new Error('Unclosed section "'+openSection[1]+'" at '+scanner.pos);return nestTokens(squashTokens(tokens))}function squashTokens(tokens){var squashedTokens=[];var token,lastToken;for(var i=0,numTokens=tokens.length;i<numTokens;++i){token=tokens[i];if(token){if(token[0]==="text"&&lastToken&&lastToken[0]==="text"){lastToken[1]+=token[1];lastToken[3]=token[3]}else{squashedTokens.push(token);lastToken=token}}}return squashedTokens}function nestTokens(tokens){var nestedTokens=[];var collector=nestedTokens;var sections=[];var token,section;for(var i=0,numTokens=tokens.length;i<numTokens;++i){token=tokens[i];switch(token[0]){case"#":case"^":collector.push(token);sections.push(token);collector=token[4]=[];break;case"/":section=sections.pop();section[5]=token[2];collector=sections.length>0?sections[sections.length-1][4]:nestedTokens;break;default:collector.push(token)}}return nestedTokens}function Scanner(string){this.string=string;this.tail=string;this.pos=0}Scanner.prototype.eos=function(){return this.tail===""};Scanner.prototype.scan=function(re){var match=this.tail.match(re);if(!match||match.index!==0)return"";var string=match[0];this.tail=this.tail.substring(string.length);this.pos+=string.length;return string};Scanner.prototype.scanUntil=function(re){var index=this.tail.search(re),match;switch(index){case-1:match=this.tail;this.tail="";break;case 0:match="";break;default:match=this.tail.substring(0,index);this.tail=this.tail.substring(index)}this.pos+=match.length;return match};function Context(view,parentContext){this.view=view;this.cache={".":this.view};this.parent=parentContext}Context.prototype.push=function(view){return new Context(view,this)};Context.prototype.lookup=function(name){var cache=this.cache;var value;if(name in cache){value=cache[name]}else{var context=this,names,index,lookupHit=false;while(context){if(name.indexOf(".")>0){value=context.view;names=name.split(".");index=0;while(value!=null&&index<names.length){if(index===names.length-1&&value!=null)lookupHit=typeof value==="object"&&value.hasOwnProperty(names[index]);value=value[names[index++]]}}else if(context.view!=null&&typeof context.view==="object"){value=context.view[name];lookupHit=context.view.hasOwnProperty(name)}if(lookupHit)break;context=context.parent}cache[name]=value}if(isFunction(value))value=value.call(this.view);return value};function Writer(){this.cache={}}Writer.prototype.clearCache=function(){this.cache={}};Writer.prototype.parse=function(template,tags){var cache=this.cache;var tokens=cache[template];if(tokens==null)tokens=cache[template]=parseTemplate(template,tags);return tokens};Writer.prototype.render=function(template,view,partials){var tokens=this.parse(template);var context=view instanceof Context?view:new Context(view);return this.renderTokens(tokens,context,partials,template)};Writer.prototype.renderTokens=function(tokens,context,partials,originalTemplate){var buffer="";var token,symbol,value;for(var i=0,numTokens=tokens.length;i<numTokens;++i){value=undefined;token=tokens[i];symbol=token[0];if(symbol==="#")value=this._renderSection(token,context,partials,originalTemplate);else if(symbol==="^")value=this._renderInverted(token,context,partials,originalTemplate);else if(symbol===">")value=this._renderPartial(token,context,partials,originalTemplate);else if(symbol==="&")value=this._unescapedValue(token,context);else if(symbol==="name")value=this._escapedValue(token,context);else if(symbol==="text")value=this._rawValue(token);if(value!==undefined)buffer+=value}return buffer};Writer.prototype._renderSection=function(token,context,partials,originalTemplate){var self=this;var buffer="";var value=context.lookup(token[1]);function subRender(template){return self.render(template,context,partials)}if(!value)return;if(isArray(value)){for(var j=0,valueLength=value.length;j<valueLength;++j){buffer+=this.renderTokens(token[4],context.push(value[j]),partials,originalTemplate)}}else if(typeof value==="object"||typeof value==="string"||typeof value==="number"){buffer+=this.renderTokens(token[4],context.push(value),partials,originalTemplate)}else if(isFunction(value)){if(typeof originalTemplate!=="string")throw new Error("Cannot use higher-order sections without the original template");value=value.call(context.view,originalTemplate.slice(token[3],token[5]),subRender);if(value!=null)buffer+=value}else{buffer+=this.renderTokens(token[4],context,partials,originalTemplate)}return buffer};Writer.prototype._renderInverted=function(token,context,partials,originalTemplate){var value=context.lookup(token[1]);if(!value||isArray(value)&&value.length===0)return this.renderTokens(token[4],context,partials,originalTemplate)};Writer.prototype._renderPartial=function(token,context,partials){if(!partials)return;var value=isFunction(partials)?partials(token[1]):partials[token[1]];if(value!=null)return this.renderTokens(this.parse(value),context,partials,value)};Writer.prototype._unescapedValue=function(token,context){var value=context.lookup(token[1]);if(value!=null)return value};Writer.prototype._escapedValue=function(token,context){var value=context.lookup(token[1]);if(value!=null)return mustache.escape(value)};Writer.prototype._rawValue=function(token){return token[1]};mustache.name="mustache.js";mustache.version="2.0.0";mustache.tags=["{{","}}"];var defaultWriter=new Writer;mustache.clearCache=function(){return defaultWriter.clearCache()};mustache.parse=function(template,tags){return defaultWriter.parse(template,tags)};mustache.render=function(template,view,partials){return defaultWriter.render(template,view,partials)};mustache.to_html=function(template,view,partials,send){var result=mustache.render(template,view,partials);if(isFunction(send)){send(result)}else{return result}};mustache.escape=escapeHtml;mustache.Scanner=Scanner;mustache.Context=Context;mustache.Writer=Writer});


--------------------------------------------------------------------------------
/markdown/site/mkdocs/js/search-results-template.mustache:
--------------------------------------------------------------------------------
1 | <article>
2 |   <h3><a href="{{location}}">{{title}}</a></h3>
3 |   <p>{{summary}}</p>
4 | </article>
5 | 


--------------------------------------------------------------------------------
/markdown/site/mkdocs/js/search.js:
--------------------------------------------------------------------------------
 1 | require([
 2 |     base_url + '/mkdocs/js/mustache.min.js',
 3 |     base_url + '/mkdocs/js/lunr.min.js',
 4 |     'text!search-results-template.mustache',
 5 |     'text!../search_index.json',
 6 | ], function (Mustache, lunr, results_template, data) {
 7 |    "use strict";
 8 | 
 9 |     function getSearchTerm()
10 |     {
11 |         var sPageURL = window.location.search.substring(1);
12 |         var sURLVariables = sPageURL.split('&');
13 |         for (var i = 0; i < sURLVariables.length; i++)
14 |         {
15 |             var sParameterName = sURLVariables[i].split('=');
16 |             if (sParameterName[0] == 'q')
17 |             {
18 |                 return decodeURIComponent(sParameterName[1].replace(/\+/g, '%20'));
19 |             }
20 |         }
21 |     }
22 | 
23 |     var index = lunr(function () {
24 |         this.field('title', {boost: 10});
25 |         this.field('text');
26 |         this.ref('location');
27 |     });
28 | 
29 |     data = JSON.parse(data);
30 |     var documents = {};
31 | 
32 |     for (var i=0; i < data.docs.length; i++){
33 |         var doc = data.docs[i];
34 |         doc.location = base_url + doc.location;
35 |         index.add(doc);
36 |         documents[doc.location] = doc;
37 |     }
38 | 
39 |     var search = function(){
40 | 
41 |         var query = document.getElementById('mkdocs-search-query').value;
42 |         var search_results = document.getElementById("mkdocs-search-results");
43 |         while (search_results.firstChild) {
44 |             search_results.removeChild(search_results.firstChild);
45 |         }
46 | 
47 |         if(query === ''){
48 |             return;
49 |         }
50 | 
51 |         var results = index.search(query);
52 | 
53 |         if (results.length > 0){
54 |             for (var i=0; i < results.length; i++){
55 |                 var result = results[i];
56 |                 doc = documents[result.ref];
57 |                 doc.base_url = base_url;
58 |                 doc.summary = doc.text.substring(0, 200);
59 |                 var html = Mustache.to_html(results_template, doc);
60 |                 search_results.insertAdjacentHTML('beforeend', html);
61 |             }
62 |         } else {
63 |             search_results.insertAdjacentHTML('beforeend', "<p>No results found</p>");
64 |         }
65 | 
66 |         if(jQuery){
67 |             /*
68 |              * We currently only automatically hide bootstrap models. This
69 |              * requires jQuery to work.
70 |              */
71 |             jQuery('#mkdocs_search_modal a').click(function(){
72 |                 jQuery('#mkdocs_search_modal').modal('hide');
73 |             });
74 |         }
75 | 
76 |     };
77 | 
78 |     var search_input = document.getElementById('mkdocs-search-query');
79 | 
80 |     var term = getSearchTerm();
81 |     if (term){
82 |         search_input.value = term;
83 |         search();
84 |     }
85 | 
86 |     search_input.addEventListener("keyup", search);
87 | 
88 | });
89 | 


--------------------------------------------------------------------------------
/markdown/site/sitemap.xml:
--------------------------------------------------------------------------------
 1 | <?xml version="1.0" encoding="UTF-8"?>
 2 | <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 3 | 
 4 |     
 5 |     <url>
 6 |      <loc>/</loc>
 7 |      <lastmod>2016-12-12</lastmod>
 8 |      <changefreq>daily</changefreq>
 9 |     </url>
10 |     
11 | 
12 |     
13 |     <url>
14 |      <loc>/01_anthrax_comparative_analysis/</loc>
15 |      <lastmod>2016-12-12</lastmod>
16 |      <changefreq>daily</changefreq>
17 |     </url>
18 |     
19 | 
20 | </urlset>


--------------------------------------------------------------------------------
/requirements.txt:
--------------------------------------------------------------------------------
1 | sphinx
2 | sphinx_rtd_theme
3 | pygments
4 | mkdocs
5 | 


--------------------------------------------------------------------------------
/source/_static/img/appendix/practice/image1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix/practice/image1.png


--------------------------------------------------------------------------------
/source/_static/img/appendix/practice/image2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix/practice/image2.png


--------------------------------------------------------------------------------
/source/_static/img/appendix_a2_1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix_a2_1.png


--------------------------------------------------------------------------------
/source/_static/img/appendix_a2_2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix_a2_2.png


--------------------------------------------------------------------------------
/source/_static/img/appendix_a5_1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix_a5_1.png


--------------------------------------------------------------------------------
/source/_static/img/appendix_a5_2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/appendix_a5_2.png


--------------------------------------------------------------------------------
/source/_static/img/chapter_02/Rplot.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/chapter_02/Rplot.png


--------------------------------------------------------------------------------
/source/_static/img/chapter_05/appendix_a5_1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/chapter_05/appendix_a5_1.png


--------------------------------------------------------------------------------
/source/_static/img/chapter_05/appendix_a5_2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/chapter_05/appendix_a5_2.png


--------------------------------------------------------------------------------
/source/_static/img/circos-anatomy.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/circos-anatomy.png


--------------------------------------------------------------------------------
/source/_static/img/fork.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/fork.png


--------------------------------------------------------------------------------
/source/_static/img/miseq.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/miseq.jpg


--------------------------------------------------------------------------------
/source/_static/img/pull_request.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/pull_request.png


--------------------------------------------------------------------------------
/source/_static/img/ubuntu.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/indexofire/ndafp/30ff6c9bb25bccb55c2ccb706dd75e990b6197c6/source/_static/img/ubuntu.jpg


--------------------------------------------------------------------------------
/source/appendix/edirect.rst:
--------------------------------------------------------------------------------
  1 | 玩转 edirect
  2 | ============
  3 | 
  4 | `NCBI`_ 的 Entrez 工具集大家很熟悉了，特别是基于 web 的 E-utilis，是日常检索 `NCBI`_ 数据库的最主要应用。而 edirect 是 `NCBI`_ 开发的用于 linux 命令行界面中的快速检索和下载工具。
  5 | 
  6 | `NCBI`_ 的 Entrez 工具平时大家都经常使用，既可以从 web 页面访问 `NCBI`_ 来查询，也可以利用 Entrez 提供的 Web Services 来实现诸多功能（如自动查询）。此外 `NCBI`_ 还提供了 Entrez 的命令行工具 edirect。edirect 全称时 EntrezDirect，使用它可以很方便的在服务器上进行 Entrez 的检索和抓取。
  7 | 
  8 | 
  9 | 1. 下载安装
 10 | -----------
 11 | 
 12 | .. code-block:: bash
 13 | 
 14 |    ~/tmp$ wget ftp://ftp.ncbi.nlm.nih.gov/entrez/entrezdirect/edirect.tar.gz
 15 |    ~/tmp$ tar zxvf edirect.tar.gz -C ~/app
 16 |    ~/tmp$ sh ~/app/edirect/setup.sh
 17 | 
 18 | 在看到：
 19 | 
 20 | > ENTREZ DIRECT HAS BEEN SUCCESSFULLY INSTALLED AND CONFIGURED
 21 | 
 22 | 字符后，安装完成。可以不运行`setup.sh`直接使用edirect的一些工具，不过如果要使用全部功能，有些perl模块需要安装，所以运行`setup.sh`来完成CPAN的modual安装以及 go 版本的xtract的编译（原来的perl版本速度不够快）。当看到`ENTREZ DIRECT HAS BEEN SUCCESSFULLY INSTALLED AND CONFIGURED`，表明完成安装。
 23 | 
 24 | 如果是Ubuntu操作系统，由于uname位于/bin，而xtract接口调用脚本使用/usr/bin/uname来判断使用那个版本的xtract，因此要正常使用xtract需要添加一个link。
 25 | 
 26 | .. code-block:: bash
 27 | 
 28 |   ~$ sudo ln -s /bin/uname /usr/bin/uname
 29 | 
 30 | 也可以通过 perl 来安装：
 31 | 
 32 | .. code-block:: bash
 33 | 
 34 |    $ cd ~
 35 |    $ perl -MNet::FTP -e \
 36 |    > '$ftp = new Net::FTP("ftp.`NCBI`_.nlm.nih.gov", Passive => 1); $ftp->login; \
 37 |    > $ftp->binary; $ftp->get("/entrez/entrezdirect/edirect.zip");'
 38 |    $ unzip -u -q edirect.zip
 39 |    $ rm edirect.zip
 40 |    $ export PATH=$PATH:$HOME/edirect
 41 |    $ ./edirect/setup.sh
 42 | 
 43 | .. note::
 44 | 
 45 |     NCBI 从2016年11月起，网站从http迁移到https协议，因此老的版本edirect会无法使用。
 46 | 
 47 | 
 48 | 2. 工具使用
 49 | 
 50 | 2.2 数据库列表
 51 | ^^^^^^^^^^^^^^
 52 | 
 53 | **主要工具列表**
 54 | 
 55 | | 工具名称 | 用途 |
 56 | | -------- | -------- |
 57 | | **efetch** | 下载 `NCBI`_ 数据库中的记录和报告并以相应格式打印输出 |
 58 | | **einfo** | 获取目标结果在数据库中的信息 |
 59 | | **elink** | 对目标结果在其他数据库中比配结果 |
 60 | | **epost** | 上传 UIDs 或者 序列登记号 |
 61 | | **esearch** | 在 Entrez 中执行搜索命令 |
 62 | | **efilter** | 对之前的检索结果进行过滤或限制 |
 63 | | **xtract** | converts XML into a table of data values. |
 64 | | **nquire** | sends a URL request to a web page or CGI service. |
 65 | 
 66 | 5. 具体例子
 67 | 
 68 | 查看2012年至今发表的霍乱弧菌CTX相关文献摘要
 69 | 
 70 | .. code-block:: bash
 71 | 
 72 |    ~$ esearch -db pubmed -mindate 2012 -maxdate 2016 -datetype PDAT -query "vibrio cholerae[CTX]" | efetch -format abstract > abstract.txt
 73 | 
 74 | 查看2016年CDC发布的所有用 miseq 测序的沙门菌文库制备方法
 75 | 
 76 | .. code-block:: bash
 77 | 
 78 |    ~$ esearch -db sra -query "salmonella miseq CDC" -mindate 2016 -maxdate 2016 -datetype PDAT | efetch -format runinfo | cut -d ',' -f 12 > library.txt
 79 | 
 80 | 绘制单增李斯特菌 hlyA 蛋白质进化树图
 81 | 
 82 | .. code-block:: bash
 83 | 
 84 |    ~$ esearch -db protein -query "(listeria monocytogenes hlyA) NOT partial" | efetch -db protein -format fasta > hlyA.fasta
 85 |    ~$ raxml -p 12345 -x
 86 | 
 87 | 对10年内发表的 hlyA 相关文献的作者排序
 88 | 
 89 | .. code-block:: bash
 90 | 
 91 |    ~$ esearch -db pubmed -mindate 2006 -maxdate 2016 -datetype PDAT -query "hlyA"
 92 | 
 93 | 查看 taxonomy
 94 | 
 95 | .. code-block:: bash
 96 | 
 97 |    ~$ esearch -db taxonomy -query "lis* OR sal*"
 98 | 
 99 | 下载所有甲型副伤寒沙门菌基因组序列
100 | 
101 | .. code-block:: bash
102 | 
103 |    ~$ esearch -db nuccore -query "Salmonella[porgn:__txid54388] complete genome" | efetch -db nuccore -format fasta > SPA.fasta
104 | 
105 | Reference:
106 | 
107 | 1. http://www.ncbi.nlm.nih.gov/books/NBK179288
108 | 2. https://dataguide.nlm.nih.gov/
109 | 
110 | 
111 | .. _NCBI: http://www.ncbi_.nlm.nih.gov
112 | 


--------------------------------------------------------------------------------
/source/appendix/file_format.rst:
--------------------------------------------------------------------------------
 1 | 文件格式
 2 | ========
 3 | 
 4 | 
 5 | 1. Fastq 文件
 6 | -------------
 7 | 
 8 | 1.1 Fastq 文件格式
 9 | ^^^^^^^^^^^^^^^^^^
10 | 
11 | .. code-block:: bash
12 | 
13 |    ~$ head -4 S1_R1.fastq
14 |    # 终端显示以下内容
15 |    @ST-E00294:36:hct2mccxx:4:1101:15281:1871 1:N:0:ATGCCGC
16 |    TCTGGCTCTGGCTCCTCTAATTCCTGCTGCTCCTCCTCTGACTGCCTCTGCTCCTCTGAGACACGGGGCTTCTCTTCTTCCTCCTCCACCTCAGGCTCCTTGGTTTCGGTCTCAGGACTATTGCTGCTGT
17 |    +
18 |    A<FFFFFKKKKKFKKKKKKKKKKKKAAKKFAKKFFF<KKKKKKKFA<AKKKKKFKKFKAKFFFKKKKKAFKKKKKFKFKAFAKKKKFKKFKKKKKFAKKKKKKKKKKFF7FKKKAKFFF,FKKKKKFKKK
19 | 
20 | 这是一个从第一行 @ST-E00294:36:hct2mccxx:4:1101:15281:1871 1:N:0:ATGCCGC
21 | 


--------------------------------------------------------------------------------
/source/appendix/get_data.rst:
--------------------------------------------------------------------------------
 1 | 获取数据
 2 | ========
 3 | 
 4 | 1. 安装 ascp connect
 5 | --------------------
 6 | 
 7 | aspera connect 的`下载地址 <http://downloads.asperasoft.com/en/downloads/8?list>`_
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    # download ascp connect
12 |    $ wget http://download.asperasoft.com/download/sw/connect/3.6.2/aspera-connect-3.6.2.117442-linux-64.tar.gz
13 |    $ tar zxf aspera-connect-3.6.2.117442-linux-64.tar.gz
14 |    $ ./aspera-connect-3.6.2.117442-linux-64.sh
15 | 
16 | 因为需要 ssh 密钥，软件只能以用户身份安装，不能以 root 安装。软件默认安装位置在 ~/.ascp/connect/
17 | 


--------------------------------------------------------------------------------
/source/appendix/index.rst:
--------------------------------------------------------------------------------
 1 | 附录内容
 2 | ========
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    file_format
 8 |    get_data
 9 |    practice
10 |    introduce_lab
11 |    edirect
12 | 


--------------------------------------------------------------------------------
/source/appendix/introduce_lab.rst:
--------------------------------------------------------------------------------
 1 | 介绍我们的测序实验室
 2 | ====================
 3 | 
 4 | 1. 测序仪
 5 | ---------
 6 | 
 7 | 2. 计算硬件
 8 | -----------
 9 | 
10 | 3. 软件
11 | -------
12 | 


--------------------------------------------------------------------------------
/source/appendix/practice.rst:
--------------------------------------------------------------------------------
  1 | 数据分析实践
  2 | ============
  3 | 
  4 | **分析所用数据目录结构**
  5 | 
  6 | 
  7 | 
  8 | .. code-block:: bash
  9 | 
 10 |    ├── Sample_1
 11 |    │   ├── 00_raw
 12 |    │   │   └── *.fastq.gz
 13 |    │   ├── 01_trimmed
 14 |    │   ├── 02_assembly
 15 |    │   ├── 03_clean
 16 |    │   ├── 10_fasta
 17 |    ...
 18 |    └── Sample_N
 19 |         ├── 00_raw
 20 |         ...
 21 | 
 22 | 
 23 | 
 24 | **示例所使用数据**
 25 | 
 26 | 这里用一次 Miseq 测序一个 Run 的数据进行数据质控示例。本次 Run 一共对20个样品进行了 PE300 的测序。产生的测序数据所见如下：
 27 | 
 28 | .. code-block:: bash
 29 | 
 30 |    $ ls
 31 |    RN01_S01_L001_R1_001.fastq.gz    RN06_S06_L001_R1_001.fastq.gz    RN11_S11_L001_R1_001.fastq.gz    RN16_S16_L001_R1_001.fastq.gz
 32 |    RN01_S01_L001_R2_001.fastq.gz    RN06_S06_L001_R2_001.fastq.gz    RN11_S11_L001_R2_001.fastq.gz    RN16_S16_L001_R2_001.fastq.gz
 33 |    RN02_S02_L001_R1_001.fastq.gz    RN07_S07_L001_R1_001.fastq.gz    RN12_S12_L001_R1_001.fastq.gz    RN17_S17_L001_R1_001.fastq.gz
 34 |    RN02_S02_L001_R2_001.fastq.gz    RN07_S07_L001_R2_001.fastq.gz    RN12_S12_L001_R2_001.fastq.gz    RN17_S17_L001_R2_001.fastq.gz
 35 |    RN03_S03_L001_R1_001.fastq.gz    RN08_S08_L001_R1_001.fastq.gz    RN13_S13_L001_R1_001.fastq.gz    RN18_S18_L001_R1_001.fastq.gz
 36 |    RN03_S03_L001_R2_001.fastq.gz    RN08_S08_L001_R2_001.fastq.gz    RN13_S13_L001_R2_001.fastq.gz    RN18_S18_L001_R2_001.fastq.gz
 37 |    RN04_S04_L001_R1_001.fastq.gz    RN09_S09_L001_R1_001.fastq.gz    RN14_S14_L001_R1_001.fastq.gz    RN19_S19_L001_R1_001.fastq.gz
 38 |    RN04_S04_L001_R2_001.fastq.gz    RN09_S09_L001_R2_001.fastq.gz    RN14_S14_L001_R2_001.fastq.gz    RN19_S19_L001_R2_001.fastq.gz
 39 |    RN05_S05_L001_R1_001.fastq.gz    RN10_S10_L001_R1_001.fastq.gz    RN15_S15_L001_R1_001.fastq.gz    RN20_S20_L001_R1_001.fastq.gz
 40 |    RN05_S06_L001_R2_001.fastq.gz    RN10_S10_L001_R2_001.fastq.gz    RN15_S15_L001_R2_001.fastq.gz    RN20_S20_L001_R2_001.fastq.gz
 41 | 
 42 | **根据样品建立文件夹**
 43 | 
 44 | 首先我们对每一个样品的数据单独建立文件夹，并对 fastq 数据进行基本的质控。
 45 | 
 46 | .. code-block:: bash
 47 | 
 48 |    # 新建以样本名为文件夹名，并移动数据到文件夹的 00_raw 目录下
 49 |    $ for i in $(awk -F'L001' '{gsub("_$", "", $1); print $1}' < (ls *.fastq.gz) | sort | uniq ); \
 50 |    > do mkdir -p $(basename $i) && mkdir -p $(basename $i)/00_raw; \
 51 |    > mv $i*.fastq.gz $(basename $i)/00_raw/ ; done
 52 |    # 查看建立的所有文件夹
 53 |    $ ls -d
 54 |    # 使用 FastQC 对测序数据进行质控分析
 55 |    $ for i in $(ls -d RN*/00_raw/*.fastq.gz); do fastqc $i --extract -t 40 -q -o qc; done
 56 |    $ python -m SimpleHTTPServer
 57 | 
 58 | 打开浏览器，访问URL地址为服务器IP:8000，点击qc链接，里面有 fastqc 生成的各测序数据的 html 质控文件。我们以第一个样本 RN01_S01 为例，发现数据有以下问题：
 59 | 
 60 | - 250循环之后的数据质量不高（见图1）
 61 | - 序列有接头污染（见图2）
 62 | 
 63 | |image1|
 64 | 图1. 长读长区质量不高
 65 | 
 66 | |image2|
 67 | 图2. 接头污染
 68 | 
 69 | **去除接头污染**
 70 | 
 71 | 首先我们要将污染的接头去除，采用 Trimmomatic 进行去除，同时也过滤低质量 reads 序列。
 72 | 
 73 | .. code-block:: python
 74 | 
 75 |    from fadapa import Fadapa
 76 |    from Bio import SeqIO
 77 |    from Bio.Seq import Seq
 78 |    from Bio.SeqRecord import SeqRecord
 79 |    from Bio.Alphabet import generic_nucleotide
 80 |    import argparse
 81 | 
 82 |    parser = argparse.ArgumentParser()
 83 |    parser.add_argument('-i', action=store, dest='qc_file', type=str \
 84 |        help='input your fastqc data')
 85 |    args = parser.parse_args()
 86 | 
 87 |    qc_file = Fadapa(args.qc_file)
 88 | 
 89 |    if qc_file.summary()[-3][0] == 'fail':
 90 |        adaptors = []
 91 |        ors = qc_file.clean_data("Overrepresented sequences")
 92 |        ors.pop(0)
 93 | 
 94 |        for (index, seq) in enumerate(ors):
 95 |            adaptors.append(SeqRecord(Seq(seq[0], generic_nucleotide), id="adaptor_%d" % (index+1), description=""))
 96 | 
 97 |        SeqIO.write(adaptors, "adaptor.fasta", "fasta")
 98 |        print "Overrepresented sequences has been save to adaptors.fasta"
 99 |    else:
100 |        print "No Overrepresented sequences"
101 | 
102 | 上面的 python 脚本使用 Biopython 和 Fadapa 模块将 FastQC 生成的过表达序列保存正接头文件，让 Trimmomatic 进一步处理。
103 | 
104 | .. code-block:: bash
105 | 
106 |    $ echo 'alias trimm="java -jar /opt/Trimmomatic-0.36/trimmomatic-0.36.jar"' >> ~/.bashrc
107 |    $ source ~/.bashrc
108 |    $ trimm PE -threads 40 -phred33 \
109 |    > 00_raw/RN01_S01_L001_R1_001.fastq.gz 00_raw/RN01_S01_L001_R2_001.fastq.gz \
110 |    > 01_trim/R1_trimmed.fastq.gz 01_trim/R1_unpaired.fastq.gz \
111 |    > 02_trim/R2_trimmed.fastq.gz 01_trim/R2_unpaired.fastq.gz \
112 |    > ILLUMINACLIP:01_trim/adaptors/adaptor.fasta:2:30:10 \
113 |    > LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 MINLEN:50
114 | 
115 | **初步拼接**
116 | 
117 | 先用 spades 进行拼接，了解基因组情况。
118 | 
119 | .. code-block:: bash
120 | 
121 |    $ cd RN01_S01/00_raw/
122 |    $ spades.py -k 127 -t 40 --careful -1 01_trim/R1_trimmed.fastq.gz -2 01_trim/R2_trimmed.fastq.gz -o assembly/spades
123 |    $ du -h assembly/spades/scaffolds.fasta
124 |    10.1M    assembly/spades/scaffolds.fasta
125 |    $ cat assembly/spades/scaffolds.fasta | grep '>' | tail -1
126 |    >NODE_3360_....
127 |    $ cat assembly/spades/scaffolds.fasta | grep '>' | awk -F'_' '{if ($6<10) print $0}' | wc -l
128 |    3104
129 | 
130 | 结果获得的 scaffolds.fasta 文件大小为10M左右，而我们测序的目的物种基因组大小仅为3M；里面的 contigs 数量达到3360个，并且 contigs 平均覆盖度小于10的有3100多个，说明原始的测序数据很可能被其他物种污染了。这种污染可能发生在核酸提取，文库制备或者测序中（清洗管路不彻底）
131 | 
132 | **观察覆盖度与污染序列的关系**
133 | 
134 | 
135 | 
136 | 
137 | 
138 | **用 Blast 的方法来筛选污染序列**
139 | 
140 | .. code-block:: bash
141 | 
142 |    # 下载污染物种的基因组数据，进行序列比对，看组装的nodes里那些是来源于污染物种。如果有多个污染物种，则可以将基因组数据合并 `cat 1.fa 2.fa 3.fa > containment.fasta`
143 |    $ makeblastdb -db containment.fasta -parse_seqids -db_type nucl
144 |    $ blastn -db containment.fasta -query scaffolds.fasta -max_hsps 1 -outfmt 6 -out result
145 | 
146 |    # blast 结果的相似性筛选，小于90认为与污染物种不同。将过滤的片段长度求和，判断过滤的片段是否与物种基因组大小一致。如果接近，那么即使有部分片段遗漏，但是大部分基因组数据已经保留。
147 |    $ awk '{ if ($3 < 90) print $1 }' result > filter_nodes
148 |    $ awk -F'_' 'BEGIN {len=0} {len+=$4} END {print len}' filter_nodes
149 | 
150 |    # 进一步用目的物种的参考基因组进行blast，以确保没有其他物种污染。
151 |    $ makeblastdb -db reference.fasta -parse_seqids -db_type nucl
152 |    $ blastn -db reference.fasta -query assembly.fasta -max_hsps 1 -outfmt 6
153 | 
154 | **用 Mapping 目的基因组来筛选 reads 再进行拼接**
155 | 
156 | **抓取目标nodes**
157 | 
158 | .. code-block:: python
159 | 
160 |    # 保存代码到 get_nodes.py 文件中，运行　python get_nodes.py
161 |    from Bio import SeqIO
162 | 
163 |    input_file = 'scaffolds.fasta'
164 |    filter_file = 'filter_nodes'
165 |    output_file = 'assembly.fasta'
166 | 
167 |    wanted = set(line.rstrip("\n").split(None,1)[0] for line in open(filter_file))
168 |    print "Found %i unique identifiers in %s" % (len(wanted), filter_file)
169 |    records = (r for r in SeqIO.parse(input_file, "fasta") if r.id in wanted)
170 |    count = SeqIO.write(records, output_file, "fasta")
171 |    print "Saved %i records from %s to %s" % (count, input_file, output_file)
172 |    if count < len(wanted):
173 |        print "Warning %i IDs not found in %s" % (len(wanted)-count, input_file)
174 | 
175 | 
176 | 
177 | 
178 | 
179 | 
180 | 
181 | .. |image1| image:: ../_static/img/appendix/practice/image1.png
182 | .. |image2| image:: ../_static/img/appendix/practice/image2.png
183 | 


--------------------------------------------------------------------------------
/source/chapter_00/Aspera_Connect.rst:
--------------------------------------------------------------------------------
 1 | Aspera connect
 2 | ==============
 3 | 
 4 | `Aspera <asperasoft.com>`__ 是 IBM 研发的加速在线数据传输的一系列服务器端与客户端的应用。\ `Aspera <asperasoft.com>`__ 的相关工具可以在 `这里 <http://downloads.asperasoft.com/downloads>`__ 下载获得。对于服务器用户，可以使用 `Aspera Connent <http://download.asperasoft.com/download/sw/connect/3.6.1/aspera-connect-3.6.1.110647-linux-64.tar.gz>`__\ ，目前的最新版本是 3.6.1（基于的 ascp 版本是3.5.6）。\ `Aspera
 5 | Connect <download.asperasoft.com/download/docs/connect/3.6.1/user_linux/webhelp/index.html#dita/introduction.html>`__
 6 | 是 `Aspera <asperasoft.com>`__
 7 | 其中的一款用于浏览器下载的高效插件，因为其内嵌了\ ``ascp``
 8 | 命令可以用于服务器，而选择安装这个工具不是使用其 asperaconnect
 9 | 工具。不过安装了 `Aspera
10 | Connect <download.asperasoft.com/download/docs/connect/3.6.1/user_linux/webhelp/index.html#dita/introduction.html>`__
11 | 的带图形界面的客户端，浏览器会在有 Connect, Faspex 或者 Shares
12 | 页面的链接处添加 ascp 下载快捷按钮。
13 | 
14 | 1. 下载安装
15 | -----------
16 | 
17 | `Aspera
18 | Connect <download.asperasoft.com/download/docs/connect/3.6.1/user_linux/webhelp/index.html#dita/introduction.html>`__
19 | 就会安装到当前用户 ``~/.aspera/connect`` 目录或安装在
20 | ``/opt/aspera/connect`` 目录下。
21 | 
22 | .. code:: bash
23 | 
24 |     ~$ cd /tmp
25 |     /tmp$ curl -O http://download.asperasoft.com/download/sw/connect/3.6.1/aspera-connect-3.6.1.110647-linux-64.tar.gz
26 |     /tmp$ tar zxf asper-commect-3.6.1.110647-linux.tar.gz
27 |     /tmp$ ./aspera-connect-3.6.1.110647-linux-64.sh*
28 | 
29 | 对于喜欢使用客户端的桌面用户，也可以使用 `Aspera Desktop Client <http://downloads.asperasoft.com/en/downloads/2>`__ 客户端程序来下载数据。
30 | 
31 | 2. 设置
32 | -------
33 | 
34 | 服务器端没有 GUI 图形化界面。如果在 Desktop 版本的 Linux 操作系统上，可以运行 `asperaconnect`, 可以看到相应的配置界面。
35 | 


--------------------------------------------------------------------------------
/source/chapter_00/FastQC.rst:
--------------------------------------------------------------------------------
1 | FastQC
2 | ======
3 | 


--------------------------------------------------------------------------------
/source/chapter_00/RAxML.rst:
--------------------------------------------------------------------------------
 1 | RAxML
 2 | =====
 3 | 
 4 | 1. 安装 RAxML
 5 | -------------
 6 | 
 7 | 从 github 仓库克隆代码安装。
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    $ git clone https://github.com/stamatak/standard-RAxML
12 |    $ cd standard-RAxML
13 |    $ make -f Makefile.SSE3.PTHREADS.gcc && rm *.o
14 |    $ sudo ln -s `pwd`/raxmlHPC-PTHREADS-SSE3 /usr/local/bin/raxml
15 | 
16 | 2. 使用 RAxML
17 | -------------
18 | 
19 | .. code-block:: bash
20 | 
21 |    # 绘制无根树
22 |    $ raxml -s alignment.phy -m GTRGAMMA -p 12345 -T 40 -w raxml_output -n raxml
23 |    # 绘制有跟树，如根名叫 xyz
24 |    $ raxml -s alignment.phy -m GTRGAMMA -p 12345 -o xyz
25 | 
26 | 3. Reference
27 | ------------
28 | 
29 | * http://sco.h-its.org/exelixis/resource/doc/Phylo100225.pdf
30 | 


--------------------------------------------------------------------------------
/source/chapter_00/SPAdes.rst:
--------------------------------------------------------------------------------
 1 | SPAdes
 2 | ======
 3 | 
 4 | 1. 下载并安装 SPAdes
 5 | --------------------
 6 | 
 7 | .. code-block:: bash
 8 | 
 9 |     $ curl -O http://spades.bioinf.spbau.ru/release3.1.1/SPAdes-3.9.1-Linux.tar.gz
10 |     $ tar zxvf SPAdes-3.9.1-Linux.tar.gz
11 |     $ sudo mv SPAdes-3.9.1-Linux /opt/spades
12 |     $ sudo ln -s /opt/spades/bin/* /usr/local/sbin
13 | 
14 | 2. 拼装基因组
15 | -------------
16 | 
17 | .. code-block:: bash
18 | 
19 |     # 对PE250以上的测序数据
20 |     $ spades.py -t 40 -k 21,33,55,77,99,127 --careful \
21 |     > -1 sample1_R1.fastq -2 sample2_R2.fastq -o assembly_spades
22 | 


--------------------------------------------------------------------------------
/source/chapter_00/index.rst:
--------------------------------------------------------------------------------
 1 | 第零章. 安装和使用软件
 2 | ======================
 3 | 
 4 | 安装软件
 5 | 
 6 | .. toctree::
 7 |    :maxdepth: 1
 8 | 
 9 |    Aspera_Connect
10 |    FastQC
11 |    SPAdes
12 |    RAxML
13 | 


--------------------------------------------------------------------------------
/source/chapter_01/02_quality_control.rst:
--------------------------------------------------------------------------------
 1 | 第1节. 数据质控
 2 | ===============
 3 | 
 4 | 查看测序数据的质量情况。
 5 | 
 6 | 1. FastQC
 7 | ---------
 8 | 
 9 | FastQC 可能是最常用，也是最直观的测序数据质量控制软件。
10 | 
11 | 1.1 安装 FastQC
12 | ^^^^^^^^^^^^^^^
13 | 
14 | FastQC
15 | 可以在图形界面下运行，如果在不带有图形界面的系统环境里也可以通过生成
16 | html 报告再通过浏览器打开来查看结果。
17 | 
18 | .. code-block:: bash
19 | 
20 |     ~/tmp$ wget http://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.11.5.zip
21 |     ~/tmp$ unzip fastqc_v0.11.5.zip -d ~/app
22 |     ~/tmp$ sudo ln -s ~/app/FastQC/fastqc /usr/local/sbin
23 | 
24 | .. code-block:: bash
25 | 
26 |     # run fastqc in GUI mode
27 |     ~$ fastqc
28 |     # run fastqc in command line mode
29 |     ~$ fastqc -f fastq ~/data/*.fastq
30 | 
31 | 1.2 生成报告
32 | ^^^^^^^^^^^^
33 | 
34 | 生成 html 报告文件和对应的 zip 压缩文件，并通过 scp
35 | 命令传输到本地后用浏览器打开查看。
36 | 
37 | .. code-block:: bash
38 | 
39 |     # scp  your linux/mac desktop system
40 |     ~$ scp -i username@server-ip:~/data/* ~/
41 |     # open it by google-chrome
42 |     ~$ google-chrome *.html
43 | 
44 | 1.3 结果说明
45 | ^^^^^^^^^^^^
46 | 
47 | FastQC 结果由11个模块组成，对于结果报告各个模块的说明可以参见
48 | `FastQC <http://www.bioinformatics.babraham.ac.uk/projects/fastqc/>`__
49 | 文档。
50 | 
51 | +-----------------------------------+------------------------------------------+
52 | | Module                            | Explanation                              |
53 | +===================================+==========================================+
54 | | **Basic Statistics**              | fastq文件的基本信息，可以看到序列数量和  |
55 | |                                   | 读长，fastq文件版本，GC含量等。          |
56 | +-----------------------------------+------------------------------------------+
57 | | **Per base sequence quality**     | 最重要的结果模块之一，你可以从这个模块   |
58 | |                                   | 的图示中了解序列中各个碱基的质量。       |
59 | +-----------------------------------+------------------------------------------+
60 | | **Per sequence quality score**    | ...                                      |
61 | +-----------------------------------+------------------------------------------+
62 | | **Per base sequence content**     | ...                                      |
63 | +-----------------------------------+------------------------------------------+
64 | 
65 | 数据处理：通过FastQC各个模块查看，发现低质量的序列需要切除或者序列污染的，比如smallRNA测序，文库被污染了接头等情况时，需要对数据进行去除污染序列的处理。
66 | 
67 | --------------------------------------------------------------------------------
68 | 
69 | 2. Picard
70 | ---------
71 | 
72 | `Picard <http://broadinstitute.github.io/picard/>`__ 是
73 | `BroadInstitute <https://www.broadinstitute.org/>`__ 使用 Java
74 | 语言开发的针对 BAM 等高通量测序数据的处理工具，特别是针对 Illumina
75 | 平台的数据。它可以提供一个测序质量和数据基本特性的报告。
76 | 
77 | 2.1 安装 Picard
78 | ^^^^^^^^^^^^^^^
79 | 
80 | .. code-block:: bash
81 | 
82 |    ~/tmp$ wget https://github.com/broadinstitute/picard/releases/download/1.123/picard-tools-1.123.zip
83 |    ~/tmp$ unzip -n picard-tools-1.123.zip -d ~/app
84 | 
85 | 2.2 使用 Picard
86 | ^^^^^^^^^^^^^^^
87 | 
88 | Reference
89 | ---------
90 | 
91 | 1. `Fastx\_toolkit <http://hannonlab.cshl.edu/fastx_toolkit/>`__
92 | 2. `The Picard
93 |    Pipeline <https://www.broadinstitute.org/files/shared/mpg/plathumgen/plathumgen_fennell.pdf>`__
94 | 


--------------------------------------------------------------------------------
/source/chapter_01/03_assembly.rst:
--------------------------------------------------------------------------------
  1 | 第2节. 基因组拼接
  2 | =================
  3 | 
  4 | 微生物基因组测序后的拼接工作，有许多软件可以完成。近几年不断有新的优秀拼接软件涌现，本节仅挑选几个微生物基因组拼接使用较多也是评测中比较优秀的几个工具。也可以先对自己的测序物种做一个 assembly evaluation，选择比较适合的拼接软件。
  5 | 
  6 | **常用拼接软件工具列表**
  7 | - `SPAdes <http://spades.bioinf.spbau.ru/>`_
  8 | - `MaSuRCA <http://www.genome.umd.edu/masurca.html>`_
  9 | - Velvet
 10 | - A5_miseq
 11 | 
 12 | 更多工具可以参见`这里 <https://omictools.com/genome-assembly-category>`_
 13 | 
 14 | --------------------------------------------------------------------------------
 15 | 
 16 | 1. SPAdes
 17 | ---------
 18 | 
 19 | SPAdes 是由
 20 | 
 21 | 1.1 下载并安装 SPAdes
 22 | ^^^^^^^^^^^^^^^^^^^^^
 23 | 
 24 | .. code-block:: bash
 25 | 
 26 |    ~/tmp$ curl -O http://spades.bioinf.spbau.ru/release3.9.0/SPAdes-3.9.0-Linux.tar.gz
 27 |    ~/tmp$ tar zxf SPAdes-3.9.0-Linux.tar.gz -C ~/app
 28 |    ~/tmp$ cd ~/app
 29 |    ~/app$ sudo ln -s `pwd`/SPAdes-3.9.0-Linux/bin/* /usr/local/sbin
 30 | 
 31 | 1.2 拼装基因组
 32 | ^^^^^^^^^^^^^^
 33 | 
 34 | .. code-block:: bash
 35 | 
 36 |    # -t 40 表示用40个 threads 进行拼接，根据自己电脑的CPU情况自行设置。
 37 |    ~/app$ spades.py -t 40 -1 SRR95386_1.fastq -2 SRR955386_2.fastq -o spades_output
 38 | 
 39 | SPAdes会尝试不同的Kmer，因此拼装时间也会根据Kmer选择数量成倍增加。对于常见的 Miseq v2/v3 试剂盒，采用 PE150/PE250/PE300 的读长测序，常用的拼接命令是：
 40 | 
 41 | .. code-block:: bash
 42 | 
 43 |    # PE150 读长测序数据
 44 |    ~/apps$ spades.py -t 40 -k 21,33,55,77 --careful -1 SRR95386_1.fastq -2 SRR955386_2.fastq -o SRR95386_output
 45 |    # PE250/300 读长测序数据
 46 |    ~/apps$ spades.py -t 40 -k 21,33,55,77,99,127 --careful -1 SRR95386_1.fastq -2 SRR955386_2.fastq -o SRR95386_output
 47 | 
 48 | --------------------------------------------------------------------------------
 49 | 
 50 | 2. Macursa
 51 | ----------
 52 | 
 53 | 2.1 下载并安装 MaSuRCA
 54 | ^^^^^^^^^^^^^^^^^^^^^^
 55 | 
 56 | .. code-block:: bash
 57 | 
 58 |    ~/tmp$ curl -O ftp://ftp.genome.umd.edu/pub/MaSuRCA/MaSuRCA-3.1.3.tar.gz
 59 |    ~/tmp$ tar zxvf MaSuRCA-3.1.3.tar.gz -C ~/app
 60 |    ~/tmp$ cd ~/app
 61 |    ~/app$ ./MaSuRCA-2.3.0/install.sh
 62 |    ~/app$ sudo ln -s `pwd`/MaSuRCA-2.3.0/bin/masurca /usr/local/sbin
 63 | 
 64 | 2.2 建立拼装配置文件
 65 | ^^^^^^^^^^^^^^^^^^^^
 66 | 
 67 | .. code-block:: bash
 68 | 
 69 |    ~/data$ touch SRR955386_masurca.config
 70 |    ~/data$ nano SRR955386_masurca.config
 71 | 
 72 | 文件内容修改如下：
 73 | 
 74 | .. code-block:: bash
 75 | 
 76 |    DATA
 77 |    PE= p1 500 50 SRR955386_1.fastq SRR955386_2.fastq
 78 |    END
 79 | 
 80 |    PARAMETERS
 81 |    GRAPH_KMER_SIZE=auto
 82 |    USE_LINKING_MATES=1
 83 |    LIMIT_JUMP_COVERAGE = 60
 84 |    KMER_COUNT_THRESHOLD = 1
 85 |    NUM_THREADS= 2
 86 |    JF_SIZE=100000000
 87 |    DO_HOMOPOLYMER_TRIM=0
 88 |    END
 89 | 
 90 | 设置 **GRAPH_KMER_SIZE=auto**，软件会调用Kmer=31来进行拼装。对于MiSeq PE250以上的插片，可以考虑手动设置使用更大的Kmer。
 91 | 
 92 | 2.3 开始拼装
 93 | ^^^^^^^^^^^^
 94 | 
 95 | .. code-block:: bash
 96 | 
 97 |    ~/app$ masurca SRR955386_masurca.config
 98 |    ~/app$ ./assemble.sh
 99 | 
100 | --------------------------------------------------------------------------------
101 | 
102 | 3. Velvet
103 | ---------
104 | 
105 | 3.1 下载并安装
106 | ^^^^^^^^^^^^^^
107 | 
108 | Velvet 是一个老牌的基因组测序数据拼接软件。Velvet最新版本是1.2.10，可以访问 `官方网站 <https://www.ebi.ac.uk/~zerbino/velvet/>`_ 下载源代码包，也可以通过克隆 `软件仓库 <https://github.com/dzerbino/velvet.git>`_ 的方式获得最新的源代码。
109 | 
110 | **下载源代码**
111 | 
112 | 普通用户可以下载源代码包自行编译获得软件。
113 | 
114 | .. code-block:: bash
115 | 
116 |    ~$ cd /tmp
117 |    ~/tmp$ wget https://www.ebi.ac.uk/~zerbino/velvet/velvet_1.2.10.tgz
118 |    ~/tmp$ tar xvf velvet_1.2.10.tgz -C ~/app/velvet
119 | 
120 | **克隆代码仓库**
121 | 
122 | 如果在软件运行中遇到问题，想试用最新版代码，或是有能力提交issues，或者想改进软件参与开源代码编写的可以选择克隆代码库的方式。
123 | 
124 | .. code-block:: bash
125 | 
126 |    ~$ cd ~/tmp
127 |    ~/tmp$ git clone https://github.com/dzerbino/velvet.git
128 | 
129 | **编译安装**
130 | 
131 | make可以进行编译，有几个编译参数可以选择，分别是MAXKMERLENGTH, DIRECTORY
132 | 
133 | .. code-block:: bash
134 | 
135 |    ~$ cd ~/app/velvet
136 |    ~/app/velvet$ make 'MAXKMERLENGTH=127'
137 |    ~/app/velvet$ sudo cp velveth velvetg /usr/local/sbin
138 | 
139 | 3.2 拼接基因组
140 | ^^^^^^^^^^^^^^
141 | 
142 | velvet软件由2个可执行文件 `velveth` 和 `velvetg` 组成。
143 | 
144 | .. code-block
145 | 
146 |    ~$ velvet
147 | 
148 | 3.3 其他组件
149 | ^^^^^^^^^^^^
150 | 
151 | --------------------------------------------------------------------------------
152 | 
153 | 4. A5-miseq
154 | -----------
155 | 
156 | `A5-miseq <https://sourceforge.net/projects/ngopt/>`__ 是一个用 perl
157 | 开发的针对细菌基因组 de novo assembly 的 pipeline
158 | 工具。它本身不参与组装，而是通过组合一套工具来完成工作，工具集包括：
159 | 
160 | - bwa
161 | - samtools
162 | - SGA
163 | - bowtie
164 | - Trimmomatic
165 | - IDBA-UD
166 | - SSPACE
167 | 
168 | 这些工具都以及集成在 A5-miseq 中，不需要另外安装。为了避免不同版本的
169 | samtools，bowtie 对结果产生的差异，建议采用虚拟环境如 docker
170 | 等来隔离运行环境。
171 | 
172 | 4.1 安装 A5-miseq
173 | ^^^^^^^^^^^^^^^^^
174 | 
175 | 下载预编译包安装
176 | ~~~~~~~~~~~~~~~~
177 | 
178 | .. code-block:: bash
179 | 
180 |    ~/tmp$ wget http://downloads.sourceforge.net/project/ngopt/a5_miseq_linux_20150522.tar.gz
181 |    ~/tmp$ tar zxvf a5_miseq_linux_20150522.tar.gz -C ~/app
182 |    ~/tmp$ sudo ln -s ~/app/a5_miseq_linux_20150522/bin/a5_pipeline.pl /usr/local/sbin
183 | 
184 | 建立 Docker 容器安装
185 | ~~~~~~~~~~~~~~~~~~~~
186 | 
187 | .. code-block:: bash
188 | 
189 |    ~/docker$ mkdir -p a5-miseq && cd a5-miseq
190 |    ~/docker/a5-miseq$ touch Dockerfile
191 | 
192 | .. code-block:: bash
193 | 
194 |    FROM ubuntu:latest
195 |    MAINTAINER Mark Renton <indexofire@gmail.com>
196 | 
197 |    RUN apt-get update -qy
198 |    RUN apt-get install -qy openjdk-7-jre-headless file
199 |    ADD http://downloads.sourceforge.net/project/ngopt/a5_miseq_linux_20150522.tar.gz /tmp/a5_miseq.tar.gz
200 |    RUN mkdir /tmp/a5_miseq
201 |    RUN tar xzf /tmp/a5_miseq.tar.gz --directory /tmp/a5_miseq --strip-components=1
202 |    ADD run /usr/local/bin/
203 |    ADD Procfile /
204 |    ENTRYPOINT ["/usr/local/bin/run"]
205 | 
206 | 4.2 使用 A5-miseq
207 | ^^^^^^^^^^^^^^^^^
208 | 
209 | .. code-block:: bash
210 | 
211 |     $ perl a5_pipeline.pl SRR955386_1.fastq SRR955386_2.fastq ~/data/a5_output
212 | 
213 | 4.3 A5-miseq 文档
214 | ^^^^^^^^^^^^^^^^^
215 | 
216 | 查看 A5-miseq 工具的使用文档可以用 a5_pipeline.pl 工具查看。
217 | 
218 | .. code-block:: bash
219 | 
220 |     # Usage:
221 |     $ a5_pipeline.pl [--begin=1-5] [--end=1-5] [--preprocessed] <lib_file> <out_base>
222 | 
223 | Reference:
224 | ----------
225 | 
226 | * http://www.chenlianfu.com/?p=1635
227 | * http://www.bbioo.com/lifesciences/40-116878-1.html
228 | * http://www.plob.org/2012/11/21/4797.html
229 | * http://ged.msu.edu/angus/tutorials-2011/short-read-assembly-velvet.html
230 | 


--------------------------------------------------------------------------------
/source/chapter_01/04_annotation.rst:
--------------------------------------------------------------------------------
 1 | 第3节. 注释拼接基因组
 2 | =====================
 3 | 
 4 | 基因组草图获得后，对其进行注释。
 5 | 
 6 | 1. Prokka
 7 | ---------
 8 | 
 9 | 1.1 安装 Prokka
10 | ^^^^^^^^^^^^^^^
11 | 
12 | 安装 Bioperl
13 | ~~~~~~~~~~~~
14 | 
15 | .. code-block:: bash
16 | 
17 |    ~$ sudo apt-get install cpanminus
18 |    ~$ cpanm Bio::Perl XML::Simple
19 | 
20 | 安装 rRNA predictor
21 | ~~~~~~~~~~~~~~~~~~~
22 | 
23 | 这里选择Barrnap
24 | 
25 | .. code-block:: bash
26 | 
27 |    ~/tmp$ wget http://www.vicbioinformatics.com/barrnap-0.5.tar.gz
28 |    ~/tmp$ tar zxvf barrnap-0.5.tar.gz -C ~/app/
29 |    ~/tmp$ echo "export PATH=$PATH:$HOME/app/barrnap-0.5/bin" >> ~/.bashrc
30 |    ~/tmp$ source ~/.bashrc
31 | 
32 | 安装 prokka
33 | ~~~~~~~~~~~
34 | 
35 | .. code-block:: bash
36 | 
37 |    ~/tmp$ wget http://www.vicbioinformatics.com/prokka-1.11.tar.gz
38 |    ~/tmp$ tar zxvf prokka-1.11.tar.gz -C ~/app
39 |    ~/tmp$ echo "export PATH=$PATH:$HOME/app/prokka-1.11/bin" >> ~/.bashrc
40 |    ~/tmp$ source ~/.bashrc
41 |    ~/tmp$ prokka --setupdb
42 | 
43 | 1.2 注释基因组
44 | ^^^^^^^^^^^^^^
45 | 
46 | .. code-block:: bash
47 | 
48 |     ~/data$ prokka genome_contig.fasta
49 | 
50 | --------------------------------------------------------------------------------
51 | 
52 | 2. PGAAP
53 | --------
54 | 
55 | http://www.ncbi.nlm.nih.gov/genome/annotation_prok/
56 | http://www.ncbi.nlm.nih.gov/books/NBK174280/
57 | 
58 | --------------------------------------------------------------------------------
59 | 
60 | 3. RAST
61 | -------
62 | 
63 | Reference:
64 | ----------
65 | 
66 | 1.
67 | 2.
68 | 


--------------------------------------------------------------------------------
/source/chapter_01/05_practice.rst:
--------------------------------------------------------------------------------
 1 | Miseq 下机数据分析应用实例
 2 | ==========================
 3 | 
 4 | 在 Miseq 上通过对24个混合样本的PE测序，获得的下机 PF Data，从 Quality Control
 5 | 到 de novo assembly 过程的基本操作流程。[#f1]
 6 | 
 7 | 1. 前期处理
 8 | -----------
 9 | 
10 | 1.1 分样
11 | ~~~~~~~~
12 | 
13 | 为了避免文件混乱，首先将获得的001~024样本的 fastq 文件分别移动到以样本名命名的
14 | 24个文件夹中，分别进行操作。
15 | 
16 | .. code-block:: bash
17 | 
18 |     # 产生的数据文件名为格式为 0*_S*_L001_R1_001.fastq.gz/0*_S*_L001_R2.fastq.gz
19 |     ~/data$ ls
20 |     001_S1_L001_R1_001.fastq.gz   003_S3_L001_R1_001.fastq.gz   005_S5_L001_R1_001.fastq.gz
21 |     001_S1_L001_R2_001.fastq.gz   003_S3_L001_R2_001.fastq.gz   005_S5_L001_R2_001.fastq.gz
22 |     002_S2_L001_R1_001.fastq.gz   004_S4_L001_R1_001.fastq.gz   006_S6_L001_R1_001.fastq.gz
23 |     002_S2_L001_R2_001.fastq.gz   004_S4_L001_R2_001.fastq.gz   006_S6_L001_R2_001.fastq.gz
24 |     ...
25 |     022_S22_L001_R1_001.fastq.gz   023_S23_L001_R1_001.fastq.gz   024_S24_L001_R1_001.fastq.gz
26 |     022_S22_L001_R2_001.fastq.gz   023_S23_L001_R2_001.fastq.gz   024_S24_L001_R2_001.fastq.gz
27 | 
28 |     # 新建以样本名为文件夹名，并移动数据到文件夹的raw目录下
29 |     ~/data$ for i in $(awk -F"L001" '{gsub("_$","",$1);print $1}' \
30 |     > <(ls -D *.fastq.gz) | sort | uniq); \
31 |     > do mkdir $(basename $i) && mkdir $(basename $i)/raw; \
32 |     > mv $i*.fastq.gz $(basename $i)/raw/ ; done
33 | 
34 |     # 查看生成的各个样本的文件夹
35 |     ~/data$ ls -d */
36 |     001_S1    002_S2    003_S32   004_S4    005_S5    006_S6
37 |     ...
38 | 
39 | 1.2 查看测序质量
40 | ~~~~~~~~~~~~~~~~
41 | 
42 | 1.2.1 FastQC
43 | ^^^^^^^^^^^^
44 | 
45 | 用 FastQC 生成 html 格式的质量结果报告，用 Python 自带模块
46 | SimpleHTTPServer 建立一个简便的 HTTP Server，以便查看 html 文档。
47 | 
48 | .. code-block:: bash
49 | 
50 |     ~/data$ mkdir -p qc
51 |     ~/data$ for i in $(ls -d 0*/raw/*.fastq.gz); \
52 |     > do fastqc $i --extract -t 40 -q -o qc ; done
53 |     ~/data$ python -m SimpleHTTPServer
54 | 
55 | 然后用客户端浏览器访问服务器IP:8080来查看，比如我们的服务器IP地址是
56 | 10.44.35.122，就在浏览器地址栏里输入http://10.44.35.122:8000，可以看到所在文件
57 | 夹的文件链接页面了。
58 | 
59 | 1.2.2 Quast
60 | ^^^^^^^^^^^
61 | 
62 | 用Quast生成
63 | 
64 | 1.3 去除接头
65 | ~~~~~~~~~~~~
66 | 
67 | 从前面的数据显示，部分插入片段比较短，因此部分reads测出接头序列。
68 | 
69 | 1.4 去除低质量reads
70 | ~~~~~~~~~~~~~~~~~~~
71 | 
72 | Miseq v3
73 | 的PE300试剂最大的问题在于3'端急速下降的质量，特别是PE测序中R2端的质量。
74 | 
75 | 
76 | .. rubric:: Reference
77 | 
78 | .. [#f1] ../chapter_04/index.html
79 | 


--------------------------------------------------------------------------------
/source/chapter_01/index.rst:
--------------------------------------------------------------------------------
 1 | 第一章. 基因组数据处理
 2 | ======================
 3 | 
 4 | 本章主要介绍如何从公共数据库获得基因组 NGS 数据，并以公共数据库数据为例进行基因组数据前期处理，包括质控，拼接，注释等基本工作。
 5 | 
 6 | .. toctree::
 7 |    :maxdepth: 1
 8 | 
 9 |    01_get_data
10 |    02_quality_control
11 |    03_assembly
12 |    04_annotation
13 |    05_practice
14 | 


--------------------------------------------------------------------------------
/source/chapter_02/01_blast.rst:
--------------------------------------------------------------------------------
  1 | 第1节. 使用本地 Blast 应用
  2 | ==========================
  3 | 
  4 | blast_ 工具用来进行序列相似性比对。常见的使用是通过访问 http://blast.ncbi.nlm.nih.gov/Blast.cgi，使用基于 Web 及面的 blast_ 工具，调用 NCBI 相应的序列数据库来进行比对。此外在 NCBI 很多工具集里。
  5 | 
  6 | .. note::
  7 |     blast_ 工具可以进行序列相似性比对。在 NGS 数据分析中经常会被使用到，特别是一些工具中需要使用 blast 来作序列比对。拿到测序完成的草图后，因为基因组数据较大，连接NCBI网站往往又非常缓慢，所以要做 Blast 比对的话都需要做 Local Blast。这里介绍2个方式来实现：
  8 | 
  9 | 1. 用命令行进行 Blast
 10 | 2. 快速构建 Blast Web 服务
 11 | 
 12 | 1. 使用本地 Blast
 13 | -----------------
 14 | 
 15 | **blast** 和 **ncbi_blast+** 这2个程序集容易搞混。NCBI 最早在1989年创建 Basic Local Alignment Search Tool 工具，沿用至2009年无论是命令行工具或是在线程序，都称呼其为blast。2009年 NCBI 鉴于 ``blast`` 的一些不足，重新开发了新的 ncbi_blast+ 命令行工具，新的 ncbi_blast+ 工具在速度上有了提升，在输入输出上也更为灵活。
 16 | 
 17 | 目前 Blast 工具最新版是2012年发布的\ **2.2.26**\ （已经暂停版本更新并不做进一步支持），而 ncbi_blast+ 目前一直在更新。要区分2者也很简单，blast 是通过 blastall -p 的方式调用子程序来比对搜索的，而 blast+ 则是直接使用 blastn 或 blastp 等子程序来比对搜索。另外前者用 formatdb 程序来格式化数据库，后者用 makeblastdb 程序来格式化数据。
 18 | 
 19 | 1.1 Blast
 20 | ^^^^^^^^^
 21 | 
 22 | **Blast的下载与安装**
 23 | 
 24 | .. code-block:: bash
 25 | 
 26 |    # 安装 Ubuntu 编译包。
 27 |    ~$ sudo apt-get install blast2
 28 | 
 29 |    # 或者直接下载NCBI Linux预编译包，并解压缩安装
 30 |    ~$ wget ftp://ftp.ncbi.nih.gov/blast/executables/legacy/2.2.26/blast-2.2.26-x64-linux.tar.gz
 31 |    ~$ tar zxvf blast-2.2.26-x64 -C ~/app
 32 |    ~$ sudo ln -s ~/app/blast-2.2.26-x64/blastall /usr/local/sbin
 33 | 
 34 | **运行 Blast**
 35 | 
 36 | Blast 通过调用 blastall 这个程序来调用不同算法和程序实现序列比对。在命令行中输入 blastall ，会打印出一份参数列表。你也可以使用 ``man blast`` 来查看 Blast 工具的用户手册。
 37 | 
 38 | .. code-block:: bash
 39 | 
 40 |    ~$ blastall
 41 | 
 42 | **参数说明：**
 43 | 
 44 | .. code-block:: bash
 45 | 
 46 |     -p: 指定要运行的 blast 程序。可以调用的有:
 47 |         blastp             将氨基酸序列与蛋白质数据库比对
 48 |         blastn             将核酸序列与核酸数据库比对
 49 |         blastx             将核酸序列翻译成蛋白序列后与非冗余(nr)蛋白质数据库比对
 50 |         psitblastn
 51 |         tblastn
 52 |         tblastx
 53 |     -d: 指定要调用数据库，默认值是非冗余(nr)数据库。本地 Blast 比对一般来说都是调用 formatdb 格式化的数据库。
 54 |     -i: 输入，默认值是终端输入，也可以使用文件的方式，比如 -i seq.fasta
 55 |     -o: 输出，默认值是终端打印输出，也可以使用文件的方式，比如 -o result.txt
 56 |     -e: 期望值。
 57 |     -T: 输出文件格式，默认值为F(False)，想输出HTML格式的可以用 -T T
 58 |     -M: 矩阵算法选择，默认值是 BLOSUM62
 59 |     -n: 如果想使用MegaBlast，就设置 -n T
 60 |     -b: 数据库中的比对结果显示条目数，默认是250条记录。
 61 |     -m: 比对结果的输出显示方式，值为0~11，默认是0。各个数字含义见下表。
 62 | 
 63 | +-----------+-----------------------------------------------------+
 64 | | 数值      | 代表含义                                            |
 65 | +===========+=====================================================+
 66 | | 0         | pairwise                                            |
 67 | +-----------+-----------------------------------------------------+
 68 | | 1         | query-anchored showing identities                   |
 69 | +-----------+-----------------------------------------------------+
 70 | | 2         | query-anchored no identities                        |
 71 | +-----------+-----------------------------------------------------+
 72 | | 3         | flat query-anchored, show identities                |
 73 | +-----------+-----------------------------------------------------+
 74 | | 4         | flat query-anchored, no identities                  |
 75 | +-----------+-----------------------------------------------------+
 76 | | 5         | query-anchored no identities and blunt ends         |
 77 | +-----------+-----------------------------------------------------+
 78 | | 6         | flat query-anchored, no identities and blunt ends   |
 79 | +-----------+-----------------------------------------------------+
 80 | | 7         | XML Blast output                                    |
 81 | +-----------+-----------------------------------------------------+
 82 | | 8         | tabular                                             |
 83 | +-----------+-----------------------------------------------------+
 84 | | 9         | tabular with comment lines                          |
 85 | +-----------+-----------------------------------------------------+
 86 | | 10        | ASN, text                                           |
 87 | +-----------+-----------------------------------------------------+
 88 | | 11        | ASN, binary [Integer]                               |
 89 | +-----------+-----------------------------------------------------+
 90 | 
 91 | 其他参数参见\ ``man blast``\ 。
 92 | 
 93 | **应用举例:**
 94 | 
 95 | Local blast例子：获得一条大肠杆菌序列 myseq.fasta，要和 EDL933 进行比对。首先下载 EDL933 的基因组数据，并格式化作为本地数据库，然后使用 blastn 对序列进行比对。
 96 | 
 97 | .. code-block:: bash
 98 | 
 99 |    # 使用 edirect 工具的 efetch 下载 EDL933 基因组数据
100 |    ~$ efetch db=nuccore -format=fasta -id=AE005174 > AE005174.fasta
101 |    # 使用 blast 的 formatdb 工具将 EDL933 基因组数据格式化成用于比对的数据库格式
102 |    ~$ formatdb -i AE005174.2.fasta -o T -p F
103 |    # 调用 blastn 的方式比对 myseq.fasta 和 EDL933 序列
104 |    ~$ blastall -i myseq.fasta -d AE005174.2.fasta -p blastn
105 | 
106 | 1.2 NCBI_blast+
107 | ^^^^^^^^^^^^^^^
108 | 
109 | 目前 NCBI_blast+ 最新版为 v2.4.0。
110 | 
111 | **下载安装 NCBI Blast+**
112 | 
113 | .. code-block:: bash
114 | 
115 |    # 安装 Ubuntu 编译包
116 |    ~$ sudo apt-get install ncbi-blast+
117 | 
118 |    # 直接在 NCBI 官方 FTP 站点下载预编译包解压缩安装
119 |    ~/tmp$ wget ftp://ftp.ncbi.nih.gov/blast/executables/blast+/2.4.0/ncbi-blast-2.4.0+-x64-linux.tar.gz
120 |    ~/tmp$ tar zxf ncbi-blast-2.4.0+-x64-linux.tar.gz
121 | 
122 | **构建数据库**
123 | 
124 | .. code-block:: bash
125 | 
126 |    ~$ makeblastdb -in data/database.fasta -dbtype nucl -parse_seqids
127 | 
128 | **应用举例:**
129 | 
130 | NGS 测序时为了保证 DNA 质量，往往会对物种进行鉴定，采用 16s rDNA 测序的方法。公司给了一堆拼接的txt文件，里面内容是不同物种样本的 16s rDNA 序列。当样本量很大，比如1000条时，如果一条条去 NCBI 上比对也是浪费精力和时间。可以用 local blast 来批量处理。首先下载各个目的物种的16s rDNA序列，并将其格式化成数据库。
131 | 
132 | .. code-block:: bash
133 | 
134 |    # 生成结果报告
135 |    ~$ for i in *.txt; do blastn -db database.fasta -query $i -outfmt 6 >> result; done
136 | 
137 | 
138 | http://www.personal.psu.edu/iua1/courses/files/2014/lecture-12.pdf
139 | 
140 | --------------------------------------------------------------------------------
141 | 
142 | 2. Local Blast 使用 nr 数据库
143 | -----------------------------
144 | 
145 | 2.1 下载 NCBI nr 数据库
146 | 
147 | .. code-block:: bash
148 | 
149 |    ~$ nohup update_blastdb.pl nt nr > log &
150 |    ~$ blastn -query myseq.fa -db nt -outfmt 11 -out result
151 | 
152 | 
153 | 3. 构建自己的 blast web 服务
154 | ----------------------------
155 | 
156 | 3.1 blastkit
157 | ^^^^^^^^^^^^
158 | 
159 | blastkit 是一个包含webserver等工具的blast工具集。
160 | 
161 | **安装依赖包**
162 | 
163 | .. code-block:: bash
164 | 
165 |    ~$ sudo pip install pygr
166 |    ~$ sudo pip install whoosh
167 |    ~$ sudo pip install git+https://github.com/ctb/pygr-draw.git
168 |    ~$ sudo pip install git+https://github.com/ged-lab/screed.git
169 |    ~$ sudo apt-get -y install lighttpd
170 | 
171 | **对lighttpd webserver进行配置**
172 | 
173 | .. code-block:: bash
174 | 
175 |    ~$ cd /etc/lighttpd/conf-enabled
176 |    ~$ sudo ln -fs ../conf-available/10-cgi.conf ./
177 |    ~$ sudo echo 'cgi.assign = ( ".cgi" => "" )' >> 10-cgi.conf
178 |    ~$ sudo echo 'index-file.names += ( "index.cgi" ) ' >> 10-cgi.conf
179 |    ~$ sudo /etc/init.d/lighttpd restart
180 | 
181 | **本地安装 Blast**
182 | 
183 | .. code-block:: bash
184 | 
185 |    ~$ cd tmp
186 |    ~/tmp$ wget ftp://ftp.ncbi.nih.gov/blast/executables/legacy/2.2.26/blast-2.2.26-x64-linux.tar.gz
187 |    ~/tmp$ tar xzf blast-2.2.26-x64-linux.tar.gz -C ~/app
188 |    ~/tmp$ sudo cp ~/app/blast-2.2.26/bin/* /usr/local/sbin
189 |    ~/tmp$ sudo cp -r ~/app/blast-2.2.26/data /usr/local/blast-data
190 | 
191 | **安装 blastkit**
192 | 
193 | .. code-block:: bash
194 | 
195 |    ~/tmp$ cd ~/app
196 |    ~/app$ git clone https://github.com/ctb/blastkit.git -b ec2
197 |    ~/app$ cd blastkit/www
198 |    ~/app/blastkit/www$ sudo ln -fs $PWD /var/www/blastkit
199 |    ~/app/blastkit/www$ mkdir files
200 |    ~/app/blastkit/www$ chmod a+rxwt files
201 |    ~/app/blastkit/www$ chmod +x /root
202 |    ~/app/blastkit/www$ cd ..
203 |    ~/app/blastkit$ python ./check.py
204 | 
205 | 如果安装顺利，就会提示一切已经准备完毕。接下来要准备数据。
206 | 
207 | .. code-block:: bash
208 | 
209 |    ~$ cp /mnt/assembly/ecoli.21/contigs.fa ~/app/blastkit/db/db.fa
210 |    ~$ cd ~/app/blastkit
211 |    ~$ formatdb -i db/db.fa -o T -p F
212 |    ~$ python index-db.py db/db.fa
213 | 
214 | Reference
215 | ---------
216 | 
217 | - `Blastkit <https://github.com/ctb/blastkit.git>`__
218 | - `Caltech workshop <https://github.com/dib-lab/2013-caltech-workshop/blob/master/blastkit.txt>`__
219 | _ `Linux系统中NCBI BLAST+本地化教程 <http://blog.shenwei.me/local-blast-installation/>`__
220 | 
221 | 
222 | .. _blast: http://blast.ncbi.nlm.nih.gov/Blast.cgi
223 | 


--------------------------------------------------------------------------------
/source/chapter_02/02_msa.rst:
--------------------------------------------------------------------------------
 1 | 第2节. 多重序列比对
 2 | ===================
 3 | 
 4 | 序列比对常用到的有 **多重序列比对** MSA(Multiple Sequences Alignment)
 5 | 
 6 | 2.1 ClustalW
 7 | 
 8 | 2.2 Clustal Omega
 9 | 
10 | 2.3 Mafft
11 | 
12 | .. code-block:: bash
13 | 
14 |    $ maftt seq/*.fasta > alignment
15 | 
16 | 
17 | 2.4 Muscle
18 | 


--------------------------------------------------------------------------------
/source/chapter_02/03_mapping.rst:
--------------------------------------------------------------------------------
 1 | Reads Mapping
 2 | =============
 3 | 
 4 | 
 5 | 1. bwa
 6 | ------
 7 | 
 8 | 
 9 | 
10 | 
11 | 2. bowtie2
12 | ----------
13 | 
14 | 
15 | 3. Soap
16 | -------
17 | 
18 | 
19 | 4. STAR
20 | -------
21 | 
22 | 
23 | 
24 | Reference
25 | ---------
26 | 


--------------------------------------------------------------------------------
/source/chapter_02/04_call_variant.rst:
--------------------------------------------------------------------------------
  1 | 寻找突变位点
  2 | ============
  3 | 
  4 | 案例分析: 铜绿假单胞菌临床株与环境株溯源
  5 | ----------------------------------------
  6 | 
  7 | **本节实践**：
  8 | 
  9 | 利用高通量测序技术对铜绿假单胞菌的临床分离株与环境分离株在基因组水平上进行SNP分析，从而溯源菌株并做耐药分析。
 10 | 
 11 | **分析方法**：
 12 | 
 13 | 利用 bwa 将目标基因组 reads 比对到参考基因组，用 freebayes 做 variant calling，获得各个样本的 SNPs，根据结果做进一步分析。
 14 | 
 15 | **实践意义**：
 16 | 
 17 | 可以作为今后实验室开展病原菌溯源工作的一个技术指导依据。
 18 | 
 19 | 1. 提出问题
 20 | ^^^^^^^^^^^
 21 | 
 22 | 工作流程将从以下几个方面对于这个案例开展数据分析：
 23 | 
 24 | -  测序质量：reads的长度，插入片段的长度
 25 | -  将测序数据比对到参考基因组ST17
 26 | -  每个样品reads的分布情况
 27 | -  每个样品的基因组测序覆盖度
 28 | -  不同样品之间的差异，特别是当设置不同的过滤参数时的情况： - Quality
 29 |    filter: QUAL > 100 - Likelihood filter: QUAL / AO > 10 - Variant
 30 |    frequency filter: AO / DP > 0.9 (90% allele frequency)
 31 | -  哪一个水龙头水样的分离株最有可能是感染源。(方法:
 32 |    用\ ``vcfsamplediff``\ 比较环境株与临床株SNPs数量)
 33 | -  2个病人分离株之间使用了大量的抗生素治疗，哪一个获得、得了耐药性？
 34 | -  用 joint calling 来比较2个临床样品数据，并用\ ``vcfsamplediff``\ 分析
 35 | -  对于获得的大量SNPs，是否需要过滤以及如何过滤
 36 | -  了解SNPs的分布规律
 37 | -  重点查看SNPs
 38 | 
 39 | 2. 分析流程
 40 | ^^^^^^^^^^^
 41 | 
 42 | 2.1 下载数据
 43 | ~~~~~~~~~~~~
 44 | 
 45 | 数据可以从\ `这里 <http://www.microbesng.uk/filedist/pseudomonas-practical/>`__\ 下载获得，可以用\ ``wget -m``\ 递归下载路径下所有文件。文件包括：
 46 | 
 47 | -  TAP1 - 病房1号水龙头水样中分离的菌株
 48 | -  TAP2 - 病房2号水龙头水样中分离的菌株
 49 | -  TAP3 - 病房3号水龙头水样中分离的菌株
 50 | -  PATIENT1 - 服用抗生素后的病人分离株
 51 | -  PATIENT2 - 一周内进一步服用抗生素的病人分离株
 52 | 
 53 | .. code-block:: bash
 54 | 
 55 |     ~$ mkdir -p pse_data && cd pse_data
 56 |     ~$ wget -m http://www.microbesng.uk/filedist/pseudomonas-practical/
 57 |     ~$ mv www.microbesng.uk/filedist/pseudomonas-practical/* .
 58 | 
 59 | 2.2 建立 ST17 型参考菌株索引
 60 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 61 | 
 62 | **Mapping**
 63 | 软件使用\ ``bwa``\ 来对参考基因组ST17建立索引，以便后续比对。
 64 | 
 65 | .. code-block:: bash
 66 | 
 67 |     ~$ bwa index ST17.fasta
 68 | 
 69 | 2.3 将测序 reads 比对到 ST17 并排序索引
 70 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 71 | 
 72 | 用\ ``bwa mem``\ 进行比对，输出的结果通过管道由\ ``samtools``\ 转换成 BAM 文件并进行排序和索引。
 73 | 
 74 | .. code-block:: bash
 75 | 
 76 |     ~$ bwa mem -t 4 -R '@RG\tID:TAP1\tSM:TAP1' ST17.fasta \
 77 |     > TAP1_R1_paired.fastq.gz TAP1_R2_paired.fastq.gz | \
 78 |     > samtools view -bS - | samtools sort - TAP1.sorted
 79 |     ~$ samtools index TAP1.sorted.bam
 80 | 
 81 |     参数介绍： \* -t 4: 表示使用4线程，根据自己的计算机CPU资源设置。 \*
 82 |     -R '...': 设置reads的ID，:raw-latex:`\t为制表符会转义成tab键`。
 83 | 
 84 | 对其他2株环境株和2株临床株重复以上步骤。
 85 | 
 86 | 2.4 绘制测序 reads 的覆盖度
 87 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~
 88 | 
 89 | bam文件含有比对的信息，可以用\ ``stats``\ 参数查看
 90 | 
 91 | .. code-block:: bash
 92 | 
 93 |     ~$ samtools stats TAP1.sorted.bam | grep "maximum length"
 94 |     ~$ samtools stats TAP1.sorted.bam | grep "insert size"
 95 |     ~$ samtools stats TAP1.sorted.bam | grep "^COV" > TAP1.coverage.txt
 96 | 
 97 | 将截取的覆盖度相关信息保存成\ ``.txt``\ 文件，在R里用ggplot2绘制覆盖度图：
 98 | 
 99 | .. code-block:: r
100 | 
101 |     > library(ggplot2)
102 |     > cov=read.table("TAP1.coverage.txt", sep="\t")
103 |     > ggplot(cov, aes(x=V3, y=V4)) + geom_bar(stat="identity") + xlab("Coverage") + ylab("Count")
104 | 
105 | .. figure:: ../_static/img/chapter_02/Rplot.png
106 |    :alt: R plot
107 | 
108 | 2.5 比较1号临床株与环境株的SNPs差异
109 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
110 | 
111 | 用同样的方法对其他几个样本进行操作，获得sorted的bam格式文件，用\ ``freebayes``\ 对临床与环境株比较获得vcf文件。然后用vcflib工具过滤\ ``QUAL/AO>10``\ 的部分(VCF元数据部分可以参考\ `文档 <http://samtools.github.io/hts-specs/VCFv4.1.pdf>`__)，并用\ ``wc-l``\ 计算行数统计结果。
112 | 
113 | .. code-block:: bash
114 | 
115 |     ~$ freebayes -p 1 -C 5 -f ST17.fasta TAP1.sorted.bam PATIENT1.sorted.bam  > compare_tap1.vcf
116 |     ~$ vcffilter -f "QUAL / AO > 10" compare_tap1.vcf | vcffilter -f "NS = 2" | wc -l
117 | 
118 |     6685
119 | 
120 | 获得临床株与环境株之间的SNP差异数量，结果表明这2株之间只有5个SNPs。
121 | 
122 | .. code-block:: bash
123 | 
124 |     ~$ vcfsamplediff SAME TAP1 PATIENT1 compare_tap1.vcf | vcffilter -f "QUAL / AO > 10" | vcffilter -f "NS = 2" | vcffilter -f "! ( SAME = germline ) " | grep -v "^#" | wc -l
125 | 
126 |     5
127 | 
128 | 用\ ``vcfsamplediff``\ 了解SNPs差异的基因，可以知道是那些gene/CDS里面发生了变化，还可以根据定位看突变是否是同义突变。如果snps数量接近无法区分，但是定位的基因有差异，那么菌株的溯源还需要进一步考虑。
129 | 
130 | .. code-block:: bash
131 | 
132 |     ~$ vcfsamplediff SAME PATIENT1 TAP1 compare_tap1.vcf  | vcffilter -f "QUAL / AO > 10" | vcffilter -f "NS = 2" | vcffilter -f "! ( SAME = germline ) " > tap_differences.vcf
133 |     ~$ bedtools intersect -a ST17.gff -b tap_differences.vcf | awk -F";" '{print NR, $2}' OFS="\t"
134 | 
135 | 结果输出：
136 | 
137 | .. code-block:: bash
138 | 
139 |     1   gene=yfiR
140 |     2   inference=ab initio prediction:Prodigal:2.60,similar to AA sequence:RefSeq:YP_261793.1,protein motif:TIGRFAMs:TIGR03756,protein motif:Pfam:PF06834.5
141 |     3   inference=ab initio prediction:Prodigal:2.60,similar to AA sequence:RefSeq:YP_261793.1,protein motif:TIGRFAMs:TIGR03756,protein motif:Pfam:PF06834.5
142 |     4   gene=trbL
143 |     5   inference=ab initio prediction:Prodigal:2.60,similar to AA sequence:RefSeq:YP_001349879.1,protein motif:Cdd:COG3481,protein motif:TIGRFAMs:TIGR03760,protein motif:Pfam:PF07514.5
144 | 
145 | 2.6 2个临床株的耐药变迁
146 | ~~~~~~~~~~~~~~~~~~~~~~~
147 | 
148 | 了解2个临床株的SNPs差异，并查看这些SNPs所影响的gene
149 | 
150 | .. code-block:: bash
151 | 
152 |     ~$ freebayes --ploidy 1 -C 5 -f ST17.fasta PATIENT1.sorted.bam PATIENT2.sorted.bam > compare_patient.vcf
153 |     ~$ vcfsamplediff SAME PATIENT1 TAP1 compare_patient.vcf  | vcffilter -f "QUAL / AO > 10" | vcffilter -f "NS = 2" | vcffilter -f "! ( SAME = germline ) " > patient_differences.vcf
154 |     ~$ bedtools intersect -a ST17.gff -b patient_differences.vcf | awk -F";" '{print $2}'
155 | 
156 | --------------------------------------------------------------------------------
157 | 
158 | 3. 用 Snippy 来实现
159 | ^^^^^^^^^^^^^^^^^^^
160 | 
161 | 大量的日常工作或者不熟悉各种命令行工具使用的话，就需要更简便的软件或者pipelines来帮助完成整个分析工作。因此这里我们使用\ `snippy <https://github.com/tseemann/snippy/blob/master/bin/snippy>`__\ 来实现分析SNPs，并绘制基于snps的进化树。
162 | 
163 | 3.1 安装 Snippy
164 | ~~~~~~~~~~~~~~~
165 | 
166 | Snippy是比较适合新手的工具，它提供了All in
167 | One的工具套装。虽然Snippy需要以下软件支持：
168 | 
169 | -  Perl >= 5.6
170 | -  BioPerl >= 1.6
171 | -  bwa mem >= 0.7.12
172 | -  samtools >= 1.1
173 | -  GNU parallel > 2013xxxx
174 | -  freebayes >= 0.9.20
175 | -  freebayes sripts ( freebayes-parallel,fasta\_generate\_regions.py)
176 | -  vcflib (vcffilter, vcfstreamsort, vcfuniq, vcffirstheader)
177 | -  vcftools (vcf-consensus)
178 | -  snpEff >= 4.1
179 | 
180 | 但这些工具在Snippy安装包里都已经提供了，我们只需要根据自己的系统设置将以来工具添加到系统路径中去即可。对于perl的一些模块，可能需要更新后才能正常使用：\ ``sudo cpan -u module_name``
181 | 
182 | .. code-block:: bash
183 | 
184 |     ~$ wget https://github.com/tseemann/snippy/archive/v2.9.tar.gz
185 |     ~$ tar xzf v2.9.tar.gz -C ~/app
186 |     ~$ echo "export PATH=$PATH:$HOME/app/snippy-2.9/bin:$HOME/app/snippy-2.9/binaries/linux/" >> ~/.bashrc
187 |     ~$ source ~/.bashrc
188 |     # update all perl module
189 |     ~$ sudo cpan -u
190 | 
191 | 3.2 使用 Snippy
192 | ~~~~~~~~~~~~~~~
193 | 
194 | Snippy 不仅可以获得SNP(包括MultiSNP)，也可以获得insertion,
195 | indeletion以及Comibination。文本格式的结果记录文件中的snps.tab中，也可以用浏览器打开snps.html查看。
196 | 
197 | .. code-block:: bash
198 | 
199 |     ~$ snippy --cpus 4 --outdir output1 --ref ST17.fasta \
200 |     > --R1 TAP1_R1_paired.fastq.gz --R2 TAP1_R2_paired.fastq.gz
201 |     ~$ head output/snps.tab
202 | 
203 |     # snps.txt对各种突变位点做一个数据统计
204 |     ~$ cat output1/snps.txt
205 |     ...
206 |     Software    snippy 2.9
207 |     Variant-COMPLEX 1124
208 |     Variant-DEL     27
209 |     Variant-INS     43
210 |     Variant-MNP     222
211 |     Variant-SNP     3351
212 |     VariantTotal    4767
213 | 
214 |     # 计算不同
215 | 
216 |     # 了解不同碱基的SNP变化数量，如T->C的SNP数量
217 |     ~$ awk '$10=="T=>C" {n++} END{print n}' output1/snps.gff
218 | 
219 | Snippy还可以生成多个基因组的共有SNPs的比对文件。用snippy分别生成3个TAP的snp列表数据到ouput\*目录中，然后统计共有snps数量并生成snp序列文件aln。
220 | 
221 | .. code-block:: bash
222 | 
223 |     # for old ubuntu system you need update outdated perl module List::Util
224 |     ~$ sudo cpan -u List::Util
225 |     ~$ snippy-core --prefix core output1 output2 output3
226 |     ...
227 |     Found 30711 core SNPs from 42075 variant sites.
228 |     Saved SNP table: core.tab
229 |     Constructing alignment object for core.aln
230 |     ...
231 | 
232 | 如果要用raxml构建进化树，那获得的.aln文件还需要转换成.phy才可以使用。很多工具可以实现转换，这里使用网络服务来实现：http://sing.ei.uvigo.es/ALTER/
233 | 
234 | .. code-block:: bash
235 | 
236 |     ~$ raxmlHPC -f a -x 12345 -p 12345 -# 100 -m GTRGAMMA -s core.phy -n ex -T 4
237 |     ~$ figtree RAxML_bestTree.ex
238 | 
239 | 因为比对的是fasta格式的文件，所以snps不止是编码区CDS的，而是整个基因组上的snps。
240 | 
241 | 4. 用 Workflow 脚本来简化操作
242 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
243 | 
244 | 对于我们实验室平时会有许多类似的SNP鉴定工作，那么下机数据要一个个操作会很繁琐，有时候我们通过
245 | unix 的 pipeline 来简化或者写 pipeline
246 | 脚本来实现。而另一种解决方式是通过 Workflow 工具来自动化数据分析。专门的
247 | Workflow 软件有许多，有些带GUI（如 galaxy 就可以建立图形化的
248 | workflow），有些基于CML。对于在服务器上的生物信息学分析，我们一般都是丢给命令行来实现。Workflow
249 | 因此，这里使用基于 python 的 ruffus 来建立
250 | workflow，作为一个示例演示如何简化平时大量重复的工作。
251 | 
252 | 如果想了解更多关于 workflow/pipeline 的软件，可以查看以下网站：
253 | 
254 | - `common-workflow <https://github.com/common-workflow-language/common-workflow-language/wiki/Existing-Workflow-systems>`__
255 | - `awesome-pipeline <https://github.com/pditommaso/awesome-pipeline>`__
256 | 
257 | 4.1 准备数据
258 | ~~~~~~~~~~~~
259 | 
260 |     undone
261 | 
262 | 5. 如何选择 Reference
263 | ^^^^^^^^^^^^^^^^^^^^^
264 | 
265 | 在做微生物 SNP calling时，选择不同 reference 对结果是否会有影响？会有多大影响？这是具体分析时需要考虑的问题。有一些\ `文章 <http://www.ncbi.nlm.nih.gov/pubmed/25144537>`__\ 进行了讨论。对于我们实验室开展病原微生物溯源时，由于菌株一般是高度近源的，所以影响不大。对于做进化关系分析的，还是需要考虑snp的假阳性问题，通常是要对 SNP 做 filtering。而且对于不同物种考虑其他的突变事件与重组在进化上的影响。
266 | 
267 | 另一方面不同软件的流程与参数不同，对于不熟悉生物信息学的生物学家当使用\ ``All in One``\ 之类的套件工具分析时，可能会发现不同软件的结果会有不小的差异。因此还是要从自己研究的物种特点角度去选择软件，所以说最好对于这类工具的具体细节需要进行了解，那么对于文档不全或者不够丰富的软件来说，就要仔细研读它的源代码来了解其实现方式。
268 | 
269 | 6. 参考资料
270 | ~~~~~~~~~~~
271 | 
272 | 1. `Jupyter Notebook for Pseudomonas Practical <http://nbviewer.jupyter.org/github/nickloman/nickloman.github.com/blob/master/tutorials/Pseudomonas-practical.ipynb>`__
273 | 2. `Seeking the source of Pseudomonas aeruginosa infections in a recently opened hospital: an observational study using whole-genome sequencing. <http://bmjopen.bmj.com/content/4/11/e006278.full>`__
274 | 3. `Vcflib Git Repository <https://github.com/ekg/vcflib>`__
275 | 4. `Freebayes Git Repository <https://github.com/ekg/freebayes>`__
276 | 5. `Snippy <https://github.com/tseemann/snippy>`__
277 | 6. `VCF Document v4.1 <http://samtools.github.io/hts-specs/VCFv4.1.pdf>`__
278 | 


--------------------------------------------------------------------------------
/source/chapter_02/index.rst:
--------------------------------------------------------------------------------
 1 | 第二章. 序列比对
 2 | ================
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_blast
 8 |    02_msa
 9 |    03_mapping
10 |    04_call_variant
11 | 


--------------------------------------------------------------------------------
/source/chapter_03/01_pangenomics.rst:
--------------------------------------------------------------------------------
 1 | 第1节. 测序数据构建 Pangenomics 分析
 2 | ====================================
 3 | 
 4 | 数据准备：
 5 | 
 6 | 1. 使用 Roary 来分析 Pangenomes
 7 | -------------------------------
 8 | 
 9 | 1.1 安装 roary
10 | ^^^^^^^^^^^^^^
11 | 
12 | **使用 Ubuntu apt 安装预编译包**
13 | 
14 | .. code-block:: bash
15 | 
16 |     ~$ sudo apt install roary
17 | 
18 | **下载官方预编译包**
19 | 
20 | .. code-block:: bash
21 | 
22 |     ~$ wget
23 | 
24 | .. code-block:: bash
25 | 
26 |     ~$ roary -e -n -v data/*.gff -f roary_output
27 | 


--------------------------------------------------------------------------------
/source/chapter_03/02_orthologs_analysis.rst:
--------------------------------------------------------------------------------
1 | 第2节. Orthologs 分析
2 | =====================
3 | 


--------------------------------------------------------------------------------
/source/chapter_03/03_phylogenomics.rst:
--------------------------------------------------------------------------------
  1 | 第3节. 基因组进化分析
  2 | =====================
  3 | 
  4 | Phylogenomics
  5 | -------------
  6 | 
  7 | 病原的溯源，进化以及种群结构是公共卫生研究领域一个非常重要内容。过去基于一代测序的方法，对一个基因（如毒力基因序列）或几个基因（如MLST序列）构建进化树，数据量的不足带来的精度问题，容易造成结果与实际产生偏差。而随着NGS的发展，产生了一门新的学科 **Phylogenomics** 基因组种系学。通过全基因组的数据来构建绘制系统发生树。
  8 | 
  9 | phylogenetics analysis
 10 | ^^^^^^^^^^^^^^^^^^^^^^
 11 | 
 12 | 在讨论 phylogenomics 之前，我们先对过去 phylogenetics 做一个复习。进化树绘制相信做微生物的工作者平时都在频繁使用，特别是像CDC等做分子流行病学或者一些做微生物系统发育的研究团队。只是目前将进化分析的核酸数据扩展到基因组水平上，绘制树的原理和方法是一致的，只是在之前的多重序列比对方面有一些不同。
 13 | 
 14 | phylogenetics 方法
 15 | ~~~~~~~~~~~~~~~~~~
 16 | 
 17 | 1. MP
 18 | 2. NJ
 19 | 3. ML
 20 | 4. Bayes
 21 | 
 22 | Whole Genome Alignment
 23 | ~~~~~~~~~~~~~~~~~~~~~~
 24 | 
 25 | WGA(Whole Genome Alignment)是对2个以上基因组在核苷酸水平上的进化关系预测方法。对于基因组多重序列比对，几个概念搞清楚后才能更好的理解。
 26 | 
 27 | * Homologs:
 28 | * Orthologs: 来源与共同祖先的基因簇，由于物种差异产生的分化，基因一般具有相似功能。
 29 | * Paralogs: 一般是不同功能。
 30 | * Xenologs: 2个物种间水平转移的基因，功能可以相似叶可以不同。一般来说是功能相似的。
 31 | 
 32 | WGA的主要方式
 33 | ~~~~~~~~~~~~~
 34 | 
 35 | 为了解决 Blast 存在的各种问题，出现了许多针对 WGA 的应用。 目前根据计算策略主要分成2类方式，但这2类方式有各自的优缺点。
 36 | 
 37 | 1. hierarchical: 速度快，容易遗漏小的重配或分化序列片段。如著名的 progressiveMauve, MUGSY 等
 38 | 2. local: 精度高。如 MUMmer, MULTIZ/TBA 等。
 39 | 
 40 | WGA 应用列表
 41 | 
 42 | | Method | Category | Relationships predicted | Pairwise or Multiple | References |
 43 | | ------ | -------- | ----------------------- | -------------------- | ---------- |
 44 | | BLAST | Local alignment | Homology | Pairwise | (21) |
 45 | | LASTZ | Local genomic alignment | Homology | Pairwise | (28) |
 46 | | MUMmer | Local genomic alignment | Orthology | Pairwise | (29) |
 47 | | CHAOS | Local genomic alignment | Homology | Pairwise | (30) |
 48 | | GRIMM-synteny | Orthology mapping | Toporthology | Multiple | (33) |
 49 | | DRIMM-synteny | Orthology mapping | Orthology, paralogy | Multiple | (34) |
 50 | | Mercator | Orthology mapping | Toporthology | Multiple | (35) |
 51 | | Enredo | Orthology mapping | Orthology, paralogy | Multiple | (36) |
 52 | | OSfinder | Orthology mapping | Orthology | Multiple | (37) |
 53 | | SuperMap | Orthology mapping | Orthology, paralogy | Multiple | (38) |
 54 | | progressiveMauve | Hierarchical WGA | Toporthology | Multiple | (39) |
 55 | | MUGSY | Hierarchical WGA | Toporthology | Multiple | (40) |
 56 | | MAVID | Global genomic alignment | Colinear homology | Multiple | (43) |
 57 | | LAGAN/MultiLAGAN | Global genomic alignment | Colinear homology | Pairwise/multiple | (31) |
 58 | | DIALIGN | Global genomic alignment | Colinear homology | Multiple | (30) |
 59 | | SeqAn::T-Coffee | Global genomic alignment | Colinear homology | Multiple | (44) |
 60 | | FSA | Global genomic alignment | Colinear homology | Multiple | (45) |
 61 | | Pecan | Global genomic alignment | Colinear homology | Multiple | (36) |
 62 | | NUCmer/PROmer | Local WGA | Orthology | Pairwise | (29) |
 63 | | MULTIZ/TBA | Local WGA | Orthology, paralogy | Multiple | (8) |
 64 | | AXTCHAIN/CHAINNET | Alignment chaining and filtering | Orthology | Pairwise | (50) |
 65 | 
 66 | phylogenomics analysis
 67 | ----------------------
 68 | 
 69 | 对于微生物而言，特别是细菌因为存在大量的重组，水平转移等。不能直接将基因组数据像同源基因数据一样直接比对。所以一般来说需要先将数据做一些筛选。具体的方法主要有；
 70 | 
 71 | 方法1 基于距离
 72 | ^^^^^^^^^^^^^^^^
 73 | 
 74 | 计算全基因矩阵距离，通过距离来构建系统发生树。
 75 | 
 76 | 方法2 基于核心基因(core genes)
 77 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 78 | 
 79 | 通过将同种细菌基因组同源基因（core genes）的异同构建进化树。这种方法的流程一般是将测序数据拼接成contigs/，对拼接结果进行注释，鉴定所有菌株基因组数据的orthologous基因，对这些基因经行多重序列比对，再根据比对结果构建进化树。
 80 | 
 81 | 方法3 基于参考基因组
 82 | ^^^^^^^^^^^^^^^^^^^^^^
 83 | 
 84 | 通过将测序获得的短片段mapping到参考基因组上，找到核心基因组上的variants位点，连锁这些位点进行多重比对，再构建系统发生树。这也是目前最常用的构建微生物基因组SNP进化树的方法流程。
 85 | 
 86 | 方法2. 应用工具
 87 | ^^^^^^^^^^^^^^^
 88 | 
 89 | **1. orthMCL**
 90 | 
 91 | 方法3. 应用工具
 92 | ^^^^^^^^^^^^^^^
 93 | 
 94 | **1. Wombac**
 95 | 
 96 | [wombac][] 是由 [Victorian Bioinformatics Consortium](http://www.vicbioinformatics.com/) 开发的用于获取细菌基因组 SNP 的工具集。[wombac][] 使用 perl 开发，本质上是一个 perl pipeline，使用的工具是 bwa, samtools 和 freebayes，这3个工具 Linux 版 [wombac][] 已经自动提供了，要正常运行的话系统中还必须安装vcfutils.pl, bgzip, tabix 这几个依赖包。
 97 | 
 98 | [wombac][] 会寻找碱基替换，但不会搜索 indels，精确度上来说可能会有一些 SNP 的丢失，但其精度已足够用来进行大部分基因组的快速分析。
 99 | 
100 | **1.1 安装并运行**
101 | 
102 | .. code-block:: bash
103 | 
104 |    $ wget http://www.vicbioinformatics.com/wombac-1.3.tar.gz
105 |    $ tar zxvf wombac-1.3.tar.gz -C ~/app
106 |    $ cd ~/app/wombac-1.3/bin
107 |    $ perl wombac --outdir ~/data/wombac --ref ~/data/egd.fasta --run /data/draft
108 | 
109 | **1.2 绘制SNP进化树树**
110 | 
111 | [wombac][] 对每个基因组产生BAM，VCF文件，同时产生一个整体多重比对的ALN文件用于绘制进化树。
112 | 
113 | .. code-block:: bash
114 | 
115 |    $ SplitsTree -i Tree/snps.aln
116 | 
117 | 
118 | **2. kSNP**
119 | 
120 | **3. REALPHY**
121 | 
122 | **3.1 下载并安装**
123 | 
124 | RealPhy 需要 java 支持，所以系统要至少安装有 jre 环境。可以输入`java -version`查看，如果提示没有安装java，可以先安装 openjdk：`sudo apt-get install open-jre-1.7-headless`
125 | 
126 | .. code-block:: bash
127 | 
128 |    $ wget http://realphy.unibas.ch/downloads/REALPHY_v110_exec.zip
129 |    $ unzip REALPHY_v110_exec.zip -d ~/apps/realphy
130 | 
131 | **3.2 脚本所依赖工具**
132 | 
133 | Realphy需要以下工具，这些工具的安装已经在前文中实现过了。
134 | 
135 | 1. samtools
136 | 2. bowtie2
137 | 3. TREE-PUZZLE
138 | 4. RAxML
139 | 5. PhyML
140 | 6. Phylip
141 | 
142 | **3.3 运行程序并分析**
143 | 
144 | .. code-block:: bash
145 | 
146 |    $ java -XmM800
147 | 
148 | **4. core-phylogenomics**
149 | 
150 | .. code-block:: bash
151 | 
152 |    $ snp_phylogenomics_control --mode mapping --input-dir my_fastq_folder/ --output pipeline_out --reference my_reference.fasta
153 | 
154 | SeqSphere
155 | 
156 | One Disrupting Technology Fits it All -Towards Standardized Bacterial Whole Genome Sequencing for Global Surveillance. Dag Harmsen, University of Münster, German.
157 | 
158 | 
159 | ## Reference
160 | 
161 | 1. https://github.com/apetkau/microbial-informatics-2014/
162 | 2. Single Nucleotide Polymorphisms Methods and Protocols 2nd. Anton A. Komar, Springer protocols.
163 | 3. Methods in Molecular Biology, Chapter8 Whole Genome Alignment, Colin N. Dewey, Springer.
164 | 
165 | 
166 | [wombac]: http://www.vicbioinformatics.com/software.wombac.shtml "wombac"
167 | [CSI Phylogeny]: http://cge.cbs.dtu.dk/services/CSIPhylogeny/ "CSI Phylogeny"
168 | [GenoBox]: https://github.com/srcbs/GenoBox "GenoBox"
169 | [REALPHY]: http://realphy.unibas.ch/fcgi/realphy "REALPHY"
170 | [kSNP]: http://sourceforge.net/projects/ksnp/ "kSNP v2"
171 | 


--------------------------------------------------------------------------------
/source/chapter_03/04_get_homologues.rst:
--------------------------------------------------------------------------------
 1 | 分析 Homologs
 2 | =============
 3 | 
 4 | 
 5 | 1. 软件 get_homologues
 6 | ----------------------
 7 | 
 8 | 1.1 安装 get_homologues
 9 | ^^^^^^^^^^^^^^^^^^^^^^^
10 | 
11 | .. code-block:: bash
12 | 
13 |    $ wget ...
14 |    $ tar xfz get_homologues_2.0.19.tgz -C get_homologues
15 |    $ cd get_homologues
16 |    $ ./install.pl
17 |    # 查看功能与软件信息
18 |    $ ./get_homologues.pl -v
19 | 
20 | 1.2 使用 get_homologues
21 | ^^^^^^^^^^^^^^^^^^^^^^^
22 | 
23 | .. code-block:: bash
24 | 
25 | 
26 | 
27 | 2. 软件 orthmcl
28 | ---------------
29 | 
30 | 2.1 安装 orthomcl
31 | ^^^^^^^^^^^^^^^^^
32 | 
33 | 2.2 使用 orthomcl
34 | ^^^^^^^^^^^^^^^^^
35 | 
36 | 
37 | 
38 | 
39 | 
40 | --------------------------------------------------------------------------------
41 | 
42 | Reference:
43 | ----------
44 | 
45 | 1.
46 | 2.
47 | 


--------------------------------------------------------------------------------
/source/chapter_03/aln2phy.py:
--------------------------------------------------------------------------------
 1 | # -*- coding: utf-8 -*-
 2 | from Bio import AlignIO
 3 | import argparse
 4 | 
 5 | parser = argparse.ArgumentParser()
 6 | parser.add_argument("-input", action=store, dest=input, type=str)
 7 | parser.add_argument("-output", action=store, dest=output, type=str)
 8 | args = parser.parse_args()
 9 | 
10 | AlignIO.convert(args.input, "clustal", args.output, "phylip-relaxed")
11 | 


--------------------------------------------------------------------------------
/source/chapter_03/index.rst:
--------------------------------------------------------------------------------
 1 | 第三章. 比较基因组数据分析
 2 | ==========================
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_pangenomics
 8 |    02_orthologs_analysis
 9 |    03_phylogenomics
10 |    04_get_homologues
11 |    snp.rst
12 | 


--------------------------------------------------------------------------------
/source/chapter_03/realphy.docker:
--------------------------------------------------------------------------------
 1 | # ---------------------------------
 2 | # Realphy Dockerfile
 3 | # ---------------------------------
 4 | 
 5 | FROM ubuntu:16.04
 6 | MAINTAINER Docker indexofire <indexofire@gmail.com>
 7 | 
 8 | RUN apt-get -qq update
 9 | RUN apt-get -y upgrade
10 | RUN apt-get install -y build-essential
11 | RUN DEBIAN_FRONTEND=noninteractive apt-get install -y software-properties-common
12 | RUN DEBIAN_FRONTEND=noninteractive apt-get install -y python-software-properties
13 | RUN apt-get install -y default-jre
14 | RUN apt-get install -y git-core
15 | RUN apt-get install -y libtool
16 | RUN apt-get install -y pkg-config
17 | RUN apt-get install -y zlib1g-dev
18 | RUN apt-get install -y libncurses5-dev
19 | RUN apt-get install -y r-base
20 | 


--------------------------------------------------------------------------------
/source/chapter_03/snp.rst:
--------------------------------------------------------------------------------
  1 | 细菌基因组SNP差异构建进化树
  2 | ===========================
  3 | 
  4 | 1. 需要参考基因组比对的软件
  5 | ---------------------------
  6 | 
  7 | 1.1 REALPHY
  8 | ^^^^^^^^^^^
  9 | 
 10 | REALPHY 是一个比较简单易用的软件，它的工作方式是用 Bowtie2 将 fastq 比对到参考基因组获得 SNP 位点，然后用 RaxML 构建 ML 进化树。但是REALPHY 取了一个比较容易起争议的名字，并不是说它创建的进化树就是 “Real” 真正的进化树，这个软件的特点是可以选择不同的参考基因组。
 11 | 
 12 | REALPHY 依赖以下软件：
 13 | 
 14 | - Bowtie2
 15 | - samtools
 16 | - RAxML/PhyML
 17 | - TREE-PUZZLE
 18 | - Phylip
 19 | 
 20 | **下载安装**
 21 | 
 22 | .. code-block:: bash
 23 | 
 24 |    # 安装依赖库
 25 |    $ sudo apt install libtool pkg-config zlib1g-dev libncurses5-dev
 26 |    # 安装 Java，Ubuntu16.04 目前默认的版本采用 openjdk 1.8
 27 |    $ sudo apt install default-jre
 28 |    # 下载安装 REALPHY
 29 |    $ wget http://realphy.unibas.ch/downloads/REALPHY_v112_exec.zip
 30 |    $ unzip REALPHY_v112_exec.zip
 31 |    $ sudo mv REALPHY_v112_exec /opt/realphy && sudo chown -R root:root /opt/realphy
 32 |    $ sudo touch /opt/realphy/v1.12
 33 |    # 创建一个启动脚本，命名为realphy
 34 |    $ sudo touch /usr/local/sbin/realphy
 35 |    $ sudo chmod +x /usr/local/sbin/realphy
 36 | 
 37 | 修改 realphy 脚本，内容如下。其中可以根据机器配置和基因组数量调整参数 -Xmx 增大或者减少内存使用数量。
 38 | 
 39 | .. code-block:: bash
 40 | 
 41 |    #!/bin/bash
 42 |    java -Xmx64000m -jar /opt/realphy/RealPhy_v112.jar
 43 | 
 44 | **使用Docker容器安装**
 45 | 
 46 | .. literalinclude:: realphy.docker
 47 |    :language: bash
 48 | 
 49 | **构建进化树**
 50 | 
 51 | a. 最基本用法，将参考基因组 reference（最好是完成的基因组） 放入 input 文件夹，可以是 fasta 和 genbank 格式，如果放置多个 fasta/gbk 文件，软件会随机选择其中一个作为参考基因组，并将其他序列作为比对序列。如果指定某个序列作为参考基因组，用 `-ref` 参数指定。fastq 数据作为比对数据放入 input 文件夹，如果是PE测序的数据，双端的fastq文件名要用 *_R1.fastq\/\*_R2.fastq 区分。fastq 数据建议先对测序数据进行一定的QC操作，尽可能减少测序错误引入的 SNP 位点。
 52 | 
 53 | .. code-block:: bash
 54 | 
 55 |    $ realphy input output -ref ref_genome
 56 | 
 57 | b. 对核心基因组构建进化树。默认的方式是对参比基因组全部区域比对，包括非编码区。如果希望仅对CDS进行比对，就可以通过添加 `-genes` 参数。如果添加了 -genes 参数，那么参考基因组文件格式必须是含有 CDS 的 genbank 格式数据。
 58 | 
 59 | .. code-block:: bash
 60 | 
 61 |    $ realphy input output -ref ref_genome -genes
 62 | 
 63 | c. 使用多个参考基因组。这是 REALPHY 的一个“卖点”，作者认为当参考基因组与比对基因组差异较大时，如>5%，就会造成进化树构建的偏差。所以通过选择多个参考基因组，平衡不同型别的基因组，减少远源基因组带来的比对差异。通过设置 -refN 来实现多个参考基因组，并用 -merge 参数合并结果。由于计算量较大，不建议使用太多参考基因组。
 64 | 
 65 | .. code-block:: bash
 66 | 
 67 |    $ realphy input output -ref1 ref1_genome -ref2 ref2_genome -ref3 ref3_genome -merge
 68 | 
 69 | 建议使用 RAxML 来构建基于 ML 的进化树。因此生成的进化树图为 "PolySeqOut/RAxML_bestTree.raxml"，将其复制到带 GUI 的计算机上，用画树软件生成树图。
 70 | 
 71 | .. code-block:: bash
 72 | 
 73 |    $ scp user@server-ip:~/data/REF/PolySeqOut/RAxML_bestTree.raxml .
 74 |    $ figtree RAxML_bestTree.raxml
 75 | 
 76 | --------------------------------------------------------------------------------
 77 | 
 78 | 1.2 Snippy
 79 | ^^^^^^^^^^
 80 | 
 81 | **下载安装**
 82 | 
 83 | .. code-block:: bash
 84 | 
 85 |    $ git clone https://github.com/tseemann/snippy
 86 |    $ echo 'export PATH="$HOME/repos/snippy/bin:$HOME/repos/snippy/binary/linux:$PATH"' >> ~/.bashrc
 87 |    $ source ~/.bashrc
 88 | 
 89 | **使用Snippy**
 90 | 
 91 | .. code-block:: bash
 92 | 
 93 |    # 单个样本用 snippy 分别比对获得每个样本的 snps
 94 |    $ snippy --cpus 20 --outdir S01 -ref reference.fa --R1 S01_R1_L001.fastq.gz --R2 S01_R2_L001.fastq.gz
 95 |    $ snippy --cpus 20 --outdir S02 -ref reference.fa --R1 S02_R1_L001.fastq.gz --R2 S02_R2_L001.fastq.gz
 96 |    ...
 97 |    # 将所有 snps 结果汇总，获得 core snps
 98 |    $ snippy-core --prefix core-snps S01 S02 S03 ...
 99 |    # 单行脚本完成所有样本 snps 比对工作
100 |    $ for i in $(awk -F'_' '{print $1}' <(ls -D *.fastq.gz) | sort | uniq); \
101 |    > do snippy --cpus 20 --outdir $i -ref reference.fa --R1 $i*R1*.fastq.gz --R2 $i*R2*.fastq.gz; \
102 |    > done
103 |    $ snippy-core --prefix core-snps S*
104 |    # 生成 clustal 格式的 core.aln 比对文件，这里用 splittree 构建进化树
105 |    $ splittree -i core-snps/core.aln
106 |    # 或者将生成的 .aln 格式比对文件转换成 .phy 格式，然后再用 raxml 构建 ML 树
107 |    $ raxml -f a -x 12345 -# 100  -p 12345 -m GTRGAMMA -s core.aln -n ex -T 40
108 | 
109 | 2. 不需要参考基因组的软件
110 | -------------------------
111 | 
112 | 2.1 kSNP
113 | ^^^^^^^^
114 | 
115 | kSNP 采用的是基于 kmer 的算法，不需要进行序列的多重比对，也不需要参考基因组进行 Mapping。kSNP 可以分析细菌完成基因组和未完成基因组，也可以直接分析测序 reads 数据。
116 | 
117 | **下载安装**
118 | 
119 | .. code-block:: bash
120 | 
121 |    # 下载软件包，并解压缩到 /opt/ksnp 目录
122 |    $ wget http://nchc.dl.sourceforge.net/project/ksnp/kSNP3.021_Linux_package.zip
123 |    $ sudo unzip kSNP3.021_Linux_package.zip
124 |    $ sudo mv kSNP3.021_Linux_package /opt/ksnp
125 |    $ cd /opt/ksnp
126 |    # 添加版本信息文件
127 |    $ touch v3.021
128 | 
129 | **使用kSNP3**
130 | 
131 | .. code-block:: bash
132 | 
133 |    $
134 | 


--------------------------------------------------------------------------------
/source/chapter_04/01_circos.rst:
--------------------------------------------------------------------------------
  1 | 用 circos 来画基因组
  2 | ====================
  3 | 
  4 | circos_ 是一个绘制可视化关系图的软件，就是我们常说的用来做 Data Visulization。它的特点是采用圈图来表示关系，因此也常被用来绘制环状的原核生物染色体或质粒的基因组图谱，或者用来展示比较基因组关系图等。circos_ 生成的圈图非常优美，可以用来表示多种类型的数据。但是由于功能强大，因此牵涉绘图的内容过于复杂，参数设置繁多，采用的术语名称的含义不够直观，导致学习曲线比较陡峭。而且缺乏易用的所见即所得的工具，因此对于新手来说难度非常大。
  5 | 
  6 | circos_ 的作为绘制图形的工具，不是一步速成的获得某种图形的方法，而是需要通过自己设计的图形样式来定义各种参数，让程序绘制出图。
  7 | 
  8 | 1. 安装 circos
  9 | --------------
 10 | 
 11 | 1.1 使用 ubuntu 官方软件源安装
 12 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 13 | 
 14 | 可以使用 ubuntu 官方软件源来安装。这样安装最简单，缺点是不是最新版，可能会有一些程序BUG。
 15 | 
 16 | .. code-block:: bash
 17 | 
 18 |    ~$ sudo apt install circos
 19 | 
 20 | 1.2 使用官方安装包
 21 | ^^^^^^^^^^^^^^^^^^
 22 | 
 23 | .. code-block:: bash
 24 | 
 25 |    # 安装依赖包 gd2-xpm 库
 26 |    ~$ sudo apt-get install libgd2-xpm-dev
 27 |    # 修改 ubuntu 发行版的 perl 路径
 28 |    ~$ sudo ln -s /usr/bin/env /bin/env
 29 |    # 安装 perl 模块
 30 |    ~$ sudo cpan install Clone \
 31 |    > Config::General \
 32 |    > Font::TTF \
 33 |    > List::MoreUtils \
 34 |    > Math::Bezier \
 35 |    > Math::VecStat \
 36 |    > Math::Round \
 37 |    > Params::Validate \
 38 |    > Readonly \
 39 |    > Regexp::Common \
 40 |    > Set::IntSpan \
 41 |    > Text::Format \
 42 |    > GD \
 43 |    > Statistics::Basic
 44 | 
 45 |    # 下载安装包，并解压缩
 46 |    ~$ wet http://circos.ca/distribution/circos-0.69-3.tgz
 47 |    ~$ tar xfz circos-0.69-3.tgz -C ~/apps/circos
 48 |    # 将 circos 添加到系统路径中
 49 |    ~$ sudo ln -s ~/apps/circos/bin/circos /usr/local/sbin/circos
 50 |    # 或者将 circos 添加到用户路径中
 51 |    ~$ export PATH=$HOME/apps/circos/bin/
 52 | 
 53 |    # 查看是否安装成功
 54 |    ~$ circos -v
 55 |    # 如果命令行打印出类似以下内容，表示安装成功
 56 |    circos | v 0.69-3 | 16 Jun 2016 | Perl 5.018002
 57 | 
 58 | --------------------------------------------------------------------------------
 59 | 
 60 | 2. circos 基本概念
 61 | ------------------
 62 | 
 63 | circos 主要需要2类文件：
 64 | 
 65 | * 可视化结果的数据文件
 66 | * 用于告诉circos如何展示的配置文件。
 67 | 
 68 | 2.1 数据文件
 69 | ^^^^^^^^^^^^
 70 | 
 71 | 由于circos只是画图工具，因此你图中要展示的数据需要自己预先准备好。比如基因组的GC含量，需要用其他程序先生成以下这种类型的文本格式文件。
 72 | 
 73 | .. code::
 74 | 
 75 |    染色体 开始位置 结束位置 颜色值 其他选项[可选]
 76 |    2.chr1  1000    2000  red
 77 | 
 78 | 2.2 配置文件
 79 | ^^^^^^^^^^^^
 80 | 
 81 | 一般绘图需要以下配置文件：
 82 | 
 83 | - circos.conf
 84 | - ideogram.conf
 85 | - ticks.conf
 86 | - image.conf
 87 | - highlight.conf
 88 | - colors_fonts_patterns.conf
 89 | 
 90 | 你可以将配置文件内容全部放在circos.conf里，也可以分离成单独的文件通过include方式导入。
 91 | 
 92 | 2.2.1 circos.conf
 93 | ~~~~~~~~~~~~~~~~~
 94 | 
 95 | 这是circos主配置文件，其他的配置文件可以通过include的方式来导入。
 96 | 
 97 | .. code::
 98 | 
 99 |    <<include your_other_configure.conf>>
100 | 
101 | 2.2.2 ideogram.conf
102 | ~~~~~~~~~~~~~~~~~~~
103 | 
104 | 2.2.3 image.conf
105 | ~~~~~~~~~~~~~~~~
106 | 
107 | 2.2.4 highlight.conf
108 | ~~~~~~~~~~~~~~~~~~~~
109 | 
110 | 2.2.5 ticks.conf
111 | ~~~~~~~~~~~~~~~~
112 | 
113 | 3. 可视化的组成要素
114 | -------------------
115 | 
116 | \<plots\>\<\/plots>，\<links\>\<\/links> 区块内的参数是属于 Global 的。
117 | \<plot\>\<\/plot> 区块内的参数是属于 Local 的。
118 | 
119 | 如果是某个参数在多个block中都重复使用，那么可以设置成 global 的参数，当某个block要使用新的值时，再用 local 的参数覆盖即可。
120 | 
121 | .. code::
122 | 
123 |    # plot可以理解为图层，多个圈图图层构成一个plots
124 |    <plot></plot>
125 |    # plots 由
126 |    # type 描述图层内容类型，如text
127 |    type = text
128 |    # r0, r1 表示圈图半径，<1在内圈，>1在外圈, r0-r1为宽度
129 |    r0 = 0.95r
130 |    r1 = 0.85r
131 |    #
132 | 
133 | 1. ideogram
134 | 2. highlight
135 | 3. tick
136 | 4. label
137 | 5. link
138 | 
139 | circos.conf 参数
140 | 
141 | .. code::
142 | 
143 |    # 染色体的数据集
144 |    karyotype = data.txt
145 |    # 定义圈图标尺
146 |    chromosomes_units = 1000
147 |    # 如果设置成yes，所有ideogram上都会现实ticks
148 |    chromosomes_display_default = yes
149 | 
150 | 3.4 circos 常量的单位
151 | ^^^^^^^^^^^^^^^^^^^^^
152 | 
153 | --------------------------------------------------------------------------------
154 | 
155 | 4. 用 circos 来绘图
156 | -------------------
157 | 
158 | 4.1 绘制环状 Salmonella LT2 基因组
159 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
160 | 
161 | 之前的教程里介绍了用DNAPlotter绘制一个基因组完成图的圈图，圆圈内容strand，GC content和GC skew。从某个角度上看，DNAplotter的配置文件与circos有一定的类似，2个软件的区别在于前者专注于绘制单个细菌基因组，后者可以完成更多的功能。第一个例子我们通过用circos来绘制类似DNAplotter生成的基因组圈图，从而学习circos的基本用法，
162 | 
163 | 4.1.1 数据文件的准备
164 | ~~~~~~~~~~~~~~~~~~~~
165 | 
166 | 从NCBI上下载Salonella LT基因组数据文件。
167 | 
168 | .. code-block:: bash
169 | 
170 |    ~$ esearch -db nuccore -query "NC_003197.1[accn]" | efetch -db nuccore -format fasta > LT2.fasta
171 | 
172 | 绘制 circos 所需要的 ideogram 所需要的几类数据，我们通过一个 python 脚本 get\_circos\_data.py 来获得。
173 | 
174 | 运行脚本：
175 | 
176 | ~$ python get_circos_data.py
177 | 
178 | 4.1.2 配置文件的准备
179 | 
180 | 建立circos.conf配置文件
181 | 
182 | ~$ cd circos_data
183 | ~/circos_data$ touch circos.conf
184 | 
185 | 
186 | 
187 | 
188 | 
189 | .. _circos: http://circos.ca
190 | 


--------------------------------------------------------------------------------
/source/chapter_04/02_ggplot2.rst:
--------------------------------------------------------------------------------
 1 | R语言与ggplot2
 2 | ==============
 3 | 
 4 | 
 5 | .. code-block:: bash
 6 | 
 7 |    ~$ sudo apt install r-base
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    ~$ R
12 |    R version 3.2.5 (2016-04-14) -- "Very, Very Secure Dishes"
13 |    Copyright (C) 2016 The R Foundation for Statistical Computing
14 |    Platform: x86_64-pc-linux-gnu (64-bit)
15 |    ...
16 |    # 安装ggplot2
17 |    > install.packages("ggplot2")
18 | 
19 | 
20 | 
21 | .. code-block:: bash
22 | 
23 |    ~$ sudo echo "deb http://cran.rstudio.com/bin/linux/ubuntu xenial/" | sudo tee -a /etc/apt/sources.list
24 |    ~$ gpg --keyserver keyserver.ubuntu.com --recv-key E084DAB9
25 |    ~$ gpg -a --export E084DAB9 | sudo apt-key add -
26 |    ~$ sudo apt update
27 |    ~$ sudo apt install r-base r-base-dev
28 | 
29 |    # 安装 R Studio
30 |    ~$ sudo apt-get install gdebi-core
31 |    ~$ wget https://download1.rstudio.org/rstudio-0.99.896-amd64.deb
32 |    ~$ sudo gdebi -n rstudio-0.99.896-amd64.deb
33 |    
34 | 


--------------------------------------------------------------------------------
/source/chapter_04/03_genome_viewer.rst:
--------------------------------------------------------------------------------
 1 | 基因组可视化工具
 2 | ================
 3 | 
 4 | 1. NCBI gbench
 5 | --------------
 6 | 
 7 | 1.1 安装 gbench
 8 | ^^^^^^^^^^^^^^^
 9 | 
10 | .. code-block:: bash
11 | 
12 |    $ wget ftp://ftp.ncbi.nlm.nih.gov/toolbox/gbench/ver-2.10.7/gbench-src-2.10.7.tgz
13 |    $ tar zxf gbench-src-2.10.7.tgz
14 |    $ mv gbench-src-2.10.7 /opt/gbench
15 |    $ cd /opt/gbench
16 |    $ ./configure
17 |    $ sudo make && make install
18 | 


--------------------------------------------------------------------------------
/source/chapter_04/index.rst:
--------------------------------------------------------------------------------
 1 | 第四章. 基因组数据可视化
 2 | ========================
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_circos
 8 |    02_ggplot2
 9 |    03_genome_viewer
10 | 


--------------------------------------------------------------------------------
/source/chapter_05/01_cloud.rst:
--------------------------------------------------------------------------------
1 | 云计算
2 | ======
3 | 
4 | 云计算方式
5 | ----------
6 | 


--------------------------------------------------------------------------------
/source/chapter_05/02_aws.rst:
--------------------------------------------------------------------------------
1 | Amazon Web services
2 | ===================
3 | 
4 | AWS EC2
5 | -------
6 | 


--------------------------------------------------------------------------------
/source/chapter_05/03_docker.rst:
--------------------------------------------------------------------------------
1 | 基于Docker容器技术
2 | ==================
3 | 
4 | Docker 入门
5 | -----------
6 | 


--------------------------------------------------------------------------------
/source/chapter_05/04_galaxy.rst:
--------------------------------------------------------------------------------
  1 | 使用Galaxy构建基于Web的应用平台
  2 | ===============================
  3 | 
  4 | 小型实验室快速解决方案
  5 | ----------------------
  6 | 
  7 | 使用 Amazon EC2 对于不熟悉 Linux 和服务器配置的用户而言是很方便，节省用户在硬件的经济投入，配置学习以及维护能力的培养。但对于测序数据不适合上传到第三方服务器的实验室或要结合本地 LIMS 系统的实验室，要快速构建 Galaxy 以及相配套的其他软件，目前来说最简便的方法之一是利用 docker 部署到本地服务器上。
  8 | 
  9 | Docker
 10 | ~~~~~~
 11 | 
 12 | 安装 Docker
 13 | ^^^^^^^^^^^
 14 | 
 15 | Ubuntu 14.04 已经自带了 docker 安装包，不过版本相对较老，想使用 docker 最新版的功能，添加源来安装 docker:
 16 | 
 17 | .. code:: bash
 18 | 
 19 |     # 添加 docker 源
 20 |     ~$ sudo apt-get install apt-transport-https
 21 |     ~$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 36A1D7869245C8950F966E92D8576A8BA88D21E9
 22 |     ~$ sudo bash -c "echo deb https://get.docker.io/ubuntu docker main > /etc/apt/sources.list.d/docker.list"
 23 | 
 24 |     # 安装 docker
 25 |     ~$ sudo apt-get update
 26 |     ~$ sudo apt-get install lxc-docker
 27 | 
 28 |     # 安装完成后启动 docker 服务
 29 |     ~$ sudo service docker start
 30 | 
 31 | Docker入门
 32 | ^^^^^^^^^^
 33 | 
 34 | 首先要对 docker 镜像和容器的概念有所了解。细节可以参阅 `Docker 从入门到实践 <https://yeasy.gitbooks.io/docker_practice/content>`_
 35 | 
 36 | .. code:: bash
 37 | 
 38 |     ~$ docker run ubuntu:14.04 /bin/echo 'Hello world'
 39 | 
 40 | 安装 galaxy docker 镜像
 41 | ^^^^^^^^^^^^^^^^^^^^^^^
 42 | 
 43 | galaxy 的 docker
 44 | 镜像可以自己来创建，建议使用\ ``docker galaxy-stable``\ ，源代码可以在 `Github <https://github.com/bgruening/docker-galaxy-stable>`_ 下载。也可以直接到官方 Hun Registry 里下载\ ``galaxy-stable``\ 镜像
 45 | 
 46 | .. code:: bash
 47 | 
 48 |     ~$ sudo docker pull bgruening/galaxy-stable
 49 | 
 50 | 官方 Registry 非常慢，可以通过国内 daocloud 服务商的加速器来加快\ ``docker pull``\ 过程：首先注册一个 `daocloud <daocloud.io>`__ 用户，然后在命令行中添加 registry mirror。
 51 | 
 52 | .. code:: bash
 53 | 
 54 |     # ****** 为daocloud分配给你的ID
 55 |     ~$ echo "DOCKER_OPTS=\"\$DOCKER_OPTS --registry-mirror=http://******.m.daocloud.io\"" | sudo tee -a /etc/default/docker
 56 |     ~$ sudo service docker restart
 57 |     ~$ sudo docker pull bgruening/galaxy-stable
 58 | 
 59 | 该脚本可以将\ ``--registry-mirror``\ 加入到你的Docker配置文件\ ``/etc/default/docker``\ 中。适用于Ubuntu14.04，其他版本根据docker配置文件和环境变量，可能有细微不同。
 60 | 
 61 | .. code:: bash
 62 | 
 63 |     ~/app$ wget https://github.com/bgruening/docker-galaxy-stable/archive/15.10.tar.gz
 64 |     ~/app$ tar zxf 15.10.tar.gz
 65 |     ~/app$ cd docker-galaxy-stable-15.10
 66 | 
 67 | 启动 galax-stable 容器
 68 | ^^^^^^^^^^^^^^^^^^^^^^
 69 | 
 70 | ``docker run -d``\ 表示以daemon方式运行docker，执行该命令后，docker完成galaxy初始化需要花几分钟时间才能访问。如果是本地运行，用浏览器访问\ ``127.0.0.1:8080``\ 可以看到galaxy首页，如果是服务器上用ssh连接执行命令，要访问服务器IP加上8080端口。
 71 | 
 72 | .. code:: bash
 73 | 
 74 |     # 后台运行 galaxy 容器
 75 |     ~$ sudo docker run -d -p 8080:80 -p 8021:21 bgruening/galaxy-stable
 76 | 
 77 |     # 交互方式运行 galaxy 容器
 78 |     ~$ sudo docker run -i -t -p 8080:80 bgruening/galaxy-stable /bin/bash
 79 |     root$ sh run.sh
 80 | 
 81 | 有时候需要进入docker容器中进行操作，就可以以\ ``docker run -i``\ 交互模式进行访问。进入容器后运行\ ``sh run.sh``\ 可以DEBUG方式运行galaxy，适合本地测试使用。
 82 | 
 83 | 复制容器内文件
 84 | ^^^^^^^^^^^^^^
 85 | 
 86 | .. code:: bash
 87 | 
 88 |     # fc3e62e0471d 是想要获取文件的所在容器。foo.txt是想要获得的文件。
 89 |     ~$ sudo docker cp fc3ea62e471d:/home/foo.txt .
 90 | 
 91 | 加载数据卷
 92 | ^^^^^^^^^^
 93 | 
 94 | 需要分析的数据通过添加外部数据卷来实现。
 95 | 
 96 | .. code:: bash
 97 | 
 98 |     # 添加服务器上的 /mydata 卷到容器中
 99 |     ~$ sudo docker create -v /mydata --name my_data_vol bgruening/galaxy-stable /bin/bash
100 | 
101 |     # 或者在运行时将本地卷`/mydata`加入到容器中`/container_data`位置
102 |     ~$ sudo docker run -d -p 8080:80 -v /mydata:/container_data/ bgruening/galaxy-stable
103 | 
104 | 镜像是只读的，当\ ``Ctrl+D``\ 方式退出容器后，再次进入容器时你上次以添加的内容是看不到的。如果想要从上一次运行的容易中获得文件可以用\ ``docker cp`` \ 的方法，不过你得记住上一次运行的 container id 号。
105 | 
106 | 删除所有不运行的容器
107 | ^^^^^^^^^^^^^^^^^^^^
108 | 
109 | .. code:: bash
110 | 
111 |     ~$ sudo docker ps -a | cut -d ' ' -f 1 | sudo xargs docker rm
112 | 
113 | 删除镜像
114 | ^^^^^^^^
115 | 
116 | .. code:: bash
117 | 
118 |     # IMAGE ID 是该镜像的ID，如果镜像还有容器运行，或有其他镜像的依赖关系，则无法删除要先删除容器或其他镜像。
119 |     ~$ sudo docker rmi IMAGE_ID
120 | 
121 | Rreference
122 | ----------
123 | 
124 | 1. `Docker从入门到实践 <https://yeasy.gitbooks.io/docker_practice/content>`__
125 | 2. `docker-galaxy-stable <https://github.com/bgruening/docker-galaxy-stable>`__
126 | 
127 | 本地安装与基本配置
128 | ------------------
129 | 
130 | 本节介绍 Galaxy 的最基本下载安装与使用。最适合的场景为个人电脑，单用户使用的情况。
131 | 
132 | 下载与安装
133 | ~~~~~~~~~~
134 | 
135 | Galaxy 作为一款开源软件，其代码库托管在 http://bitbucket.org ，先安装 mercurial ，然后用 hg 工具将 galaxy 代码库克隆到本地。
136 | 
137 | :: code-block:: bash
138 | 
139 |     ~app$ sudo apt-get install mercurial
140 |     ~app$ hg clone https://bitbucket.org/galaxy/galaxy-dist/
141 |     ~app$ cd galaxy-dist
142 | 
143 | 可以用 ``hg branch`` 命令查看代码分支是否为
144 | stable，如果是其他分支（galaxy代码库有另一分支'default'），切换到 stable
145 | 分支：\ ``hg update stable``\ 。在生产环境下建议使用 stable 分支的代码。
146 | 
147 | 配置与运行
148 | ^^^^^^^^^^
149 | 
150 | 克隆到本地的 stable 代码，一般Linux系统自带Python就可以直接运行了。
151 | 
152 | .. code-block:: bash
153 | 
154 |     ~app$ ./run.sh
155 | 
156 | 运行\ ``run.sh``\ ，这个shell脚本程序会自动完成初始化数据，依赖库下载，数据库迁移等一系列操作，当看到终端显示\ ``serving on http://127.0.0.1:8080``\ 时，可以打开浏览器，访问 http://127.0.0.1:8080 即可看到galaxy的界面。
157 | 
158 | 添加官方 toolshed 中的工具
159 | ^^^^^^^^^^^^^^^^^^^^^^^^^^
160 | 
161 | 默认的galaxy只带有基本的工具，对于实际工作中需要的各种分析软件，需要添加到自己建立的 galaxy 实例中。
162 | 
163 | 高通量测序的生物信息学软件大多是基于命令行的开源工具。galaxy利用python语言将这些工具粘合到galaxy实例中，使得用户可以在web界面中直接调用命令行工具对数据进行操作。
164 | 
165 | galaxy有一个toolshed（工具库）的概念：\ ``https://toolshed.g2.bx.psu.edu/``\ （官方维护的toolshed），许多著名的工具已经被移植到toolshed中，可以直接被安装到galaxy里，此外也有许多第三方的toolshed包可以添加，甚至掌握了一些 python 脚本和 galaxy xml规范后，也可以自己添加一些分析工具到galaxy中。
166 | 
167 | 除了分析软件外，toolshed还包含创建的数据类型，以及工作流等。首先修改配置文件 ``tool_sheds_conf.xml``
168 | 
169 | .. code-block:: bash
170 | 
171 |     ~$ cp config/tool_sheds_conf.xml.sample config/tool_sheds_conf.xml
172 | 
173 | 其次在galaxy.ini中配置依赖包的安装目录（上一部分已经添加了这个参数，将依赖包安装在\ ``tool_dep``\ ），然后添加管理员帐号，比如你之前用admin@localhost.com注册的galaxy实例，就将galaxy.ini中\ ``admin_users``\ 设置为：
174 | 
175 | .. code-block:: bash
176 | 
177 |     admin_users = admin@localhost.com
178 | 
179 | 重启你的galaxy实例，用admin@localhost.com用户登陆，你就有权限访问\ ``http://127.0.0.1:8080/admin``\ ，在admin界面可以看到\ ``Tool sheds``\ 下有\ ``Search and browse tool sheds``\ 链接，点击后可以看到默认的2个toolsheds源。
180 | 
181 | 进入\ ``Galaxy main tool shed``\ ，工具列表上访有搜索框，在这里输入你要安装的工具名称比如\ ``spades``\ 后，回车进行检索。
182 | 
183 | .. figure:: ../_static/img/chapter_05/appendix_a5_1.png
184 |    :alt: Instance
185 | 
186 |    Instance
187 | 
188 | 点击结果列表中的\ ``spades``\ 下拉菜单，选择\ ``Preview and install``\ ，在转向页面中点击\ ``Install to Galaxy``\ 后，会出现如下图的提示。
189 | 
190 | .. figure:: ../_static/img/chapter_05/appendix_a5_2.png
191 |    :alt: Instance
192 | 
193 |    Instance
194 | 
195 | 在\ ``add new tool panel section``\ 中输入\ ``Assembly``\ ，将\ ``spades``\ 工具归类到\ ``Assembly``\ 这个新建的工具类别中，点击页面底部的\ ``Install``\ 按钮开始安装。
196 | 构建单机产环境
197 | --------------
198 | 
199 | 作为个人尝试，前面的步骤在PC机上已经可以正常运行使用。对于要作为生产环境下多用户使用，建议使用专门的代理服务器和数据库来增强效率和速度。这里采用nginx+postgresql构建生产环境下的
200 | Galaxy 服务。这里只是简单的介绍一下最基本的配置方式，对于高负载的web
201 | server设置又是另一个很复杂的话题了，这里就不具体展开。也可以参考别人做的\ `galaxy
202 | dockerfile <https://registry.hub.docker.com/u/bgruening/galaxy-stable/dockerfile/>`__\ 。
203 | 
204 | 首先在ubuntu下新建一个用户galaxy。
205 | 
206 | .. code-block:: bash
207 | 
208 |     ~$ sudo adduser galaxy
209 | 
210 | 按照提示，在弹出提示符输入相应内容，主要填好密码即可，其他可以留空。然后切换到galaxy用户：
211 | 
212 | .. code-block:: bash
213 | 
214 |     ~$ su galaxy
215 |     ~$ cd
216 | 
217 | 重复\ ``Galaxy 本地安装与配置``\ 的第一步\ ``下载与安装``\ 步骤,建立配置文件：
218 | 
219 | .. code-block:: bash
220 | 
221 |     ~$ cp config/galaxy.ini.sample config/galaxy.ini
222 |     ~$ vim config/galaxy.ini
223 | 
224 | 将配置文件galaxy.ini设置如下，你也可以将内容直接保存成galaxy.ini
225 | 
226 | .. code-block:: bash
227 | 
228 |     [server:main]
229 |     use = egg:Paste#http
230 |     host = 0.0.0.0
231 |     use_threadpool = True
232 |     threadpool_kill_thread_limit = 10800
233 | 
234 |     [filter:gzip]
235 |     use = egg:Paste#gzip
236 | 
237 |     [filter:proxy-prefix]
238 |     use = egg:PasteDeploy#prefix
239 |     prefix = /galaxy
240 | 
241 |     [app:main]
242 |     paste.app_factory = galaxy.web.buildapp:app_factory
243 |     database_connection = postgresql://galaxy:galaxy@localhost:5432/galaxyserver
244 |     tool_dependency_dir = tool_dep
245 |     use_nglims = False
246 |     nglims_config_file = tool-data/nglims.yaml
247 |     debug = False
248 |     use_interactive = False
249 |     admin_users = admin@localhost.com
250 | 
251 | 安装 postgresql
252 | ^^^^^^^^^^^^^^^
253 | 
254 | 安装postgresql并建立galaxy数据库，这里用户名和密码都设置为\ ``galaxy``\ ，要与
255 | galaxy.ini 中\ ``database_connection``\ 参数对应的值一致。
256 | 
257 | .. code-block:: bash
258 | 
259 |     ~$ sudo apt-get install postgresql-9.3
260 |     ~$ su - postgres
261 |     ~$ psql template1
262 | 
263 |     > CREATE USER galaxy WITH PASSWORD 'galaxy';
264 |     > CREATE DATABASE galaxyserver;
265 |     > GRANT ALL PRIVILEGES ON DATABASE galaxyserver to galaxy;
266 |     > \q
267 | 
268 | 安装 nginx
269 | ^^^^^^^^^^
270 | 
271 | 用nginx做反向代理，处理请求。
272 | 
273 | .. code-block:: bash
274 | 
275 |     ~$ sudo apt-get install nginx
276 | 
277 | 设置nginx.conf
278 | 
279 | .. code-block:: bash
280 | 
281 |     http {
282 |         upstream galaxy_app {
283 |             server localhost:8080;
284 |         }
285 | 
286 |         server {
287 |             client_max_body_size 10G;
288 |             location / {
289 |                 proxy_pass   http://galaxy_app;
290 |                 proxy_set_header   X-Forwarded-Host $host;
291 |                 proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
292 |             }
293 |         }
294 |     }
295 | 


--------------------------------------------------------------------------------
/source/chapter_05/index.rst:
--------------------------------------------------------------------------------
 1 | 第五章. 分析工具部署
 2 | ====================
 3 | 
 4 | 目前 NGS 的生物信息学分析工具多如牛毛
 5 | 
 6 | .. toctree::
 7 |    :maxdepth: 1
 8 | 
 9 |    01_cloud
10 |    02_aws
11 |    03_docker
12 |    04_galaxy
13 | 


--------------------------------------------------------------------------------
/source/chapter_06/01_metagenomics.rst:
--------------------------------------------------------------------------------
 1 | 第1节. Metagenomics 概述
 2 | ========================
 3 | 
 4 | .. note::
 5 |     Metagenomics 实验操作和数据分析主要包括2个方面：
 6 | 
 7 |     1. **shotgun metagenomics**
 8 |     2. **16s rRNA metagenomics**
 9 | 
10 | 1. shotgun Metagenomics
11 | -----------------------
12 | 
13 | 我们在第1-3节介绍如何用软件处理 shotgun metagenomics 测序数据。
14 | 
15 | Metegenomics de novo assembly 中的几个难题：
16 | 
17 | * 重复序列
18 | * 低覆盖度
19 | * 测序错误
20 | 
21 | 重复序列
22 | ^^^^^^^^
23 | 
24 | 重复序列是
25 | 
26 | 低覆盖度
27 | ^^^^^^^^
28 | 
29 | 测序错误
30 | ^^^^^^^^
31 | 
32 | 2. 16s rRNA Metagenomics
33 | ------------------------
34 | 
35 | 16s rRNA 数据有偏向性：
36 | 
37 | - Degenerate primers Degenerate primers
38 | - PCR Amplification
39 | - Databases
40 | - Does not capture viruses and eukaryotes
41 | 
42 | 主要用于菌群分析。
43 | 
44 | 用途：需要深度测序的数据，样本一般分为：宿主来源，如人或动物等；环境来源，如土壤或水体等。数据分析时，前者一定要考去除宿主缘DNA，后者要高度深度测序对后期拼接有较大帮助。
45 | 
46 | **Methods Protocol**:
47 | 
48 | - DNA isolation
49 | - Library preparation
50 | - Sequencing
51 | - Data QC: FastQC, FastX_toolkit
52 | - Reads assembly: IDBA-UD, Mira, Velvet/MetaVelvet, Spades
53 | - Partipation: FCP，Phymm/PhymmBL, AMPHORA2, NBC, MEGAN, MG-RAST, CAMERA, IMG/M
54 | - Analysis: MetaPhAln, PhyloSift/pplacer
55 | 
56 | 3. Reference
57 | ------------
58 | 
59 | 1. http://www.slideshare.net/c.titus.brown/2015-beaconmetagenometutorial
60 | 


--------------------------------------------------------------------------------
/source/chapter_06/02_centrifuge.rst:
--------------------------------------------------------------------------------
 1 | 第2节. 使用 Centrifuge 分析
 2 | ===========================
 3 | 
 4 | Centrifuge 是一个快速检索 reads 的软件，可以用于对微生物样本测序后的宏基因组数据分析。
 5 | 
 6 | 1. 安装 Centrifuge
 7 | ------------------
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    # 安装软件
12 |    $ git clone https://github.com/infphilo/centrifuge
13 |    $ cd centrifuge
14 |    $ make
15 |    $ sudo make install
16 |    # 下载数据库
17 |    $ cd indices
18 |    $ make b+h+v
19 | 
20 | 2. 使用 Centrifuge
21 | ------------------
22 | 


--------------------------------------------------------------------------------
/source/chapter_06/03_clark-s.rst:
--------------------------------------------------------------------------------
1 | 第3节. 使用 Clark-S 分析
2 | ========================
3 | 


--------------------------------------------------------------------------------
/source/chapter_06/04_kraken.rst:
--------------------------------------------------------------------------------
1 | 第4节. 使用 Kraken 分析
2 | =======================
3 | 


--------------------------------------------------------------------------------
/source/chapter_06/05_meta-beetl.rst:
--------------------------------------------------------------------------------
  1 | 第4节. 使用 Meta-BEETL 分析
  2 | ===========================
  3 | 
  4 | ``BEETL`` 是一套做 ``Burrows-Wheeler Transform`` 的工具集，\ `Meta-BEETL <#meta-beetl>`_ 是 ``BEETL`` 下的一个子项目，用来分析基于 Shotgun metagenomics 的微生物数据。
  5 | 
  6 | 1. 构建数据库
  7 | -------------
  8 | 
  9 | 1.1 直接下载已整理的数据库
 10 | ^^^^^^^^^^^^^^^^^^^^^^^^^^
 11 | 
 12 | 作者已经将研究所用到的数据库整理后提交到 Amazon S3
 13 | 服务器上，可以直接下载。总数据量在24G左右。
 14 | 
 15 | .. code:: bash
 16 | 
 17 |     ~$ mkdir BeetlMetagenomeDatabase && cd BeetlMetagenomeDatabase
 18 |     ~/BeetlMetagenomDatabase$ for i in `curl https://s3.amazonaws.com/metaBEETL | grep -oP "[^>]*bz2"` ; \
 19 |     > do wget https://s3.amazonaws.com/metaBEETL/$i & done
 20 | 
 21 | 静态文件的 URL 地址，也可以直接下载。
 22 | 
 23 | ::
 24 | 
 25 |     https://s3.amazonaws.com/metaBEETL/filecounter.csv.bz2
 26 |     https://s3.amazonaws.com/metaBEETL/headerFile.csv.bz2
 27 |     https://s3.amazonaws.com/metaBEETL/names.dmp.bz2
 28 |     https://s3.amazonaws.com/metaBEETL/ncbiFileNumToTaxTree.bz2
 29 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B00.bz2
 30 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B01.bz2
 31 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B02.bz2
 32 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B03.bz2
 33 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B04.bz2
 34 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B05.bz2
 35 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-B06.bz2
 36 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C00.bz2
 37 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C01.bz2
 38 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C02.bz2
 39 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C03.bz2
 40 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C04.bz2
 41 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C05.bz2
 42 |     https://s3.amazonaws.com/metaBEETL/ncbiMicros-C06.bz2
 43 | 
 44 | 下载完成后解压缩。
 45 | 
 46 | ::
 47 | 
 48 |     ~/BeetlMetagenomDatabase$ bunzip2 *.bz2
 49 |     ~/BeetlMetagenomDatabase$ export METAGENOME_DATABASE_PATH=`pwd`
 50 | 
 51 | 1.2 构建自定义数据库
 52 | ^^^^^^^^^^^^^^^^^^^^
 53 | 
 54 | 处于实际目的，有时候我们不需要这么大的数据库，或者需要更多其他的数据加入到数据库，那就需要自行建立数据库。
 55 | 
 56 | 1.2.1 安装 SeqAn
 57 | ~~~~~~~~~~~~~~~~
 58 | 
 59 | `SeqAn <www.seqan.de>`__ 是一个高效的 C++
 60 | 算法和数据结构库，用于分析生物序列等用途。访问 `SeqAn <www.seqan.de>`__
 61 | 下载并安装。安装完成后编译BEETL时可以添加\ ``--with-seqan``\ 参数。
 62 | 
 63 | .. code:: bash
 64 | 
 65 |     # 安装依赖包
 66 |     ~$ sudo apt-get install g++ cmake python zlib1g-dev libbz2-dev libboost-dev
 67 |     ~$ cd ~/apps
 68 |     ~/apps$ git clone https://github.com/seqan/seqan.git && cd seqan
 69 |     ~/apps/seqan$ git checkout -b develop origin/develop
 70 | 
 71 | 1.2.2 下载目标序列
 72 | ~~~~~~~~~~~~~~~~~~
 73 | 
 74 | 下载需要的序列，比如NCBI上细菌的基因组 ref 数据。
 75 | 
 76 | .. code:: bash
 77 | 
 78 |     ~/BeetlMetagenomDatabase$ wget ftp://ftp.ncbi.nlm.nih.gov/genomes/Bacteria/all.fna.tar.gz -P downloads
 79 |     ~/BeetlMetagenomDatabase$ mkdir all.fna
 80 |     ~/BeetlMetagenomDatabase$ tar xzf downloads/all.fna.tar.gz -C all.fna/
 81 | 
 82 | 1.2.3 创建去除质粒序列的单基因组序列
 83 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 84 | 
 85 | .. code:: bash
 86 | 
 87 |     ~/BeetlMetagenomDatabase$ metabeetl-db-genomesToSingleSeq -f all.fna/*/*.fna -s singleSeqGenomes
 88 |     ~/BeetlMetagenomDatabase$ cd singleSeqGenomes
 89 | 
 90 | 1.2.4 创建BWT
 91 | ~~~~~~~~~~~~~
 92 | 
 93 | 修改\ ``metabeetl-db-arrayBWT.sh``\ 文件里数据库路径，创建 G\_\* 和 G\_\*\_rev 文件的BWTs，用qsub来向系统提交任务。也可以运行\ ``metabeetl-db-makeBWTSkew``\ 来一个个创建。
 94 | 
 95 | .. code:: bash
 96 | 
 97 |     ~/BeetlMetagenomDatabase$ cp `which metabeetl-db-arrayBWT.sh` .
 98 |     ~/BeetlMetagenomDatabase$ vim metabeetl-db-arrayBWT.sh
 99 |     # 如果文件是 G_1 - G_500，那么n=1-500
100 |     ~/BeetlMetagenomDatabase$ qsub -t n metabeetl-db-arrayBWT.sh
101 | 
102 |     # 或者
103 |     ~/BeetlMetagenomDatabase$ (echo -n "all: " ; for i in G_*; do echo -n " bwt_${i}-B00"; done ; echo -e "\n" ; \
104 |     > for i in G_*; do echo "bwt_${i}-B00: ${i}"; echo -e "\tmetabeetl-db-makeBWTSkew ${i} ${i}\n" ; done ) > Makefile
105 |     ~$ make -j
106 | 
107 | 1.2.5 合并序列
108 | ~~~~~~~~~~~~~~
109 | 
110 | 在一台内存>60G的机器上将序列加载到内存中，并吧所有文件合并。
111 | 
112 | .. code:: bash
113 | 
114 |     ~/BeetlMetagenomDatabase$ for pileNum in `seq 0 5`; do metabeetl-db-mergeBacteria $pileNum ncbiMicros <( ls G_* ) ; done
115 | 
116 | 生成的文件名称类似：ncbiMicros-A0\*, -B0\* and -C0\*
117 | 
118 | -  -A0\* 包含每个BWT的位置
119 | -  -B0\* BWTs
120 | -  -C0\* 包含每个BWT位置的文件号
121 | 
122 | 文件 -B0\* and -C0\* 用于计数算法
123 | 
124 | 1.2.6 转换BWT文件格式
125 | ~~~~~~~~~~~~~~~~~~~~~
126 | 
127 | 可选操作：将BWT文件转换成RLE BWT格式，运行可以更快。
128 | 
129 | .. code:: bash
130 | 
131 |     ~/BeetlMetagenomDatabase$ for pileNum in `seq 0 5`; do \
132 |     > mv ncbiMicros-B0${pileNum} ncbiMicros-B0${pileNum}.ascii ;  \
133 |     > beetl-convert \
134 |     > --input-format=bwt_ascii \
135 |     > --output-format=bwt_rle \
136 |     > -i ncbiMicros-B0${pileNum}.ascii \
137 |     > -o ncbiMicros-B0${pileNum} ; \
138 |     > done
139 | 
140 | 1.2.7 下载 NCBI Taxoonmy
141 | ~~~~~~~~~~~~~~~~~~~~~~~~
142 | 
143 | .. code:: bash
144 | 
145 |     ~$ cd tmp
146 |     ~/tmp$ wget ftp://ftp.ncbi.nih.gov/pub/taxonomy/taxdump.tar.gz
147 |     ~/tmp$ wget ftp://ftp.ncbi.nih.gov/pub/taxonomy/gi_taxid_nucl.dmp.gz
148 |     ~/tmp$ tar xzf taxdump.tar.gz names.dmp nodes.dmp
149 |     ~/tmp$ gunzip gi_taxid_nucl.dmp.gz
150 | 
151 | | 用\ ``metabeetl-db-findTaxa``\ 脚本查找数据库中的taxonomic树。 Use the
152 | metabeetl-db-findTaxa script to find the taxonomic tree corresponding to
153 | the file numbers in the database.
154 | |  You will need the headerFile produced by running
155 | "metabeetl-db-genomesToSingleSeq" and fileCounter created during the
156 | merging of the bacterial reference genomes.
157 | |  Finally, you get for each file number in the database a taxonomic
158 | tree with the taxonomic ids.
159 | |  There will be some 0 in the taxonomic tree. This is a taxonomic id
160 | which could not be matched to: Superkingdom, Phylum, Order, Class,
161 | Family, Genus, Species or Strain.
162 | |  Sometimes there are just missing taxa in the taxonomy. We supplement
163 | this with the file ``metaBeetlExtraNames.dmp`` below.
164 | 
165 | .. code:: bash
166 | 
167 |     ~/BeetlMetagenomDatabase$ metabeetl-db-findTaxa \
168 |     > -nA downloads/names.dmp \
169 |     > -nO downloads/nodes.dmp \
170 |     > -nG downloads/gi_taxid_nucl.dmp \
171 |     > -h singleSeqGenomes/headerFile.csv \
172 |     > -f singleSeqGenomes/filecounter.csv > ncbiFileNumToTaxTree
173 | 
174 |     ~/BeetlMEtagenomDatabase$ ( grep scientific downloads/names.dmp ; cat ${BEETL_INSTALL_DIR}/share/beetl/metaBeetlExtraNames.dmp ) > metaBeetlTaxonomyNames.dmp
175 | 
176 | 1.2.8 计算 normalisation 因子
177 | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
178 | 
179 | .. code:: bash
180 | 
181 |     ~/BeetlMetagenomDatabase$ mkdir normalisation
182 |     ~/BeetlMetagenomDatabase$ cd normalisation
183 |     ~/BeetlMetagenomDatabase/normalisation$ touch normalize.sh
184 | 
185 | .. code-block:: bash
186 | 
187 |     # normalize.sh
188 |     for genome in ../singleSeqGenomes/G_*; do
189 |     (
190 |         genomeNum=`basename ${genome}`
191 |         mkdir ${genomeNum}
192 |         cd ${genomeNum}
193 |         for i in ../../singleSeqGenomes/bwt_${genomeNum}-B0?; do ln -s ${i} ; done
194 |         for i in `seq 0 6`; do touch bwt_${genomeNum}-B0${i}; done
195 |         time beetl-compare --mode=metagenomics -a bwt_${genomeNum} -b ../../singleSeqGenomes/ncbiMicros -t ../../ncbiFileNumToTaxTree -w 20 -n 1 -k 50 --no-comparison-skip -v &> out.step1
196 |         rm -f BeetlCompareOutput/cycle51.subset*
197 |             touch empty.txt
198 |         time cat BeetlCompareOutput/cycle*.subset* | metabeetl-convertMetagenomicRangesToTaxa ../../ncbiFileNumToTaxTree ../../singleSeqGenomes/ncbiMicros ../../metaBeetlTaxonomyNames.dmp empty.txt 20 50 - &> out.step2
199 |         cd ..
200 |     ) &
201 |     done ; wait
202 | 
203 |     for i in `seq 1 2977`; do echo "G_$i"; X=`grep -P "G_${i}$" ../singleSeqGenomes/filecounter.csv | cut -f 1 -d ','`; TAX=`grep -P "^${X} " ../ncbiFileNumToTaxTree | tr -d "\n\r"` ; echo "TAX(${X}): ${TAX}."; TAXID=`echo "${TAX}" | sed 's/\( 0\)*$//g' | awk '{print $NF}'`; echo "TAXID=${TAXID}"; COUNTS=`grep Counts G_${i}/out.step2 | head -1`; echo "COUNTS=${COUNTS}"; MAIN_COUNT=`echo "${COUNTS}  " | sed "s/^.* ${TAXID}:\([0-9]*\) .*$/\1/ ; s/Counts.*/0/"` ; echo "MAIN_COUNT=${MAIN_COUNT}" ; SUM=`echo "${COUNTS}  " | tr ' ' '\n' | sed 's/.*://' | awk 'BEGIN { sum=0 } { sum+=$1 } END { print sum }'` ; echo "SUM=$SUM"; PERCENT=`echo -e "scale=5\n100*${MAIN_COUNT}/${SUM}" | bc` ; echo "PERCENT=${PERCENT}" ; echo "FINAL: G_${i} ${TAXID} ${MAIN_COUNT} ${SUM} ${COUNTS}" ; done > r2977
204 | 
205 |     grep FINAL r2977 > ../normalisation.txt
206 | 
207 |     $ ./normalize.sh
208 |     
209 | 1.2.9 创建数据库文件夹
210 | ~~~~~~~~~~~~~~~~~~~~~~
211 | 
212 | .. code:: bash
213 | 
214 |     ~$ mkdir metaBeetlNcbiDb
215 |     ~$ cd ~/metaBeetlNcbiDb
216 |     ~$ ln -s ../ncbiFileNumToTaxTree
217 |     ~$ ln -s ../normalisation.txt
218 |     ~$ ln -s ../downloads/metaBeetlTaxonomyNames.dmp
219 |     ~$ ln -s ../singleSeqGenomes/filecounter.csv
220 |     ~$ ln -s ../singleSeqGenomes/headerFile.csv
221 |     ~$ for i in ../singleSeqGenomes/ncbiMicros-[BC]0[0-5]; do ln -s $i ; done
222 | 
223 | 2. 分析数据
224 | -----------
225 | 
226 | 2.1 使用公共数据库中的 shotgun metagenomics 数据
227 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
228 | 
229 | 用 SRS013948 这个人类肠道细菌组研究项目的数据作为例子。首先下载数据:
230 | 
231 | .. code:: bash
232 | 
233 |     # http download
234 |     ~/data$ wget http://downloads.hmpdacc.org/data/Illumina/throat/SRS013948.tar.bz2
235 | 
236 |     # ftp download
237 |     ~/data$ wget ftp://public-ftp.hmpdacc.org/Illumina/throat/SRS013948.tar.bz2
238 | 
239 |     # 解压缩
240 |     ~/data$ tar xjf SRS013948.tar.bz2
241 |     ~/data$ ls -l
242 | 
243 | 解压缩后可以看到下面3个文件：
244 | 
245 | ::
246 | 
247 |     SRS013948.denovo_duplicates_marked.trimmed.1.fastq
248 |     SRS013948.denovo_duplicates_marked.trimmed.2.fastq
249 |     SRS013948.denovo_duplicates_marked.trimmed.singleton.fastq
250 | 
251 | 2.2 转换数据和合并数据
252 | ^^^^^^^^^^^^^^^^^^^^^^
253 | 
254 | .. code:: bash
255 | 
256 |     ~/data$ beetl-convert \
257 |     > -i SRS013948.denovo_duplicates_marked.trimmed.1.fastq \
258 |     > -o paddedSeq1.seq \
259 |     > --sequence-length=100
260 |     ~/data$ beetl-convert \
261 |     > -i SRS013948.denovo_duplicates_marked.trimmed.2.fastq \
262 |     > -o paddedSeq2.seq \
263 |     > --sequence-length=100
264 |     ~/data$ beetl-convert \
265 |     > -i SRS013948.denovo_duplicates_marked.trimmed.singleton.fastq \
266 |     > -o paddedSeqSingleton.seq \
267 |     > --sequence-length=100
268 |     ~/data$ cat paddedSeq1.seq paddedSeq2.seq paddedSeqSingleton.seq > SRS013948.seq
269 | 
270 | 2.3 以 metagenomic 模式运行 BEETL
271 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
272 | 
273 | 创建 BWT 变换，然后运行 metagenomic 模式的 BEETL
274 | 
275 | .. code:: bash
276 | 
277 |     ~/data$ beetl-bwt -i SRS013948.seq -o bwt_SRS013948
278 |     ~/data$ beetl-compare \
279 |     > --mode=metagenomics \
280 |     > -a bwt_SRS013948 \
281 |     > -b ${METAGENOME_DATABASE_PATH}/ncbiMicros \
282 |     > -t ${METAGENOME_DATABASE_PATH}/ncbiFileNumToTaxTree \
283 |     > -w 20 \
284 |     > -n 1 \
285 |     > -k 50 \
286 |     > --no-comparison-skip
287 | 
288 | ``beetl-compare`` 命令会在文件夹 ``BeetlCompareOutput``
289 | 里生成许多文件。k值设置越大，可以获得越多的信息数据，但是输出文件也会变得越大。
290 | 
291 | 2.4 图形化显示结果
292 | ^^^^^^^^^^^^^^^^^^
293 | 
294 | ``metabeetl-convertMetagenomicRangesToTaxa``
295 | 工具根据kmer匹配，从而获得基因组以及上一级分类的ID号，并生成文字与图形结果（采用Krona
296 | js可视化库来形成网页格式的报告文件）。
297 | 
298 | 由于算法原因需要频繁读取BWT位置，因此数据库文件 ``ncbiMicros-C0*``
299 | 最好放在读取速度比较块的磁盘扇区或者磁盘里如SSD硬盘。另外如果内存足够，可以用
300 | ``metabeetl-convertMetagenomicRangesToTaxa_withMmap``
301 | 工具，将这些比对文件读入内存中加快速度。
302 | 
303 | .. code:: bash
304 | 
305 |     ~/data$ cat BeetlCompareOutput/cycle*.subset* | \
306 |     > metabeetl-convertMetagenomicRangesToTaxa \
307 |     > ${METAGENOME_DATABASE_PATH}/ncbiFileNumToTaxTree \
308 |     > ${METAGENOME_DATABASE_PATH}/ncbiMicros \
309 |     > ${METAGENOME_DATABASE_PATH}/metaBeetlTaxonomyNames.dmp \
310 |     > ${METAGENOME_DATABASE_PATH}/normalisation.txt \
311 |     > 20 50 - > metaBeetl.log
312 | 
313 | **生成的TSV（制表符分隔）文件各列含义：**
314 | 
315 | +------------+----------------------------------+
316 | | 列         | 字段含义                         |
317 | +============+==================================+
318 | | column 1   | Taxonomy Id                      |
319 | +------------+----------------------------------+
320 | | column 2   | Taxonomy level                   |
321 | +------------+----------------------------------+
322 | | column 3   | k-mer count                      |
323 | +------------+----------------------------------+
324 | | column 4   | k-mer count including children   |
325 | +------------+----------------------------------+
326 | 
327 | **TSV文件用途：**
328 | 
329 | -  metaBeetl.tsv: raw k-mer counts for every leaves and ancestors.
330 | -  metaBeetl\_normalised.tsv: some counts from ancestors are moved
331 |    towards leaf items. The proportion thereof is pre-computed by
332 |    aligning each individual genome to the full database.
333 | -  metaBeetl\_normalised2.tsv: Only leaves of the taxonomy tree are
334 |    kept, and counts are normalised relatively to genome sizes.
335 | 
336 | **Krona JS 结果文件** - metaBeetl\_krona.html -
337 | metaBeetl\_krona\_normalised.html - metaBeetl\_krona\_normalised2.html
338 | 
339 | 3. Reference
340 | ------------
341 | 
342 | -  http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3622627/
343 | -  https://github.com/BEETL/BEETL.git
344 | 


--------------------------------------------------------------------------------
/source/chapter_06/index.rst:
--------------------------------------------------------------------------------
 1 | 第六章. Metagenomics数据分析
 2 | ============================
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_metagenomics.rst
 8 |    02_centrifuge.rst
 9 |    03_clark-s.rst
10 |    04_kraken.rst
11 |    05_meta-beetl.rst
12 | 


--------------------------------------------------------------------------------
/source/chapter_07/01_snippy.rst:
--------------------------------------------------------------------------------
 1 | Snippy
 2 | ======
 3 | 
 4 | `snippy`_ 是澳大利亚墨尔本大学的 `Torsten Seemann`_ 开发的用于细菌基因组 snps 分析的软件。`Torsten Seemann`_ 是著名的细菌基因组注释软件 `prokka`_ 的作者，而 `snippy`_ 也是被广泛使用的软件之一。`snippy`_ 的前身叫做 `wombac`_，
 5 | 
 6 | .. note::
 7 |     `wombac`_ 是由 `Victorian Bioinformatics Consortium`_ 开发的用于获取细菌基因组 SNP 分析的工具集。`wombac`_ 使用 perl 开发，本质上是一个 perl pipeline，使用的工具是 bwa, samtools, freebayes, vcfutils.pl, bgzip, tabix 等依赖包。`wombac`_ 会寻找碱基替换，但不会搜索 indels，精确度上来说可能会有一些 snps 的丢失，但其精度已足够用来进行大部分基因组的快速分析。
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    # 数据
12 |    $ tree data/
13 |    S01_R1_L001.fastq.gz
14 |    S01_R2_L001.fastq.gz
15 |    S02_R1_L001.fastq.gz
16 |    S02_R2_L001.fastq.gz
17 |    ...
18 | 
19 | 
20 | 1. 下载安装
21 | -----------
22 | 
23 | `snippy`_ 的软件仓库托管在 `Github`_ 上，在 Linux 系统里安装了 git 工具可以将代码仓库克隆到本地运行。
24 | 
25 | .. code-block:: bash
26 | 
27 |    # 克隆代码仓库
28 |    $ git clone https://github.com/tseemann/snippy
29 |    # 添加 snippy 以及依赖库的路径到环境变量中，使终端下直接运行 snippy 即可调用程序
30 |    $ echo 'export PATH="$HOME/repos/snippy/bin:$HOME/repos/snippy/binary/linux:$PATH"' >> ~/.bashrc
31 |    $ source ~/.bashrc
32 | 
33 | 2. 使用sinppy
34 | -------------
35 | 
36 | `snippy`_ 最基本的用法，可以将测序数据比对到参考基因组，获得相对应的 snps：
37 | 
38 | .. code-block:: bash
39 | 
40 |    # --cpus 20 表示采用20个进程执行命令
41 |    $ snippy --cpus 20 --outdir S01 -ref reference.fa --R1 S01_R1_L001.fastq.gz --R2 S01_R2_L001.fastq.gz
42 | 
43 | 对于多个样本的分析，寻找共同 snps，可以用 snippy-core 将各个样本的 snps 合并来实现。
44 | 
45 | .. code-block:: bash
46 | 
47 |    # 依次将 mapping 到 reference.fa 的比对结果中的 snps 数据
48 |    $ snippy --cpus 20 --outdir S01 -ref reference.fa --R1 S01_R1_L001.fastq.gz --R2 S01_R2_L001.fastq.gz
49 |    $ snippy --cpus 20 --outdir S02 -ref reference.fa --R1 S02_R1_L001.fastq.gz --R2 S02_R2_L001.fastq.gz
50 |    $ snippy --cpus 20 --outdir S03 -ref reference.fa --R1 S03_R1_L001.fastq.gz --R2 S02_R2_L001.fastq.gz
51 |    # 将所有 snps 结果汇总，获得 core snps
52 |    $ snippy-core --prefix core-snps S01 S02 S03
53 | 
54 | 也可以用 shell 的循环命令来调用 `snippy`_ 工具。
55 | 
56 | .. code-block:: bash
57 | 
58 |    # 用 shell 脚本循环完成样本 snps 比对工作
59 |    $ for i in $(awk -F'_' '{print $1}' <(ls -D *.fastq.gz) | sort | uniq); \
60 |    > do snippy --cpus 20 --outdir $i -ref reference.fa --R1 $i*R1*.fastq.gz --R2 $i*R2*.fastq.gz; \
61 |    > done
62 |    $ snippy-core --prefix core-snps S*
63 | 
64 | snippy-core 生成的 core-snps.aln 文件，可以用进化树绘制工具生成进化树。
65 | 
66 | .. code-block:: bash
67 | 
68 |    # 生成 clustal 格式的 core.aln 比对文件，这里用 splittree 构建进化树
69 |    $ splittree -i core-snps/core.aln
70 | 
71 |    # 或者将生成的 .aln 格式比对文件转换成 .phy 格式，然后再用 raxml 构建 ML 树
72 |    $ raxml -f a -x 12345 -# 100  -p 12345 -m GTRGAMMA -s core.phy -n ex -T 40
73 | 
74 | .. note::
75 |     有很多中方法 可以将 aln 格式的文件转换成 phy 格式的比对文件。比如用 biopython
76 | 
77 |     >>> from Bio import AlignIO
78 |     >>> AlignIO.convert(core-snps/core.aln, "clustal", core-snps/core.phy, "phylip-relaxed")
79 | 
80 | 3. Reference
81 | ------------
82 | 
83 | 
84 | .. _snippy: https://github.com/tseemann/snippy
85 | .. _prokka: https://github.com/tseemann/prokka
86 | .. _Torsten Seemann: https://twitter.com/torstenseemann
87 | .. _wombac: https://github.com/tseemann/wombac
88 | .. _Victorian Bioinformatics Consortium: http://www.vicbioinformatics.com/
89 | .. _Github: https://github.com
90 | 


--------------------------------------------------------------------------------
/source/chapter_07/02_realphy.rst:
--------------------------------------------------------------------------------
1 | REALPhy
2 | =======
3 | 


--------------------------------------------------------------------------------
/source/chapter_07/03_ksnp.rst:
--------------------------------------------------------------------------------
1 | kSNP
2 | ====
3 | 


--------------------------------------------------------------------------------
/source/chapter_07/04_snp-pipeline.rst:
--------------------------------------------------------------------------------
1 | SNP-Pipeline
2 | ============
3 | 


--------------------------------------------------------------------------------
/source/chapter_07/index.rst:
--------------------------------------------------------------------------------
 1 | 第七章. Phylogenomics 分析
 2 | ============================
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_snippy.rst
 8 |    02_realphy.rst
 9 |    03_ksnp.rst
10 |    04_snp-pipeline.rst
11 | 


--------------------------------------------------------------------------------
/source/chapter_08/01_mummer.rst:
--------------------------------------------------------------------------------
1 | Mummer
2 | ======
3 | 


--------------------------------------------------------------------------------
/source/chapter_08/02_mauve.rst:
--------------------------------------------------------------------------------
 1 | Mauve
 2 | =====
 3 | 
 4 | 1. 安装
 5 | -------
 6 | 
 7 | .. code-block::
 8 | 
 9 |     $ sudo ln -s `pwd`/Mauve /usr/local/sbin
10 | 
11 | 
12 | 
13 | 2. 结果
14 | -------
15 | 
16 | * .alignment 文件是 mauve 将基因组比对后产生的xmfa格式的比对文件，支持xmfa的软件都可以查看或者进一步分析。
17 | * .mauve 文件是 mauve 的共线性比对结果，只储存大片段比对情况，节约磁盘空间。具体的序列比对结果可以看.alignment 文件
18 | * .island 文件是 mauve 比对后认为可能的一些基因岛，比如一些基因组携带但是部分基因组确实的片段序列，对于mauve里定义的岛，可以根据参数修改获得不同的“岛”
19 | * .backbone 文件顾名思义，是mauve比对多个基因组序列后，生成的共有保守区序列起始和终止位置信息。每一行都是一个backbone区域，里面是该区域每个基因组的起始与终止区位置，有几个参比基因组就有多少个位置信息。
20 | * guide tree 文件是 mauve生成的newick格式的模拟拓扑树文件。
21 | * 其他有用的文件，还有snp文件，包含各个单核苷酸图突变及其位置信息；orthologs文件则将基因组的注释基因的orthologs信息提取保留；LCB文件则记录各个基因组共线性分析出来的区块边界信息。
22 | 


--------------------------------------------------------------------------------
/source/chapter_08/index.rst:
--------------------------------------------------------------------------------
1 | 第八章 Alignment 比对序列
2 | =========================
3 | 
4 | .. toctree::
5 |    :maxdepth: 1
6 | 
7 |    01_mummer.rst
8 |    02_mauve.rst
9 | 


--------------------------------------------------------------------------------
/source/conf.py:
--------------------------------------------------------------------------------
  1 | # -*- coding: utf-8 -*-
  2 | import sphinx_rtd_theme
  3 | from recommonmark.parser import CommonMarkParser
  4 | 
  5 | #
  6 | # NGS Data Analysis for Pathogens documentation build configuration file, created by
  7 | # sphinx-quickstart on Sat Jul 16 11:11:04 2016.
  8 | #
  9 | # This file is execfile()d with the current directory set to its
 10 | # containing dir.
 11 | #
 12 | # Note that not all possible configuration values are present in this
 13 | # autogenerated file.
 14 | #
 15 | # All configuration values have a default; values that are commented out
 16 | # serve to show the default.
 17 | 
 18 | # If extensions (or modules to document with autodoc) are in another directory,
 19 | # add these directories to sys.path here. If the directory is relative to the
 20 | # documentation root, use os.path.abspath to make it absolute, like shown here.
 21 | #
 22 | # import os
 23 | # import sys
 24 | # sys.path.insert(0, os.path.abspath('.'))
 25 | 
 26 | # -- General configuration ------------------------------------------------
 27 | 
 28 | # If your documentation needs a minimal Sphinx version, state it here.
 29 | #
 30 | # needs_sphinx = '1.0'
 31 | 
 32 | # Add any Sphinx extension module names here, as strings. They can be
 33 | # extensions coming with Sphinx (named 'sphinx.ext.*') or your custom
 34 | # ones.
 35 | extensions = []
 36 | 
 37 | # Add any paths that contain templates here, relative to this directory.
 38 | templates_path = ['_templates']
 39 | 
 40 | # The suffix(es) of source filenames.
 41 | # You can specify multiple suffix as a list of string:
 42 | #
 43 | source_parsers = {'.md': CommonMarkParser}
 44 | source_suffix = ['.rst', '.md']
 45 | #source_suffix = '.rst'
 46 | 
 47 | # The encoding of source files.
 48 | #
 49 | # source_encoding = 'utf-8-sig'
 50 | 
 51 | # The master toctree document.
 52 | master_doc = 'index'
 53 | 
 54 | # General information about the project.
 55 | project = u'NGS Data Analysis for Pathogens'
 56 | copyright = u'2016, Mark Renton'
 57 | author = u'Mark Renton'
 58 | 
 59 | # The version info for the project you're documenting, acts as replacement for
 60 | # |version| and |release|, also used in various other places throughout the
 61 | # built documents.
 62 | #
 63 | # The short X.Y version.
 64 | version = u'0.0.1a'
 65 | # The full version, including alpha/beta/rc tags.
 66 | release = u'0.0.1a'
 67 | 
 68 | # The language for content autogenerated by Sphinx. Refer to documentation
 69 | # for a list of supported languages.
 70 | #
 71 | # This is also used if you do content translation via gettext catalogs.
 72 | # Usually you set "language" from the command line for these cases.
 73 | language = 'zh_CN'
 74 | 
 75 | # There are two options for replacing |today|: either, you set today to some
 76 | # non-false value, then it is used:
 77 | #
 78 | # today = ''
 79 | #
 80 | # Else, today_fmt is used as the format for a strftime call.
 81 | #
 82 | # today_fmt = '%B %d, %Y'
 83 | 
 84 | # List of patterns, relative to source directory, that match files and
 85 | # directories to ignore when looking for source files.
 86 | # This patterns also effect to html_static_path and html_extra_path
 87 | exclude_patterns = []
 88 | 
 89 | # The reST default role (used for this markup: `text`) to use for all
 90 | # documents.
 91 | #
 92 | # default_role = None
 93 | 
 94 | # If true, '()' will be appended to :func: etc. cross-reference text.
 95 | #
 96 | # add_function_parentheses = True
 97 | 
 98 | # If true, the current module name will be prepended to all description
 99 | # unit titles (such as .. function::).
100 | #
101 | # add_module_names = True
102 | 
103 | # If true, sectionauthor and moduleauthor directives will be shown in the
104 | # output. They are ignored by default.
105 | #
106 | # show_authors = False
107 | 
108 | # The name of the Pygments (syntax highlighting) style to use.
109 | pygments_style = 'sphinx'
110 | 
111 | # A list of ignored prefixes for module index sorting.
112 | # modindex_common_prefix = []
113 | 
114 | # If true, keep warnings as "system message" paragraphs in the built documents.
115 | # keep_warnings = False
116 | 
117 | # If true, `todo` and `todoList` produce output, else they produce nothing.
118 | todo_include_todos = False
119 | 
120 | 
121 | # -- Options for HTML output ----------------------------------------------
122 | 
123 | # The theme to use for HTML and HTML Help pages.  See the documentation for
124 | # a list of builtin themes.
125 | #
126 | #html_theme = 'alabaster'
127 | html_theme = 'sphinx_rtd_theme'
128 | html_theme_path = [sphinx_rtd_theme.get_html_theme_path()]
129 | 
130 | # Theme options are theme-specific and customize the look and feel of a theme
131 | # further.  For a list of options available for each theme, see the
132 | # documentation.
133 | #
134 | # html_theme_options = {}
135 | 
136 | # Add any paths that contain custom themes here, relative to this directory.
137 | # html_theme_path = []
138 | 
139 | # The name for this set of Sphinx documents.
140 | # "<project> v<release> documentation" by default.
141 | #
142 | # html_title = u'NGS Data Analysis for Pathogens v0.0.1a'
143 | 
144 | # A shorter title for the navigation bar.  Default is the same as html_title.
145 | #
146 | # html_short_title = None
147 | 
148 | # The name of an image file (relative to this directory) to place at the top
149 | # of the sidebar.
150 | #
151 | # html_logo = None
152 | 
153 | # The name of an image file (relative to this directory) to use as a favicon of
154 | # the docs.  This file should be a Windows icon file (.ico) being 16x16 or 32x32
155 | # pixels large.
156 | #
157 | # html_favicon = None
158 | 
159 | # Add any paths that contain custom static files (such as style sheets) here,
160 | # relative to this directory. They are copied after the builtin static files,
161 | # so a file named "default.css" will overwrite the builtin "default.css".
162 | html_static_path = ['_static']
163 | 
164 | # Add any extra paths that contain custom files (such as robots.txt or
165 | # .htaccess) here, relative to this directory. These files are copied
166 | # directly to the root of the documentation.
167 | #
168 | # html_extra_path = []
169 | 
170 | # If not None, a 'Last updated on:' timestamp is inserted at every page
171 | # bottom, using the given strftime format.
172 | # The empty string is equivalent to '%b %d, %Y'.
173 | #
174 | # html_last_updated_fmt = None
175 | 
176 | # If true, SmartyPants will be used to convert quotes and dashes to
177 | # typographically correct entities.
178 | #
179 | # html_use_smartypants = True
180 | 
181 | # Custom sidebar templates, maps document names to template names.
182 | #
183 | # html_sidebars = {}
184 | 
185 | # Additional templates that should be rendered to pages, maps page names to
186 | # template names.
187 | #
188 | # html_additional_pages = {}
189 | 
190 | # If false, no module index is generated.
191 | #
192 | # html_domain_indices = True
193 | 
194 | # If false, no index is generated.
195 | #
196 | # html_use_index = True
197 | 
198 | # If true, the index is split into individual pages for each letter.
199 | #
200 | # html_split_index = False
201 | 
202 | # If true, links to the reST sources are added to the pages.
203 | #
204 | # html_show_sourcelink = True
205 | 
206 | # If true, "Created using Sphinx" is shown in the HTML footer. Default is True.
207 | #
208 | # html_show_sphinx = True
209 | 
210 | # If true, "(C) Copyright ..." is shown in the HTML footer. Default is True.
211 | #
212 | # html_show_copyright = True
213 | 
214 | # If true, an OpenSearch description file will be output, and all pages will
215 | # contain a <link> tag referring to it.  The value of this option must be the
216 | # base URL from which the finished HTML is served.
217 | #
218 | # html_use_opensearch = ''
219 | 
220 | # This is the file name suffix for HTML files (e.g. ".xhtml").
221 | # html_file_suffix = None
222 | 
223 | # Language to be used for generating the HTML full-text search index.
224 | # Sphinx supports the following languages:
225 | #   'da', 'de', 'en', 'es', 'fi', 'fr', 'hu', 'it', 'ja'
226 | #   'nl', 'no', 'pt', 'ro', 'ru', 'sv', 'tr', 'zh'
227 | #
228 | # html_search_language = 'en'
229 | 
230 | # A dictionary with options for the search language support, empty by default.
231 | # 'ja' uses this config value.
232 | # 'zh' user can custom change `jieba` dictionary path.
233 | #
234 | # html_search_options = {'type': 'default'}
235 | 
236 | # The name of a javascript file (relative to the configuration directory) that
237 | # implements a search results scorer. If empty, the default will be used.
238 | #
239 | # html_search_scorer = 'scorer.js'
240 | 
241 | # Output file base name for HTML help builder.
242 | htmlhelp_basename = 'NGSDataAnalysisforPathogensdoc'
243 | 
244 | # -- Options for LaTeX output ---------------------------------------------
245 | 
246 | latex_elements = {
247 |      # The paper size ('letterpaper' or 'a4paper').
248 |      #
249 |      # 'papersize': 'letterpaper',
250 | 
251 |      # The font size ('10pt', '11pt' or '12pt').
252 |      #
253 |      # 'pointsize': '10pt',
254 | 
255 |      # Additional stuff for the LaTeX preamble.
256 |      #
257 |      # 'preamble': '',
258 | 
259 |      # Latex figure (float) alignment
260 |      #
261 |      # 'figure_align': 'htbp',
262 | }
263 | 
264 | # Grouping the document tree into LaTeX files. List of tuples
265 | # (source start file, target name, title,
266 | #  author, documentclass [howto, manual, or own class]).
267 | latex_documents = [
268 |     (master_doc, 'NGSDataAnalysisforPathogens.tex', u'NGS Data Analysis for Pathogens Documentation',
269 |      u'Mark Renton', 'manual'),
270 | ]
271 | 
272 | # The name of an image file (relative to this directory) to place at the top of
273 | # the title page.
274 | #
275 | # latex_logo = None
276 | 
277 | # For "manual" documents, if this is true, then toplevel headings are parts,
278 | # not chapters.
279 | #
280 | # latex_use_parts = False
281 | 
282 | # If true, show page references after internal links.
283 | #
284 | # latex_show_pagerefs = False
285 | 
286 | # If true, show URL addresses after external links.
287 | #
288 | # latex_show_urls = False
289 | 
290 | # Documents to append as an appendix to all manuals.
291 | #
292 | # latex_appendices = []
293 | 
294 | # It false, will not define \strong, \code, 	itleref, \crossref ... but only
295 | # \sphinxstrong, ..., \sphinxtitleref, ... To help avoid clash with user added
296 | # packages.
297 | #
298 | # latex_keep_old_macro_names = True
299 | 
300 | # If false, no module index is generated.
301 | #
302 | # latex_domain_indices = True
303 | 
304 | 
305 | # -- Options for manual page output ---------------------------------------
306 | 
307 | # One entry per manual page. List of tuples
308 | # (source start file, name, description, authors, manual section).
309 | man_pages = [
310 |     (master_doc, 'ngsdataanalysisforpathogens', u'NGS Data Analysis for Pathogens Documentation',
311 |      [author], 1)
312 | ]
313 | 
314 | # If true, show URL addresses after external links.
315 | #
316 | # man_show_urls = False
317 | 
318 | 
319 | # -- Options for Texinfo output -------------------------------------------
320 | 
321 | # Grouping the document tree into Texinfo files. List of tuples
322 | # (source start file, target name, title, author,
323 | #  dir menu entry, description, category)
324 | texinfo_documents = [
325 |     (master_doc, 'NGSDataAnalysisforPathogens', u'NGS Data Analysis for Pathogens Documentation',
326 |      author, 'NGSDataAnalysisforPathogens', 'One line description of project.',
327 |      'Miscellaneous'),
328 | ]
329 | 
330 | # Documents to append as an appendix to all manuals.
331 | #
332 | # texinfo_appendices = []
333 | 
334 | # If false, no module index is generated.
335 | #
336 | # texinfo_domain_indices = True
337 | 
338 | # How to display URL addresses: 'footnote', 'no', or 'inline'.
339 | #
340 | # texinfo_show_urls = 'footnote'
341 | 
342 | # If true, do not generate a @detailmenu in the "Top" node's menu.
343 | #
344 | # texinfo_no_detailmenu = False
345 | 


--------------------------------------------------------------------------------
/source/index.rst:
--------------------------------------------------------------------------------
 1 | 病原微生物高通量测序数据分析笔记
 2 | ================================
 3 | 
 4 | .. note::
 5 |     本电子书为基于BSD授权，版权归作者所有；欢迎下载及编辑(个人用途)，但未经作者同意必须保留此段声明，且不可用于商业用途，否则保留追究法律责任的权利。
 6 | 
 7 |     - 作者：indexofire <indexofire@gmail.com>
 8 |     - Github地址：https://github.com/indexofire/ndafp
 9 | 
10 | 关于本笔记
11 | ----------
12 | 
13 | 随着高通量测序技术快速发展，小型台式测序仪的出现降低了高通量测序的门槛。对于开展微生物特别是病原微生物的测序工作的需求，在各种临床，科研以及政府的小型实验室中迅速扩展。目前已经上市的比较适合小型实验室的测序仪如 Illumina Miseq，Illumina NextSeq500，Ion S5，Ion PGM 等，即将上市的测序仪如 Illumina MiniSeq，Qiagen GeneReader。除了传统的二代测序仪，不需要扩增的基于单分子测序技术的三代测序技术的 PacBio Sequel 和最近开展埃博拉实时测序项目的基于纳米孔技术的 Oxford MinION 产品都是非常适合开展病原微生物测序的平台。
14 | 
15 | 测序数据的不断产出，需要生物信息学人才来参与到测序数据的分析以便获得有价值的生物学信息对于许多小型实验室来说，很难招募到优秀的生物信息学人才。对于非专业背景的人来说，命令行以及软件的安装可能是学习中遇到的首要难题。本笔记主要是通过介绍微生物，特别是病原细菌的高通量测序数据分析，帮助原来从事湿实验领域的同事能较好的了解和掌握高通量测序数据分析，将学习曲线变得平缓。同时也希望能对从事该领域的其他工作者提供便利，让大家在需要分析微生物基因组数据时，能有一个资料与实例汇集的手册可以快速参考和学习。
16 | 
17 | 本笔记主要针对 Miseq 机器的产出数据开展分析，由于原理类似分析软件也大都可以应用在 Illumina 其他型号的仪器数据上。例子都是运行在安装了 Ubuntu 发行版的 Linux PC 服务器或者 Ubuntu 的个人电脑上。
18 | 
19 | |image0| |image1|
20 | 
21 | 本笔记使用开源工具 `Sphinx-doc <http://sphinx-doc.org/>`__ 创作，并在 `Read the Docs <https://readthedocs.org/>`__ 网站发布。笔记中的许多内容都是来源于网络上的资料，部分来源可能有误或记忆不全，如果原作者发现没有内容链接，或者链接错误，请发送 `电子邮件 <mailto:indexofire@gmail.com>`__ 通知修改。同时希望 `Open Source <http://opensource.org/>`__ 思想能对科研工作和科研工作者有所帮助。
22 | 
23 | 本笔记代码托管在 `Github <https://www.github.com/>`__, 所有内容可以在 http://github.com/indexofire/ndafp.git 获得。笔者接触 NGS 时间不长，内容中肯定会有许多错误之处，希望能有NGS领域的专家帮助指正。对于
24 | 笔记中的错误会内容更新，可以提交 `issues <https://github.com/indexofire/ndafp/issues>`__\ ，帮助完善笔记内容。
25 | 
26 | Fork笔记方法
27 | ------------
28 | 
29 | 1. 在GitHub上访问本书源码，并fork成为自己的仓库。如下图所示，点击fork按钮，然后用 git clone 到本地，设置好代码仓库用户信息。就可以修改并提交代码了。
30 |    |image2|
31 | 
32 |   .. code-block:: bash
33 | 
34 |      ~$ git clone git@github.com:your_github_username/ndafp.git
35 |      ~$ cd ndafp
36 |      ~/ndafp$ git config user.name "your github username"
37 |      ~/ndafp$ git config user.email your_email@something.com
38 | 
39 | 2. 对需要的内容做修改后提交，并 git push 到之前 fork 的仓库。
40 | 
41 |    .. code-block:: bash
42 | 
43 |       ~/ndafp$ git add -A
44 |       ~/ndafp$ git commit -am "Fix issue #1: change typo: helo to hello"
45 |       ~/ndafp$ git push
46 | 
47 | 3. 这样你自己的代码分支 master 与源代码分支就会出现差异，要合并这些差异，就要在 GitHub 网站上提交 pull request。如下图所示如果有代码。
48 |    |image3|
49 | 
50 | 4. 由于源代码仓库也会经常更新或者合并其他 pull request 代码，需要定期使用源项目仓库内容来更新自己仓库内容。
51 | 
52 |    .. code-block:: bash
53 | 
54 |       ~/ndafp$ git remote add upstream https://github.com/indexofire/ndafp.git
55 |       ~/ndafp$ git fetch upstream
56 |       ~/ndafp$ git checkout master
57 |       ~/ndafp$ git merge upstream/master
58 |       ~/ndafp$ git push origin master
59 | 
60 | 内容目录
61 | --------
62 | 
63 | .. toctree::
64 |    :maxdepth: 2
65 |    :glob:
66 | 
67 |    preface/index
68 |    chapter_00/index
69 |    chapter_01/index
70 |    chapter_02/index
71 |    chapter_03/index
72 |    chapter_04/index
73 |    chapter_05/index
74 |    chapter_06/index
75 |    chapter_07/index
76 |    chapter_08/index
77 |    appendix/index
78 | 
79 | 版本更新
80 | --------
81 | 
82 | v0.0.1: 2016.07.20
83 | 
84 | - 将gitbook内容转换成rst格式，并对原有内容做了适当调整，逐步补充完整
85 |   原计划的章节内容。
86 | 
87 | .. |image0| image:: _static/img/miseq.jpg
88 | .. |image1| image:: _static/img/ubuntu.jpg
89 | .. |image2| image:: _static/img/fork.png
90 | .. |image3| image:: _static/img/pull_request.png
91 | 
92 | Indices and tables
93 | ==================
94 | 
95 | * :ref:`genindex`
96 | * :ref:`modindex`
97 | * :ref:`search`
98 | 


--------------------------------------------------------------------------------
/source/preface/01_linux.rst:
--------------------------------------------------------------------------------
  1 | Linux 入门基础
  2 | ==============
  3 | 
  4 | 1. Linux 系统结构
  5 | -----------------
  6 | 
  7 | 
  8 | 2. Linux 权限概念
  9 | -----------------
 10 | 
 11 | 
 12 | 3. Linux 常用的命令
 13 | -------------------
 14 | 
 15 | 笔记中使用许多 Linux 命令行，这里做一个快速笔记以备查询。以 bash 为例。其他的 shell 比如 csh, tcsh 等大部分命令和参数都是一致的。
 16 | 
 17 | **ls: 列出当前目录内容**
 18 | 
 19 | .. code-block:: bash
 20 | 
 21 |     # 显示 '~/data' 文件夹里的文件及目录
 22 |     $ ls ~/data
 23 | 
 24 |     # 显示 '~/data' 文件夹里的所有文件及目录（包括隐含文件），并以列表形式显示
 25 |     $ ls -la ~/data
 26 | 
 27 |     # 文件按照修改时间排序，新文件在前
 28 |     $ ls -t ~/data
 29 | 
 30 |     # 查看所有 .fastq 后缀的文件，* 代表任何长度的任意字符
 31 |     $ ls ~/data/*.fastq
 32 | 
 33 | **cd: 改变文件夹**
 34 | 
 35 | .. code-block:: bash
 36 | 
 37 |     # 从当前文件夹 '~/data' 更换到 '~/app' 文件夹
 38 |     ~/data$ cd ~/app
 39 | 
 40 |     # 从任何位置切换回用户主目录 '/home/User'
 41 |     $ cd
 42 | 
 43 |     # 回退上一个访问目录
 44 |     $ cd -
 45 | 
 46 |     # 返回上一级目录
 47 |     $ cd ..
 48 | 
 49 |     # 返回多级目录并前往一个叫“new directory”的文件夹，这里 '\' 是转义符，将空格符转义
 50 |     $ cd ../../../new\ directory
 51 | 
 52 | **pwd: 显示当前目录**
 53 | 
 54 | .. code-block:: bash
 55 | 
 56 |     # 当不知道当前处于什么路径时，可以用这个命令显示
 57 |     $ pwd
 58 | 
 59 | **mkdir: 建立新文件夹**
 60 | 
 61 | .. code-block:: bash
 62 | 
 63 |     # 当前路径下新建一个名叫 'new' 的文件夹
 64 |     $ mkdir new
 65 | 
 66 | **rmdir: 删除文件夹**
 67 | 
 68 | .. code-block:: bash
 69 | 
 70 |     # 删除当前路径的文件夹 'new'
 71 |     $ rmdir new
 72 | 
 73 | **rm: 删除文件**
 74 | 
 75 | .. code-block:: bash
 76 | 
 77 |     # 删除当前文件夹的所有后缀是 '.sra' 的文件
 78 |     $ rm *.sra
 79 | 
 80 |     # 删除文件夹 'new' 以及 'new' 下的所有子文件与子目录
 81 |     $ rm -R new
 82 | 
 83 |     # 不弹出删除确认提示，删除所有 '.tmp' 文件
 84 |     $ rm -f *.tmp
 85 | 
 86 | **cp: 复制文件**
 87 | 
 88 | .. code-block:: bash
 89 | 
 90 |     # 复制 'test.txt' 文件到文件夹 '~/abc' 中
 91 |     $ cp test.txt ~/abc
 92 | 
 93 | **mv: 移动文件或文件夹**
 94 | 
 95 | .. code-block:: bash
 96 | 
 97 |     # 移动 'test.txt' 文件到文件夹 '~/abc' 中并改名叫 'test1.txt'
 98 |     $ mv test.txt ~/abc/test1.txt
 99 | 
100 | **which: 查找可执行文件的系统路径**
101 | 
102 | .. code-block:: bash
103 | 
104 |     # 打印出系统带的 python 程序的路径
105 |     $ which python
106 | 
107 | **wc: 统计一个文件的行，字符和字节数**
108 | 
109 | .. code-block:: bash
110 | 
111 |     # 输出文件 'text.txt' 的行数，字符数和字节数。
112 |     $ wc text.txt
113 | 
114 | **cat: 输出文件内容**
115 | 
116 | .. code-block:: bash
117 | 
118 |     # 显示文件 'text.txt' 内容
119 |     $ cat text.txt
120 | 
121 | **grep: 截取输入字符的选定 pattern 并输出所在的行**
122 | 
123 | .. code-block:: bash
124 | 
125 |     # 显示文件 'text.txt' 中含有字符 'abc' 的行
126 |     $ cat text.txt | grep 'abc'
127 | 
128 | **head: 输出文件头部内容**
129 | 
130 | .. code-block:: bash
131 | 
132 |     # 输出文件前5行内容
133 |     $ head -5 text.txt
134 | 
135 | **tail: 输出文件尾部内容**
136 | 
137 | .. code-block:: bash
138 | 
139 |     # 输出文件的最后5行内容
140 |     $ tail -5 text.txt
141 | 
142 | **ps: 查看系统进程**
143 | 
144 | ps会在终端打印系统进程，各列的含义是:
145 | 
146 |     * USER: 运行该进程的用户
147 |     * PID: 运行着的命令(CMD)的进程编号
148 |     * %CPU: CPU占用
149 |     * %MEM: 内存占用
150 |     * VSC:
151 |     * RSS:
152 |     * TTY: 命令所运行的位置（终端）
153 |     * STAT:
154 |     * TIME: 运行着的该命令所占用的CPU处理时间
155 |     * COMMAND: 该进程所运行的命令
156 | 
157 | .. code-block:: bash
158 | 
159 |     # 显示详细的进程信息
160 |     $ ps -waux
161 | 
162 |     # 过滤用户root的进程
163 |     $ ps -u root
164 | 
165 |     # 根据不同参数使用来排序进程，并只现实排名前10的进程
166 |     $ ps -aux --sort -pcpu | head -n 11
167 |     $ ps -aux --sort -pmem | head -n 11
168 |     $ ps -aux --sort -pcpu,+pmem | head -n 11
169 | 
170 |     # 过滤进程名
171 |     $ ps -f -C chrome
172 | 
173 |     # 根据PID过滤
174 |     $ ps -L 1000
175 | 
176 |     # 树形现实进程
177 |     $ ps -axjf
178 | 
179 | 4. 其他常用命令与工具
180 | ---------------------
181 | 
182 | **lsb_release: 查看发行版信息**
183 | 
184 | .. code-block:: bash
185 | 
186 |     $ lsb_release -a
187 |     # 打印出系统发行版信息
188 |     No LSB modules are available.
189 |     Distributor ID:	  Ubuntu
190 |     Description:	    Ubuntu 16.04.1 LTS
191 |     Release:	        16.04
192 |     Codename:	        xenial
193 | 
194 | 
195 | **htop: 系统进程查看**
196 | 
197 | .. code-block:: bash
198 | 
199 |     # Ubuntu 发行版默认不带 htop，需要安装后使用
200 |     $ sudo apt install htop
201 |     # 运行 htop
202 |     $ htop
203 | 
204 | **dmesg: 查看系统日志**
205 | 
206 | .. code-block:: bash
207 | 
208 |    # 显示启动状态开始的核心输出日志
209 |    $ dmesg | less
210 |    # 列出某个硬件的输出信息，如默认磁盘 sda
211 |    $ dmesg | grep 'sda'
212 |    # 清空缓存区信息
213 |    $ dmesg -c
214 | 
215 | 
216 | 
217 | Reference
218 | ---------
219 | 
220 | 1. http://linoxide.com/how-tos/linux-ps-command-examples/
221 | 


--------------------------------------------------------------------------------
/source/preface/02_shell.rst:
--------------------------------------------------------------------------------
 1 | 了解 Shell
 2 | ==========
 3 | 
 4 | 
 5 | 在线教程
 6 | --------
 7 | 
 8 | - `Unix Shell 教程 <http://swcarpentry.github.io/shell-novice/>`_
 9 | - `Shell 脚本编程 <http://c.biancheng.net/cpp/shell/>`_
10 | - `Shell 编程语法基础 <https://linuxtoy.org/archives/shell-programming-basic.html>`_
11 | - `Shell 编程执行过程 <https://linuxtoy.org/archives/shell-programming-execute.html>`_
12 | - `Linux Shell Scripting Tutorial <http://www.freeos.com/guides/lsst/>`_
13 | - `Bash Guide for Beginners <http://tldp.org/LDP/Bash-Beginners-Guide/html/>`_
14 | - `Bash Programming How-to <http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html>`_
15 | 


--------------------------------------------------------------------------------
/source/preface/03_python.rst:
--------------------------------------------------------------------------------
 1 | 脚本编程 Python
 2 | ===============
 3 | 
 4 | Biopython
 5 | ---------
 6 | 
 7 | biopython_ 是 python_ 语言的专门生物信息程序包。
 8 | 
 9 | 安装 biopython
10 | ^^^^^^^^^^^^^^
11 | 
12 | 建议采用 virtualenv 建立虚拟环境来安装。
13 | 
14 | .. code-block:: bash
15 | 
16 |    ~$ sudo apt-get install virtualenv virtualenv_wrapper
17 |    ~$ mkvirtualenv bio
18 |    ~$ workon bio
19 |    (bio)~$ pip install biopython numpy reportlab
20 | 
21 | 
22 | 
23 | Reference
24 | ---------
25 | 
26 | 1. http://biopython.org/DIST/docs/
27 | 2. https://github.com/bigwiv/Biopython-cn
28 | 
29 | .. _biopython: http://www.biopython.org
30 | .. _python: http://www.python.org
31 | 


--------------------------------------------------------------------------------
/source/preface/04_perl.rst:
--------------------------------------------------------------------------------
 1 | 脚本编程 Perl
 2 | =============
 3 | 
 4 | 普通 Linux 发行版都会默认安装 Perl，可以用 `perl -v` 查看所安装的 perl 版本。
 5 | 
 6 | .. code-block:: bash
 7 | 
 8 |    $ perl -v
 9 | 
10 | 
11 | 检查是否安装了 perl 模块可以用下面方法查看，如果安装了模块则没有打印输出，否则会提示找不到模块。
12 | 
13 | .. code-block:: bash
14 | 
15 |    $ perl -e 'use Bio::Seq'
16 | 
17 | 用 CPAN 安装模块
18 | 
19 | .. code-block:: bash
20 | 
21 |    $ perl -MCPAN -e shell
22 | 
23 |    >install HTML::TokeParser::Simple
24 | 
25 | 用 cpan 脚本安装模块
26 | 
27 | .. code-block:: bash
28 | 
29 |    $ cpan HTML::TokeParser::Simple
30 | 


--------------------------------------------------------------------------------
/source/preface/05_awk.rst:
--------------------------------------------------------------------------------
  1 | awk 工具来帮助处理 NGS 数据
  2 | ===========================
  3 | 
  4 | awk_ 工具常用来对文件内容按行进行匹配搜索，一旦某一行中的内容与搜索条件匹配，则对该内容做进一步操作。本质上讲，awk_ 属于数据驱动的程序，因此 awk_ 程序也非常容易编写与阅读。高通量测序技术带来大量的数据，而生物学分析往往直需要其中特定的部分，这时 awk_ 就可以大显身手为测序数据的转换与分析提供帮助。
  5 | 
  6 | .. note::
  7 |    awk_ 程序内容很简单，主要包括 pattern，action, input_file
  8 | 
  9 |    - **pattern**: 表示所要搜索的内容，可以用正则表达式
 10 |    - **action**: 则表示搜索匹配后要做的操作
 11 |    - **input_file**: 包含所要搜索内容的输入文件
 12 | 
 13 | awk_ 可以在 shell 里直接运行：
 14 | 
 15 | .. code-block:: bash
 16 | 
 17 |    ~$ awk 'pattern { action }' input_file
 18 | 
 19 | 也可以写成脚本程序来运行。一个 awk_ 程序往往如下所示
 20 | 
 21 | .. code-block:: awk
 22 | 
 23 |    #!/usr/bin/awk -f
 24 |    pattern { action }
 25 | 
 26 | awk 可以不需要输入文件；对于pattern和action来说，2者至少要有一个才能运行。如果没有pattern，则默认匹配任何输入，按行输出并执行action。如果没有action，则匹配pattern并按行输出不做额外操作。
 27 | 
 28 | .. code-block:: bash
 29 | 
 30 |    # 尝试以下语句，在终端打印`hello world`。这里BEGIN是pattern，{ print "hello world" } 是action
 31 |    ~$ awk 'BEGIN { print "hello world" }'
 32 | 
 33 |    # 模拟cat输出终端输入的字符。这里省略了pattern
 34 |    ~$ awk '{ print }'
 35 | 
 36 | 上面这个例子可以保存成脚本来运行，文件内容如下：
 37 | 
 38 | .. code-block:: awk
 39 | 
 40 |    #!/usr/bin/env awk -f
 41 | 
 42 |    BEGIN { print "hello world" }
 43 | 
 44 | 运行这个程序：
 45 | 
 46 | .. code-block:: bash
 47 | 
 48 |     ~$ chmod +x hello_world
 49 |     ~$ ./hello_world
 50 | 
 51 | --------------------------------------------------------------------------------
 52 | 
 53 | 1. 了解 awk 的基本用法
 54 | ----------------------
 55 | 
 56 | .. code-block:: bash
 57 | 
 58 |    ~$ awk '$1~/gene1/ { print $2 }' input_data
 59 | 
 60 | 作用与 cat + grep + sed 类似
 61 | 
 62 | .. code-block:: bash
 63 | 
 64 |    ~$ cat input_data | grep "gene1" | sed {$1}
 65 | 
 66 | 2. awk 脚本语法
 67 | ---------------
 68 | 
 69 | 2.1 Pattern
 70 | ^^^^^^^^^^^
 71 | 
 72 | 2.1.1 正则表达式
 73 | ~~~~~~~~~~~~~~~~
 74 | 
 75 | pattern 可以采用正则表达式来匹配内容。用\ ``/ regular expression /``\ 来表示。
 76 | 
 77 | .. note::
 78 | 
 79 |    几个特殊的Patterns：
 80 | 
 81 |    - BEGIN:
 82 |    - END:
 83 |    - BEGINFILE:
 84 |    - ENDFILE:
 85 | 
 86 | 2.1.2 语句表达
 87 | ~~~~~~~~~~~~~~
 88 | 
 89 | .. code-block:: bash
 90 | 
 91 |    ~$ awk '$1 == "gene" { print $2 }' genes.list
 92 | 
 93 | 2.2 Action
 94 | ^^^^^^^^^^
 95 | 
 96 | 2.2.1 if...else
 97 | ~~~~~~~~~~~~~~~
 98 | 
 99 | .. code-block:: bash
100 | 
101 |     # if block
102 |     ~$ awk '{if(condition) print $1}' input
103 | 
104 |     # if else block
105 |     ~$ awk '{if(condition)
106 |     >     print $1
107 |     > else
108 |     >     print $2
109 |     > }' input
110 | 
111 | 2.2.2 while
112 | ~~~~~~~~~~~
113 | 
114 | while 控制语句要换行，用4个空格划分控制块。
115 | 
116 | .. code-block:: bash
117 | 
118 |     ~$ awk '{ i = 1
119 |     >     while (i <= 3) {
120 |     >         print $i
121 |     >         i++
122 |     >     }
123 |     > }' input
124 | 
125 | 2.3. 内建变量
126 | ^^^^^^^^^^^^^
127 | 
128 | 2.3.1 控制 awk 的变量
129 | ~~~~~~~~~~~~~~~~~~~~~
130 | 
131 | -  BINMODE #
132 | -  CONVFMT
133 | -  FIELDWIDTHS #
134 | -  FPAT #
135 | -  FS
136 | -  IGNORECASE #
137 | -  LINT #
138 | -  OFMT
139 | -  OFS
140 | -  ORS
141 | -  PREC #
142 | -  ROUNDMODE #
143 | -  RS
144 | -  SUBSEP
145 | -  TEXTDOMAIN #
146 | 
147 | 2.3.2 传递信息的变量
148 | ~~~~~~~~~~~~~~~~~~~~
149 | 
150 | -  ARGC , ARGV
151 | -  ARGIND #
152 | -  ENVIRON
153 | -  ERRNO #
154 | -  FILENAME
155 | -  FNR
156 | -  NF
157 | -  FUNCTAB #
158 | -  NR
159 | -  PROCINFO #
160 | -  RLENGTH
161 | -  RSTART
162 | -  RT #
163 | -  SYMTAB #
164 | 
165 | 2.4. 内建函数
166 | ^^^^^^^^^^^^^
167 | 
168 | 2.4.1 数学函数
169 | ~~~~~~~~~~~~~~
170 | 
171 | -  atan2(y, x)
172 | -  cos(x)
173 | -  exp(x)
174 | -  int(x)
175 | -  log(x)
176 | -  rand()
177 | -  sin(x)
178 | -  sqrt(x)
179 | -  srand([ x ])
180 | 
181 | 2.4.2 字符串函数
182 | ~~~~~~~~~~~~~~~~
183 | 
184 | -  asort(source [ , dest [ , how ] ] ) #
185 | -  asorti(source [ , dest [ , how ] ] ) #
186 | -  gensub(regexp, replacement, how [ , target ] ) #
187 | -  gsub(regexp, replacement [ , target ] )
188 | -  index(in, find)
189 | -  length( [ string ] )
190 | -  match(string, regexp [ , array ] )
191 | -  patsplit(string, array [ , fieldpat [ , seps ] ] ) #
192 | -  split(string, array [ , fieldsep [ , seps ] ] )
193 | -  sprintf(format, expression1, ...)
194 | -  strtonum(str) #
195 | -  sub(regexp, replacement [ , target ] )
196 | -  substr(string, start [ , length ] )
197 | -  tolower(string)
198 | -  toupper(string)
199 | 
200 | 2.4.3 输入输出函数
201 | ~~~~~~~~~~~~~~~~~~
202 | 
203 | -  close(filename [ , how ] )
204 | -  fflush( [ filename ] )
205 | -  system(command)
206 | 
207 | 2.4.4 时间函数
208 | ~~~~~~~~~~~~~~
209 | 
210 | -  mktime(datespec)
211 | -  strftime( [ format [ , timestamp [ , utc-flag ] ] ] )
212 | -  systime()
213 | 
214 | 2.4.5 Bit操作函数
215 | ~~~~~~~~~~~~~~~~~
216 | 
217 | -  and(v1, v2 [, ...])
218 | -  compl(val)
219 | -  lshift(val, count)
220 | -  or(v1, v2 [, ...])
221 | -  rshift(val, count)
222 | -  xor(v1, v2 [, ...])
223 | 
224 | 2.4.6 其他
225 | ~~~~~~~~~~
226 | 
227 | -  isarray(x)
228 | -  bindtextdomain(directory [ , domain ] )
229 | -  dcgettext(string [ , domain [ , category ] ] )
230 | -  dcngettext(string1, string2, number [ , domain [ , category ] ] )
231 | 
232 | --------------------------------------------------------------------------------
233 | 
234 | 3. 示例
235 | -------
236 | 
237 | 示例部分介绍 awk 在日常中，特别是处理 ngs 数据时的一些例子。
238 | 
239 | 3.1 对列的操作
240 | ^^^^^^^^^^^^^^
241 | 
242 | **调整列顺序**\ ：在有GUI的操作系统里，一般采用类似 excel, calc
243 | 之类的软件导入数据文件，然后剪切各列调整顺序。如果用 awk
244 | 来解决也很方便，你只需要考虑好调整的各列顺序即可，action 里的{ print
245 | ...}顺序就是重新调整后的各列顺序：
246 | 
247 | .. code-block:: bash
248 | 
249 |     ~$ awk '{ print $3, $5, $7, $2, $1, $4, $6 }' infile.txt > outfile.txt
250 | 
251 | **插入列**\ ：有时候要插入一列数据，用awk可以很方便的实现：
252 | 
253 | .. code-block:: bash
254 | 
255 |     ~$ awk '{ print $1, $2 "gene expression", $3}' infile.txt > outfile.txt
256 | 
257 | 3.2 对行的操作
258 | ^^^^^^^^^^^^^^
259 | 
260 | **去除重复的行**：有时候数据里含有重复的行，而当你只需要唯一性数据时，就可以用这行程序，只保留具有唯一性的数据行。
261 | 
262 | .. code-block:: bash
263 | 
264 |     ~$ awk '!x[$0]++' infile.txt > outfile.txt
265 | 
266 | 3.3 格式化输出
267 | ^^^^^^^^^^^^^^
268 | 
269 | .. code-block:: bash
270 | 
271 |     ~$ awk -F":" 'BEGIN { printf "%-8s %-3s", "User", "UID" } \
272 |     > NR==1,NR==20 { printf "%-8s %-3d", $1, $3 }' /etc/passwd
273 | 
274 | 3.4 合并文件
275 | ^^^^^^^^^^^^
276 | 
277 | --------------------------------------------------------------------------------
278 | 
279 | 4. Bioawk
280 | ---------
281 | 
282 | bioawk_ 是 Heng Li 开发的 awk_ 扩展工具，增加了对压缩的 BED, GFF, SAM, VCF, FASTA/Q 等文件格式的支持，并内建一些函数，适用于NGS数据的快速输入输出。
283 | 
284 | 内建以下常用的测序数据函数：
285 | 
286 | .. code::
287 | 
288 |    -  gc($seq): 返回序列 $seq 的 GC 含量
289 |    -  meanqual($seq) 返回 fastq 格式的序列 $seq 的平均Q值
290 |    -  reverse($seq) 返回序列 $seq 的反意链
291 |    -  revcomp($seq) 返回序列 $seq 的反意互补链
292 |    -  qualcount($qual, threshold) Returns the number of quality values above the threshold parameter.
293 |    -  trimq(qual, beg, end, param) Trims the quality string qual in the Sanger scale using Richard Motts algorithm (used in Phred). The 0-based beginning and ending positions are written back to beg and end, respectively. The last argument param is the single parameter used in the algorithm, which is optional and defaults 0.05.
294 |    -  and(x, y) bit AND operation (& in C)
295 |    -  or(x, y) bit OR operation (\| in C)
296 |    -  xor(x, y) bit XOR operation (^ in C)
297 | 
298 | 4.1 安装 bioawk
299 | ^^^^^^^^^^^^^^^
300 | 
301 | bioawk_ 的源代码托管在 github_ 上，如先用 git clone 命令先将代码下载到本地，然后编译生成 bioawk_ 将其添加到系统路径。
302 | 
303 | .. code-block:: bash
304 | 
305 |     ~$ sudo apt-get install bison
306 |     ~$ git clone https://github.com/lh3/bioawk
307 |     ~$ cd bioawk && make
308 |     ~$ sudo cp bioawk /usr/local/sbin
309 | 
310 | 4.2 使用 bioawk
311 | ^^^^^^^^^^^^^^^
312 | 
313 | 文件格式：
314 | 
315 | * bed:
316 |   * chrom
317 |   * start
318 |   - end
319 |   - name
320 |   - score
321 |   - strand
322 |   - thickstart
323 |   - thickend
324 |   - rgb
325 |   - blockcount
326 |   - blocksizes
327 |   - blockstarts
328 | - sam:
329 |   - qname
330 |   - flag
331 |   - rname
332 |   - pos
333 |   - mapq
334 |   - cigar
335 |   - rnext
336 |   - pnext
337 |   - tlen
338 |   - seq
339 |   - qual
340 | - vcf:
341 | 
342 | 
343 | 
344 | 
345 | 4.3 bioawk 应用示例
346 | ^^^^^^^^^^^^^^^^^^
347 | 
348 | 构建测序数据分析 pipeline 时，当 fastq_ 数据在做完 trimming 后，我们往往要关注剩下多少 reads，可以用 bioawk_ 进行快速统计。
349 | 
350 | .. code-block:: bash
351 | 
352 |     # 快速统计fastq里的reads数量
353 |     ~$ bioawk -c fastx 'END { print NR }' my_fastq.tar.gz
354 | 
355 | 在一些特殊场合里，需要分析 reads 系列，用 bioawk_ 可以很方便快速来完成。比如统计特殊碱基开头的 reads 数。
356 | 
357 | .. code-block:: bash
358 | 
359 |     # 统计以GATTAC开头的reads的数量
360 |     ~$ bioawk -c fastx '$seq~/^GATTAC/ {++n} END { print n }' my_fastq.tar.gz
361 | 
362 | 如果想看GC含量大于60%的reads的质量情况，可以用下面方法：
363 | 
364 | .. code-block:: bash
365 | 
366 |     ~$ bioawk -c fastx '{if (gc($seq)>0.6) printf "%s\n%s\n\n", $seq, $qual}' my_fastq.tar.gz
367 | 
368 | 生成reads的平均Q值
369 | 
370 | .. code-block:: bash
371 | 
372 |     ~$  bioawk -c fastx '{print $name, meanqual($seq)}' my_fastq.tar.gz > meanqual.txt
373 | 
374 | Reference
375 | ---------
376 | 
377 | 
378 | .. _awk: https://www.gnu.org/software/gawk/manual/gawk.html
379 | .. _bioawk: https://github.com/lh3/bioawk
380 | .. _github: https://github.com
381 | .. _fastq: https://en.wikipedia.org/wiki/FASTQ_format
382 | 


--------------------------------------------------------------------------------
/source/preface/06_sed.rst:
--------------------------------------------------------------------------------
1 | Sed 使用教程
2 | ============
3 | 


--------------------------------------------------------------------------------
/source/preface/07_r.rst:
--------------------------------------------------------------------------------
 1 | R 语言入门
 2 | ==========
 3 | 
 4 | 安装R
 5 | -----
 6 | 
 7 | Ubuntu 下的安装添加 ppa 源来安装最新的 R 版本。
 8 | 
 9 | .. code-block:: bash
10 | 
11 |    $ sudo add-apt-repository ppa:marutter/rrutter
12 |    $ sudo apt-get update
13 |    $ sudo apt-get upgrade
14 |    $ sudo apt-get install r-base
15 | 
16 | 
17 | 安装 bioconductor
18 | -----------------
19 | 
20 | 安装可以在 R 命令行界面里操作。在终端直接输入`R`，如果安装了Rstudio，也可以运行 rstudio。
21 | 
22 | .. code-block:: R
23 | 
24 |    > source("https://bioconductor.org/biocLite.R")
25 |    > biocLite()
26 | 
27 | R 在线教程
28 | ----------
29 | - OnePage R <http://togaware.com/onepager/>
30 | 


--------------------------------------------------------------------------------
/source/preface/08_docker.rst:
--------------------------------------------------------------------------------
1 | docker 的世界
2 | =============
3 | 
4 | 
5 | .. code-block:: bash
6 | 
7 |    $ sudo apt install docker.io
8 | 


--------------------------------------------------------------------------------
/source/preface/09_git.rst:
--------------------------------------------------------------------------------
1 | git
2 | ===
3 | 


--------------------------------------------------------------------------------
/source/preface/10_ngs_basic.rst:
--------------------------------------------------------------------------------
1 | NGS 基础
2 | ========
3 | 


--------------------------------------------------------------------------------
/source/preface/11_resource.rst:
--------------------------------------------------------------------------------
  1 | 网络资源
  2 | ========
  3 | 
  4 | 将网络上一些关于微生物NGS相关的学习资源和工具网站纪录在此，方便查找与整理。*注：部分网站需要翻墙。*
  5 | 
  6 | 交流社区
  7 | --------
  8 | 
  9 | 测序相关的论坛和问答社区，社交化的科研工作者交流平台。
 10 | 
 11 | * `Biostar <https://www.biostars.org/>`__
 12 | * `Seq Answer <http://seqanswers.com/forums/index.php>`__
 13 | * `bioask <http://www.bioask.net/>`__
 14 | * `Research Gate <https://www.researchgate.net/>`__
 15 | 
 16 | 综合性网站
 17 | ----------
 18 | 
 19 | 测序技术与生物信学综合类信息与新闻网站
 20 | 
 21 | * `Plob <http://www.plob.org/>`__
 22 | * `Seq.cn <http://seq.cn/>`__
 23 | 
 24 | 免费课程资料
 25 | ------------
 26 | 
 27 | 国外院校举办的生物信息学与高通量测序技术培训所提供的授课资料。
 28 | 
 29 | * `Bioinformatics Courses at Penn State <http://www.personal.psu.edu/iua1/lectures.html>`__
 30 | * `ANGUS bioinformatics <http://angus.readthedocs.org/en/2014/>`__
 31 | * `UC Davis training <http://training.bioinformatics.ucdavis.edu/>`__
 32 | * `UC Texas at Austin wiki <https://wikis.utexas.edu/display/bioiteam/Home>`__
 33 | * `BPA-CSIRO Workshops <http://bpa-csiro-workshops.github.io/>`__
 34 | * `VIB Training <http://www.vib.be/en/training/Pages/Training-Categories.aspx>`__
 35 | 
 36 | 教学与资源
 37 | ----------
 38 | 
 39 | 关于生物信息学与高通量测序技术相关内容的博客和网站。
 40 | 
 41 | * `糗世界 <http://qiuworld.com>`__
 42 | 最近域名被墙了，暂时用这个 [地址 <http://blog.qiuworld.com:8080/) 访问：
 43 | * `YGC <http://ygc.name/>`__
 44 | * `Biostack <http://www.biostack.org/>`__
 45 | * `宠辱不惊 一心问学 <http://www.chenlianfu.com/>`__
 46 | * `每日一生信 <http://blog.sina.com.cn/tiehan1990>`__
 47 | * `佛说有缘 <http://jch100.cool.blog.163.com/blog/>`__
 48 | * `Bacterial Genomics <http://bacpathgenomics.wordpress.com/>`__
 49 | * `Genome Unzipped <http://www.genomesunzipped.org/>`__
 50 | * `Titus’s blog <http://ivory.idyll.org/blog/>`__
 51 | * `Blue Collar Bioinformatics <http://bcbio.wordpress.com/>`__
 52 | * `Mass Genomis <http://massgenomics.org/>`__
 53 | * `Next Genetics <http://blog.nextgenetics.net/>`__
 54 | * `Getting Genetics Done <http://gettinggeneticsdone.blogspot.com/>`__
 55 | * `Omics! <http://omicsomics.blogspot.com/>`__
 56 | * `Pathogens genes & genomes <http://pathogenomics.bham.ac.uk/blog/>`__
 57 | * `Opiniomics <http://biomickwatson.wordpress.com/>`__
 58 | * `YOKOFAKUN <http://plindenbaum.blogspot.com/>`__
 59 | * `In between lines of code <https://flxlexblog.wordpress.com/>`__
 60 | * `Core-genome <http://core-genomics.blogspot.com/>`__
 61 | * `NGS wiki book][]*
 62 | * `omictools <http://omictools.com>`__
 63 | * `omicsmaps <http://omicsmaps.com/>`__
 64 | 
 65 | 在线工具和数据库
 66 | ----------------
 67 | 
 68 | * `PATRIC <http://patricbrc.vbi.vt.edu/>`__ 非常棒的病原菌资源整合类数据库，用户界面设计比较友好，各种异步读取速度很快用户体验不错。
 69 | * `ARDB <http://ardb.cbcb.umd.edu/>`__ 马里兰大学维护的耐药基因数据库，可惜2009年已经停止更新。
 70 | * `CARD <http://arpcard.mcmaster.ca/>`__ 加拿大麦克马斯特大学维护的病原微生耐药数据库。
 71 | * `VFDB <http://www.mgc.ac.cn/VFs/main.htm>`__ 中国医学科学院病原系统生物学研究室创建的病原菌毒力基因数据库
 72 | * `MVIRDB <http://mvirdb.llnl.gov/>`__ Lawrence Livermore National Laboratory 创建毒力基因整合数据库。数据来源于包括VFDB在内的多个数据库。
 73 | * `DBETH <http://www.hpppi.iicb.res.in/btox/About_DBETH.html>`__ 对人致病的细菌外毒素数据库，由印度科研机构维护。
 74 | * `Food Microbe Tracker <http://www.foodmicrobetracker.com/login/login.aspx>`__S Cornell大学主持的食源性致病菌的数据库项目，主要有表型和PFGE分型资料。最大的特点可以提交自己的PFGE数据与数据库中的比对，但可能我使用不当或理解不对，比对出来的结果总是完全对不上，不知道它具体的算法
 75 | * `Genomespace <http://www.genomespace.org/>`__ 基于web界面的基因组分析工具
 76 | * `MBGD <http://mbgd.genome.ad.jp/>`__ 日本人做的微生物比较基因组数据库
 77 | 
 78 | 讲座课件
 79 | --------
 80 | 
 81 | 在线的各种PPT讲座课件，这里选择一些基础简介的可见和一些与微生物测序内容相关的课件
 82 | 
 83 | * `Next Generation Sequencing <http://www.slideshare.net/suryasaha/sequencing-32243702>`__
 84 | * `Assembly before and after <http://www.slideshare.net/flxlex/assembly-before-and-after>`__
 85 | 
 86 | 视频资料
 87 | --------
 88 | 
 89 | 如果嫌光看课件不够明确，Youtube里有一些不错的测序公司与基因组学视频频道可以收看
 90 | 
 91 | * `Illumina <https://www.youtube.com/channel/UCxWMU29FF4kIG8YmQf6Zv0g>`__
 92 | * `Iontorrent <https://www.youtube.com/channel/UCmZQ-P0dCwd1eOZtMuQrQGg>`__
 93 | * `Genome TV <https://www.youtube.com/user/GenomeTV>`__
 94 | * `Pathogenomics <https://www.youtube.com/channel/UCa2HSyCToFAAqQlKmd5-l8g>`__
 95 | * `Broad Institute <https://www.youtube.com/channel/UCv4IbnP9j9RC_aZAs8wqdeQ>`__
 96 | * `NAID Bioinformatics <https://www.youtube.com/channel/UC4xRg9e4mrYBZQUDUhBHNiQ>`__
 97 | * `NBIC <https://vimeo.com/nbic>`__
 98 | * `VIB <https://vimeo.com/vibinflanders>`__
 99 | 
100 | 网络学校
101 | --------
102 | 
103 | 希望学习一些基础知识的可以通过在线学校资源，里面有一些关于生物信息学的基础课程给没有学过的微生物学研究者入门。还有一些 Perl 或者 Python 脚本语言入门课程，给希望能编写脚本的工作者学习。另外还有一些如进化树分析的理论知识课程也可以参考。
104 | 
105 | * `MOOC 学院 <http://mooc.guokr.com/>`__
106 | * `edX <https://www.edx.org/>`__
107 | * `coursera <https://www.coursera.org/>`__
108 | 
109 | 软件工具
110 | --------
111 | 
112 | * `Galaxy <http://www.galaxy.org>`__ 基于Web的数据分析平台，可以方便添加各种终端工具。
113 | * `circos <http://circos.ca>`__ 比较基因组数据可视化工具
114 | 
115 | 生物信息数据分析
116 | ----------------
117 | 
118 | * `DNAnexus <https://platform.dnanexus.com/>`__ DNAnexus基于云计算的生物信息分析平台
119 | * `Seven Bridges <https://www.sbgenomics.com>`__
120 | * `Tute Genomics <http://tutegenomics.com/>`__
121 | 
122 | 其他
123 | ----
124 | 
125 | * `Biocompare <http://www.biocompare.com/>`__ 给购买者提供产品信息和技术资料的网站，对于实验室选择仪器和试剂有所帮助。
126 | * `Publons <https://publons.com>`__ 发表的科研文章的reviewer发布reviews的网站，作者可与reviewer交互讨论
127 | * `genohub <https://genohub.com/>`__ 提供测序技术及相关服务供应商的搜索信息
128 | * `AMD <http://www.cdc.gov/amd/index.html>`__ 美国CDC的病原微生物分子检测
129 | * `PHGKB of AMD <https://phgkb.cdc.gov/GAPPKB/amdClip.do?action=home>`__ 美国CDC的病原微生物知识库中的AMD相关内容
130 | * `Clinicl Informatrics News <http://www.clinicalinformaticsnews.com/eCliniqua/clinical_news_and_analysis.aspx>`__ 临床信息学分析新闻综合
131 | 
132 | * `NGS wiki book <https://en.wikibooks.org/wiki/Next_Generation_Sequencing>`__
133 | 


--------------------------------------------------------------------------------
/source/preface/index.rst:
--------------------------------------------------------------------------------
 1 | 序言
 2 | ====
 3 | 
 4 | .. toctree::
 5 |    :maxdepth: 1
 6 | 
 7 |    01_linux
 8 |    02_shell
 9 |    03_python
10 |    04_perl
11 |    05_awk
12 |    06_sed
13 |    07_r
14 |    08_docker
15 |    09_git
16 |    10_ngs_basic
17 |    11_resource
18 | 


--------------------------------------------------------------------------------