Slider：在Yarn上部署Docker應(yīng)用【編者的話】Apache Slider是一個(gè)Yarn應(yīng)用，它可以用來(lái)在Yarn上部署并監(jiān)控分布式應(yīng)用。Yarn可以監(jiān)控“Yarn容器”的健康狀態(tài)，當(dāng)容器掛掉時(shí)，它會(huì)通知Slider。支持用戶在Yarn集群中創(chuàng)建隨需應(yīng)變的應(yīng)用支持不同的用戶/應(yīng)用運(yùn)行不同版本的應(yīng)用支持用戶配置不同的應(yīng)用實(shí)例按需停止/暫停/恢復(fù)應(yīng)用實(shí)例按需擴(kuò)展/收縮應(yīng)用實(shí)例。

ceph工作原理和安裝一、概述1. CRUSH算法。cd /ceph下載yum源,下載地址如下http://download.ceph.com/rpm-firefly/el6/noarch/在node1~4上把上面的網(wǎng)址設(shè)置為yum源yum install –y ceph到管理主機(jī)上的/ceph目錄操作,創(chuàng)建一個(gè)新集群，并設(shè)置node1為mon節(jié)點(diǎn)ceph-deploy new node1執(zhí)行完畢后，可以看到/ceph目錄中生成了三個(gè)文件，其中有一個(gè)配置文件可以做各種參數(shù)優(yōu)化，據(jù)說(shuō)ceph的優(yōu)化參數(shù)接近1000項(xiàng)。

使用HUE來(lái)管理hadoop集群HUE.docker run -tid --name hue8888 --hostname cnode1.domain.org -p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop -v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase -v /docker-config/pseudo-distributed.ini /hue/desktop/conf/pseudo-distributed.ini c-docker.domain.org:5000/hue:latest ./build/env/bin/hue runserver_plus 0.0.0.0:8888.

YARN開啟Label Scheduler.sudo su hdfshadoop fs -mkdir -p /yarn/node-labelshadoop fs -chown -R yarn:yarn /yarnhadoop fs -chmod -R 700 /yarn為YARN配置Node Label.<property> <name>yarn.node-labels.fs-store.root-dir</name> <value>hdfs://<host>:<port>/<absolute_path_to_node_label_directory></value></property>yarn rmadmin -replaceLabelsOnNode "<node1>:<port>=<label1> <node2>:<port>=<label2>"

Step1：選擇隊(duì)列從根隊(duì)列開始，使用深度優(yōu)先遍歷算法，從根隊(duì)列開始，依次遍歷子隊(duì)列找出資源占用率最小的子隊(duì)列。若子隊(duì)列為葉子隊(duì)列，則選擇該隊(duì)列；公平共享量：當(dāng)集群中存在多個(gè)隊(duì)列時(shí)，某些隊(duì)列中的資源可能用不了，這時(shí)候調(diào)度器會(huì)自動(dòng)將這些隊(duì)列中剩余的資源共享給其他需要的隊(duì)列，其他這些隊(duì)列獲取的共享資源多少主要由其隊(duì)列 weight決定，隊(duì)列 weight越大，獲取的資源越多。

hbase.regionserver.global.memstore.upperLimit的意思是當(dāng)ReigonServer內(nèi)所有的memstore所占用的內(nèi)存總和達(dá)到heap的hbase.regionserver.global.memstore.upperLimit大小時(shí)，HBase會(huì)強(qiáng)制block所有的更新并flush這些memstore以釋放所有memstore占用的內(nèi)存；

機(jī)器學(xué)習(xí) 生成算法與判別算法 Naive Bayes（樸素貝葉斯）可用來(lái)做二分類。假定初始有(U,V)=(U0,V0)U1 = argmin_U{f(U,V0)}得到(U1, V0)--->f(U1,V0)V1 = argmin_V{f(U1,V)}得到(U... 2016-03-05 00:16 閱讀(192) 評(píng)論(0) EM算法和MM算法 EM算法是機(jī)器學(xué)習(xí)中常用到的優(yōu)化算法。一般而言，若原來(lái)的算法的穩(wěn)定性差，使用bagging后，算法的準(zhǔn)確率會(huì)得到較大程度的提高。

TensorFlowOnSpark首頁(yè)、文檔和下載。TensorFlowOnSpark 將 TensorFlow 帶到 Apache Spark 集群上，由 Yahoo 開源。通過(guò)結(jié)合深入學(xué)習(xí)框架 TensorFlow 和大數(shù)據(jù)框架 Apache Spark 、Apache Hadoop 的顯著特征，TensorFlowOnSpark 能夠在 GPU 和 CPU 服務(wù)器集群上實(shí)現(xiàn)分布式深度學(xué)習(xí)。TensorFlowOnSpark 支持對(duì) Apache Spark 集群進(jìn)行分布式 TensorFlow 訓(xùn)練和推斷。

--archives hdfs:///user/${USER}/Python.zip#Python,mnist/mnist.zip#mnist \spark-submit --master yarn --deploy-mode cluster --queue ${QUEUE} --num-executors 4 --executor-memory 4g --archives hdfs:///user/${USER}/Python.zip#Python,mnist/mnist.zip#mnist --jars hdfs:///user/${USER}/tensorflow-hadoop-1.0-SNAPSHOT.jar TensorFlowOnSpark/examples/mnist/mnist_data_setup.py --output mnist/tfr --format tfr.

[plain] view plain copy cd ~/Python zip Python.zip * mv Python.zip ../ hdfs dfs -put Python.zip /user/hadoop/ hdfs dfs -ls /user/hadoop/[plain] view plain copy hdfs dfs -put tensorflow-hadoop-1.0-SNAPSHOT.jar hdfs dfs -ls /user/hadoop 5)編譯TensorflowOnSaprk安裝。

TensorFlow官方文檔中文版TensorFlow 官方文檔中文版?！窽ensorFlow」是 Google 多年以來(lái)內(nèi)部的機(jī)器學(xué)習(xí)系統(tǒng)。Google TensorFlow項(xiàng)目負(fù)責(zé)人Jeff Dean為該中文翻譯項(xiàng)目回信稱："看到能夠?qū)ensorFlow翻譯成中文我非常激動(dòng)，我們將TensorFlow開源的主要原因之一是為了讓全世界的人們能夠從機(jī)器學(xué)習(xí)與人工智能中獲益，類似這樣的協(xié)作翻譯能夠讓更多的人更容易地接觸到TensorFlow項(xiàng)目，很期待接下來(lái)該項(xiàng)目在全球范圍內(nèi)的應(yīng)用!"

Cloudera Manager 5和CDH5離線安裝,CDH.在主節(jié)點(diǎn)初始化CM5的數(shù)據(jù)庫(kù)：cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hive/lib/ cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/oozie/lib/ cp /opt/cm-5.7.1/share/cmf/lib/mysql-connector-java-*-bin.jar /var/lib/oozie/

五、CDH服務(wù)安裝1.制作本地parcel1）下載CDH軟件包，下載地址：http://archive.cloudera.com/cdh5/parcels/5.6/下載對(duì)應(yīng)版本的CDH:下載圖中標(biāo)紅的三個(gè)資源（el6代表centos6） 之前完成CM安裝之后master節(jié)點(diǎn)會(huì)在/opt目錄下生成cloudera文件夾，將剛才下載的三個(gè)文件移動(dòng)到parcel-repo文件夾中并將CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1更名為CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha如不更名會(huì)在線重新下載。

1)設(shè)置環(huán)境變量export PYTHON_ROOT=/home/ubuntu/workspace/spark/pythonexport LD_LIBRARY_PATH=${PATH}export PYSPARK_PYTHON=${PYTHON_ROOT}/bin/pythonexport SPARK_YARN_USER_ENV="PYSPARK_PYTHON=/home/ubuntu/workspace/spark/python/bin/python2.7"export PATH=$PATH:${PYTHON_ROOT}/bin/export QUEUE=gpuCPU模式下的修改請(qǐng)參考官網(wǎng)。

https://github.com/dennybritz/reinforcement-learninghttps://github.com/zsdonghao/tensorlayerhttps://github.com/matthiasplappert/keras-rlhttps://github.com/nivwusquorum/tensorflow-deepqhttps://github.com/devsisters/DQN-tensorflowhttps://github.com/coreylynch/async-rlhttps://github.com/carpedm20/deep-rl-tensorflowhttps://github.com/yandexdataschool/Practical_RL.

斯坦福大學(xué)公開課 ：機(jī)器學(xué)習(xí)課程機(jī)器人和人工智能這個(gè)領(lǐng)域確實(shí)已進(jìn)入了瓶頸階段，因?yàn)楝F(xiàn)在的存在的各種人工智能和機(jī)器裝置，都是人工編程控制的，再精密的動(dòng)作都是在按照人工方式模擬下進(jìn)行的，因此已經(jīng)進(jìn)入誤區(qū)。說(shuō)白了：機(jī)器要干什么不是人說(shuō)了算，而是機(jī)器在各種聽覺視覺等環(huán)境刺激下激發(fā)應(yīng)對(duì)的策略，并且能對(duì)這些策略進(jìn)行總結(jié)。要知道人是很復(fù)雜的，靠模擬根本無(wú)法和人類比，因此機(jī)器人智能必須能自己開發(fā)自己，自己決策。

如何安裝Spark &TensorflowOnSpark.${SPARK_HOME}/bin/spark-submit --master spark://master:7077 ${TFoS_HOME}/examples/mnist/cv.py --output examples/mnist/csv --format csv.${SPARK_HOME}/bin/spark-submit --master spark://master:7077 --py-files ${TFoS_HOME}/tfspark.zip,${TFoS_HOME}/examples/mnist/spark/mnist_dist.py --conf spark.cores.max=4 --conf spark.task.cpus=2 --conf spark.executorEnv.

Inception-resnet-v1 and Inception-ResNet v2 IRV1 roughly the computational cost of Inception-v3, v2maeches the raw coset of the newly introduced Inceptionv4, but inceptionv4 was proved to be dignificantly slower in practice.Inception-v4: roughly the same rocognition performance as Inception-Resnet-v2.Introuductionrelated workArchitectural Choices1 Inception -v42 Residual Inception blocks。