She使用手册

She平台课程环境详细操作说明

在这里插入图片描述

1. 典型主界面介绍

典型的,She平台的课程环境界面包括5个区域:主菜单、代码explorer控制菜单、代码explorer区、面板区、容器操作区,

容器操作区

从"Getting Started"选取一个模板、点击"Created & Open"创建一个Workspace,而模板则是由一个文件定义的、这类文件称为devfile、即devfile定义模板而Workspace是模板的一个实现

Workspace: 每个课程由若干个Workspace组成,如集群版的大数据课程至少包括3个Workspace。一个Workspace则由多个容器组成,每个容器可以看成一台物理计算机;这些容器又分为两类,分别为:User Runtimes和Plugins,通常我们操作User Runtimes中的容器。

容器: 每个容器通常包含3类操作元素:终端(>_ New Terminal)、预设命令、端口。终端只有一个菜单项,点击此菜单(>_ New Terminal)我们可以创建一个终端,对于Linux类的容器来说,在面板区创建一个命令行操作界面。我们可以调整命令行界面的高度,也可以占有全部面板区域、即最大化。此外,我们可以通过多次点击菜单(>_ New Terminal)创建多个终端。

预设命令: 预设命令可以有多条,每条可以认为是一个shell脚本,用户完成某个任务,如下载指定资源到当前容器中。当我们的鼠标停留在对应预设命令菜单上时,此命令的shell脚本内容会显示出来。

端口: 端口可以有多个,点击每个端口,会在浏览器上打开对应网页;但是这个端口并不一定被应用程序所绑定,需要事先设定后才能正常打开对应网页

容器之间共享文件机制

由于同一个Workspace的所有容器共享相同的网络资源,如ip地址,所以无法通过网络(如scp)传输文件,但每个容器都有目录/workspace_logs,而且此文件是同一Workspace的所有容器的共享目录,因此我们可以在一个容器中将要共享的文件拷贝(cp)到此目录中、然后在另一个容器中将共享文件拷出。

2. 文件等资源的管理

本地计算机和远程Workspace之间文件交换

git服务器

登录到She平台后,点击"Git Repository"可进入GitLab界面,

在这里插入图片描述

在这里可以查看git仓库信息,如下图中的"Administrator / Spark-stack"代表一个仓库,

在这里插入图片描述

可以单击进入仓库查看库中文件信息,也可以点击鼠标右键拷贝出仓库地址,如本例中为"http://git.dev.kinginsai.com/root/spark-stack",然后我们可以使用git命令下载此仓库的所有文件,git clone http://git.dev.kinginsai.com/root/spark-stack。

特别强调:

  1. 松鼠学苑将She平台部署在云端,此版本称为C端版本;She平台私有部署在高校,称为高校版本,git服务器的地址是不同的,所以需要用户根据所使用的版本来确定git服务器地址。

  2. 所有用户都可以访问C端版本的git服务器,但这通常不是最优的选择,因为对于高校版本的用户来说,C端版本的git服务器访问速度不能满足要求。

  3. C端版本的用户推荐使用松鼠学苑的github仓库,我们的devfile也默认设定为github仓库;高校版本用户推荐使用本地git服务器仓库或者github仓库。

  4. 高校版本并不一定会部署git服务器,因为这需要额外的硬件投入,高校版本的用户(学生)可以直接点击"Git Repository"来判断是否部署了git服务器。

文件服务器

登录到She平台后,点击"File Server"可进入文件服务器界面,

在这里插入图片描述

可以点击文件夹预览文件信息,也可以点击鼠标右键下载或拷贝下载地址,然后使用wget下载,

在这里插入图片描述

特别强调:

  1. 松鼠学苑将She平台部署在云端,此版本称为C端版本;She平台私有部署在高校,称为高校版本,文件服务器的地址是不同的,所以需要用户根据所使用的版本来确定文件服务器地址。

  2. 所有用户都可以访问C端版本的文件服务器,但这通常不是最优的选择,因为对于高校版本的用户来说,C端版本的文件服务器下载速度不能满足要求。

  3. C端版本的用户推荐使用文件源端,如在安装hadoop集群时需要下载hadoop-3.1.2.tar.gz、可以通过从hadoop社区下载 wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz 我们的课程会说明源端下载地址;高校版本用户推荐使用本地文件服务器或者文件源端。

  4. 高校版本并不一定会部署文件服务器,因为这需要额外的硬件投入,高校版本的用户(学生)可以直接点击"File Server"来判断是否部署了文件服务器。

在线课程

松鼠学苑的在线课程会不定期更新,其地址是统一的,为 http://docs.kinginsai.com C端版本和高校版本的用户可登录She平台后点击"She‘s Coursera"进入。

3. 常见问题解答

Q: 为什么不将git服务器和文件服务器合并在一起,这样不就可以节约硬件投入了吗?

A:从功能上看,这两个服务器都是存储文件的,但应用场景不一样:git服务器用于管理代码、而不是存储文件,尽管git服务器也能存储任何类型的文件。其中管理代码不仅仅是存储,主要的作用是管理代码文件的版本以及协调各个开发团队的代码check in/check out。此外,从性能考虑,git服务器通常限制提交(check in)大文件;而文件服务器不会管理版本信息,这需要用户自己管理,如提交带有版本信息的不同文件,如hadoop-3.1.2.tar.gz、hadoop-2.6.4.tar.gz。此外,二者的主要下载方式是不同的,git服务器的仓库通常是整体下载、使用git clone xxx的方式下载,而文件服务器中的文件可以单独下载、使用wget xxx的方式下载。

Q:高校版本的She平台的文件服务器的文件怎么上传上去的?

A:松鼠学苑的文件服务器部署在Linux平台上,其默认文件路径为/data/files,管理员通过FileZilla、SSH Secure File Transfer Client等工具上传文件至这个目录下,学生通过网页可立即访问。