She使用手册

1. 操作提示

对于使用微信点击链接的方式访问的用户

  1. 点击红色框的图标可以展开/关闭左侧导航栏。

  2. 在绿色导航栏中触摸滑动可以看见更多导航菜单。

在这里插入图片描述

  1. 这里提及的地址 http://she.kinginsai.com、http://she-she.dev.kinginsai.com 均为She平台C端版本地址,对于部署了She平台的高校用户,请使用私有部署的地址。

  2. 由于微信可能会有网页缓存,可以点击页面刷新获取最新内容。手册、课程平台等会不定期更新,如果您的微信页面缓存时间正好在更新周期内、则可能浏览的是过期的页面内容。

在这里插入图片描述

关于视频清晰度问题

所有视频都是高清的,由于网络等综合原因,可能有时打开课程、手册中的视频时清晰度非常差,此时请反复调节视频播放的清晰度以获取高清界面,如高清->标清->高清。

2. She平台快速指引

对于学生

1、获取账号:自己注册或者老师提供,需要咨询根据任课老师决定。

2、获取She平台使用授权:根据《用户申请免费授权使用操作流程》操作,但需要提前咨询任课老师授课的教学班级名称。

3、学习《She平台架构说明》、《She平台课程环境详细操作说明》、《She平台相关概念详解》。

对于任课老师/管理员。

1、申请/创建自己的账号并授权使用,因为系统只用一个管理员账号,老师需要自己创建She平台的使用账号。

2、创建教学班级,并将教学班级名称告知学生;可配置自动资源清理定时、也可以后期手动清理。

3、如果机房服务器端没有外网权限,则需要管理员创建学生账号,并分发这些账号给学生。

4、通过学生的使用授权申请,参考《用户申请免费授权使用操作流程》。

5、配置教学班级的资源管控信息:可创建的Workspace数量、devfile权限即学生可使用的课程环境(devfile/workspace)。

6、资源监控与及时清理。

She使用手册

1. 操作提示

对于使用微信点击链接的方式访问的用户

  1. 点击红色框的图标可以展开/关闭左侧导航栏。

  2. 在绿色导航栏中触摸滑动可以看见更多导航菜单。

在这里插入图片描述

  1. 这里提及的地址 http://she.kinginsai.com、http://she-she.dev.kinginsai.com 均为She平台C端版本地址,对于部署了She平台的高校用户,请使用私有部署的地址。

  2. 由于微信可能会有网页缓存,可以点击页面刷新获取最新内容。手册、课程平台等会不定期更新,如果您的微信页面缓存时间正好在更新周期内、则可能浏览的是过期的页面内容。

在这里插入图片描述

关于视频清晰度问题

所有视频都是高清的,由于网络等综合原因,可能有时打开课程、手册中的视频时清晰度非常差,此时请反复调节视频播放的清晰度以获取高清界面,如高清->标清->高清。

2. She平台快速指引

对于学生

1、获取账号:自己注册或者老师提供,需要咨询根据任课老师决定。

2、获取She平台使用授权:根据《用户申请免费授权使用操作流程》操作,但需要提前咨询任课老师授课的教学班级名称。

3、学习《She平台架构说明》、《She平台课程环境详细操作说明》、《She平台相关概念详解》。

对于任课老师/管理员。

1、申请/创建自己的账号并授权使用,因为系统只用一个管理员账号,老师需要自己创建She平台的使用账号。

2、创建教学班级,并将教学班级名称告知学生;可配置自动资源清理定时、也可以后期手动清理。

3、如果机房服务器端没有外网权限,则需要管理员创建学生账号,并分发这些账号给学生。

4、通过学生的使用授权申请,参考《用户申请免费授权使用操作流程》。

5、配置教学班级的资源管控信息:可创建的Workspace数量、devfile权限即学生可使用的课程环境(devfile/workspace)。

6、资源监控与及时清理。

She使用手册

登录注册

1、网址:she.kinginsai.com(高校版本不是这个网址)

在这里插入图片描述

2、注册

在这里插入图片描述

在这里插入图片描述

您需要验证您的电子邮件地址才能激活您的帐户。通过邮箱验证。

3、邮箱验证。

在这里插入图片描述

在这里插入图片描述

4、返回she平台。

在这里插入图片描述

5、登录的界面。

在这里插入图片描述

6、界面介绍:1、菜单;2、查看所有的工程;3、创建之后的工程;4、购买She平台;5、She网站;6、She包含的工程;7、搜索工程;8、选择工程之后创建;9、登录的用户。

在这里插入图片描述

She使用手册

登录注册

1、网址:she.kinginsai.com(高校版本不是这个网址)

在这里插入图片描述

2、注册

在这里插入图片描述

在这里插入图片描述

您需要验证您的电子邮件地址才能激活您的帐户。通过邮箱验证。

3、邮箱验证。

在这里插入图片描述

在这里插入图片描述

4、返回she平台。

在这里插入图片描述

5、登录的界面。

在这里插入图片描述

6、界面介绍:1、菜单;2、查看所有的工程;3、创建之后的工程;4、购买She平台;5、She网站;6、She包含的工程;7、搜索工程;8、选择工程之后创建;9、登录的用户。

在这里插入图片描述

She使用手册

主界面集成其他平台地址

在这里插入图片描述

1、More About She:She平台及松鼠学苑的发展历史与业务竞争力。

2、Manual:She平台使用手册。

3、She's Coursera:网络课程平台。

4、AI flow:基于kubeflow的机器学习炼丹炉。

5、Training:松鼠学苑培训信息。

6、portal:松鼠学苑@天津精赛科技有限公司网站。

7、Git Repository:She平台的git服务器,其地址与当前部署相关。She平台的各个高校的私有化部署中,这个按钮指向当前自己的私有化部署;但也有可能私有化部署环境中没有部署这个系统。

8、File Server:She平台的文件服务器(支持wget下载),其地址与当前部署相关。She平台的各个高校的私有化部署中,这个按钮指向当前自己的私有化部署;但也有可能私有化部署环境中没有部署这个系统。

9、LMS:学习管理(教学)平台,其地址与当前部署相关。She平台的各个高校的私有化部署中,这个按钮指向当前自己的私有化部署;但也有可能私有化部署环境中没有部署这个系统。

10、My Virtual Machines:虚拟机查看页面,可以列出所有虚拟机及其运行状态、通过vnc进入任一虚拟机的console。

She使用手册

重置密码

1、忘记密码之后,点击Forgot PassWord。

在这里插入图片描述

2、输入注册的邮箱,提交。

在这里插入图片描述

在这里插入图片描述

3、邮箱验证,点击Reset Password

在这里插入图片描述

4、输入新密码。

在这里插入图片描述

在这里插入图片描述

5、返回She平台,输入新密码。

在这里插入图片描述

She使用手册

购买资源使用权限

对于高校版用户(学生)不需要付费购买资源使用权限,由后台管理员授权使用

1、购买She平台,点击My Account。

在这里插入图片描述

2、支付之后,手动跳转My Account首页。

在这里插入图片描述

3、点击LOGOUT返回She登录界面重新登录。

在这里插入图片描述

4、够买成功之后,每个付费账户将获得如下资源:

        1. 可同时运行5个Workspace;总量可使用12核、48G内存、150G磁盘

        2. 独享4M带宽;外域节点:Google、Maven、GitHub等嗖嗖滴

在这里插入图片描述

She使用手册

通过Java Web案例介绍She平台

1、创建Java Web。

在这里插入图片描述

2、进入欢迎界面

在这里插入图片描述

3、左侧是程序源代码,右侧是容器。

在这里插入图片描述

4、容器介绍:

两个容器mysql数据库和tools容器,tools容器是java开发以及Spring的工具也就是Devfile。Plugins是包括编辑器和跨域访问的组件。1、进入mysql的命令行;2、预设置的初始化数据库命令;3、数据库的端口;4、进入工具的命令行;5、预设置的安装Maven命令;6、预设置的运行webapp命令;7、8080端口。

在这里插入图片描述

5、运行程序,先初始化数据库。点击prepare database。

在这里插入图片描述

6、安装Maven,点击maven build。

在这里插入图片描述

7、运行web,点击run webapp。弹出的窗口是连接地址,可以点击Open Link打开,也可以在8080端口中打开,点击8080-tcp。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

8、打开程序代码。

在这里插入图片描述

9、自动跳转到定义,按Ctrl点击需要跳转的对象。比如:SpringApplication

在这里插入图片描述

在这里插入图片描述

10、自动补全,在关键字后有提示。

在这里插入图片描述

更加详细操作步骤,参考以下视频

She使用手册

python编程语言环境

Java编程语言环境

C语言编程环境

nodejs-mongodb-web编程案例

She使用手册

登录

1、以管理员用户登录,点击My Acount进入管理后台。

在这里插入图片描述

在这里插入图片描述

注意:

1、平台只有一个管理员账号,且此管理员账号是She平台部署时系统创建的、不能通过界面的操作创建新的管理员账号。

2、点击做出任一功能按钮,然后在对应tab页面上操作后,如果遇到数据没有刷新请关闭相应tab页面再打开即可。

She使用手册

登录

1、以管理员用户登录,点击My Acount进入管理后台。

在这里插入图片描述

在这里插入图片描述

注意:

1、平台只有一个管理员账号,且此管理员账号是She平台部署时系统创建的、不能通过界面的操作创建新的管理员账号。

2、点击做出任一功能按钮,然后在对应tab页面上操作后,如果遇到数据没有刷新请关闭相应tab页面再打开即可。

She使用手册

教学班级管理

1、创建教学班级。

定义:tab页面,即点击导航菜单中每一个子菜单,在页面右侧创建的面板、如教学班级列表,这个面板称为tab页。

注意:当在一个tab页(当前tab页)中操作时,可能会更改另一个tab页(关联tab页)的内容,但是当前tab页的操作并不会刷新关联tab页,需要关闭关联tab页再次打开才能显示更改后的内容。

在这里插入图片描述

2、创建选课学生信息并授权使用She平台。

授权学生可以创建Workspace、即可以使用系统资源,但未授权并不代表学生不能注册;此外,是否添加学生、是否授权均与该学生是否注册无前后因果关系:当在后台添加学生时,该名学生可以是还没有注册状态;授权后该学生才可以免费使用系统资源(创建workspace)。

批量上传学生:管理员先准备好学生列表,excel格式;可通过下载学生模板文件按钮下载excel模板。需要注意的是,一个excel只能包含一个sheet,且这个sheet中所有学生均是同一班级的,多个班级应分多次上传。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

She使用手册

组织结构管理

She平台将教学班级和组织结构班级分开管理,组织结构里有班级、教师、学生三个管理子模块,其操作方法和教学班级、选课学生的操作方法一致;此外,可以在组织结构的班级里选择学生加入到相应的教学班级中。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

She使用手册

创建用户

1、管理员用户可以创建学生账号,这通常用于She平台高校本地部署的版本、且机房服务器端没有外网权限的情况。

在这里插入图片描述

在这里插入图片描述

2、可重置学生账号的密码,其中密码是随机生成的。

在这里插入图片描述

3、删除创建的学生用户及其占用的资源。

在这里插入图片描述

4、根据邮箱精准查找用户。

在这里插入图片描述

下载用户信息

选择需要下载的用户,然后点击下载,

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

She使用手册

资源管控

1、设置可创建的Workspace数量。

在这里插入图片描述

在这里插入图片描述

2、授权学生可使用的课程环境(devfile/workspace)。

选择班级查看当前班级的devfile权限设置;选择班级的devfile权限,设定后班级下的学生只能创建对应devfile的workspace;创建权限之外的workspace,提示创建失败信息:“The user(..) does not have this workspace privilege”。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3、查看学生Workspace状况/清理学生占用资源。

查看所有学生创建workspace数量情况;查看某个学生创建workspace详情,包括对应的devfile、workspace运行状态信息;删除学生创建的所有workspace,包括其使用的其他资源;由于学生的(部分)workspace仍处于RUNNING状态,所以第一次删除会提示失败;但是这次删除操作是有意义的:本次操作将学生所有workspace状态强制为STOPPED状态;第二次删除成功。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

She使用手册

新用户注册控制

1、显示当前注册控制的状态:是否允许注册、新注册的用户是否需要验证邮箱。

2、反转当前注册控制的状态。

在这里插入图片描述

She使用手册

系统监控

She平台提供KMS和OMS两种监控界面,其中KMS提供kubernetes集群的监控视图、OMS提供Linux操作系统的监控视图。监控资源项可任意配置,运维最关注的CPU、内存、磁盘空间、磁盘IO、网络不用额外配置即可展现在监控面板页面上。

在这里插入图片描述

当用户创建一个Workspace后,监控视图,

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

She使用手册

配置使用本地gitLab

She平台内置有从git服务端获取本课程的最新资源(git clone ...),这个默认为松鼠学苑的GitHub地址,但是高校版的服务端通常是没有外网权限的、但可能部署了本地版的gitlab,因此"启用本地gitLab"的作用是将"从git服务端获取本课程的最新资源"指向本地版的gitlab。

这个配置通常由松鼠学苑在部署实施时配置,高校管理员(老师)通常不用操作此功能。

在这里插入图片描述

She使用手册

用户申请免费授权使用操作流程(用户侧和管理员侧)

用户侧操作流程

使用场景说明:

  1. She平台C端版本承担师资技术交流和相关职业类培训业务,例如,高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班,那么这里的高校教师不需要通过微信付费购买的方式使用平台、而是申请免费授权使用。
  2. 对于部署在高校侧的She平台(She平台高校版),后台管理员创建班级、在校学生通过申请免费授权使用的方式使用She平台。
  3. 以上高校教师和在校学生均定义为She平台用户,以下是申请免费授权使用的操作流程。

在这里插入图片描述

1、登录She平台,点击My Acount进入用户后台。

在这里插入图片描述

在这里插入图片描述

2、在用户后台界面中点击APPLY FOR FREE按钮,进入申请免费授权使用页面。

在这里插入图片描述

这个页面中包括三个区域,其中

  1. 位置1所指示区域是授权成功信息,申请没有被Approved、或者授权到期解除则这个区域为空。
  2. 位置2所指示的区域是授权提交及审核情况,审核包括Approved、Waiting for approval两种状态。
  3. 位置3所指示的区域是提交新的申请区域。当已经被授权免费使用(即区域1不为空)、或者之前提交的申请处于Waiting for approval状态,则此区域不存在(即不允许提交新的授权申请)。

3、提交申请。

完整填写自己的信息然后点击Apply则完成申请的提交。

  1. 当填写信息不满足相应规则时,Apply按钮失效;当填写信息满足规则且所有输入均填入,则在页面的右上角会出现对勾。
  2. 对于高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班单选“Teacher or Skilled”;对于高校版本,在校学生则单选“Undergraduate”。
  3. class为下拉选择,高校版本由后台管理员创建好班级信息;对于高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班、则选择“大数据人工智能师资技术交流“。

在这里插入图片描述

提交完成后,界面如下,

在这里插入图片描述

4、申请被Approved的界面。

在这里插入图片描述

She使用手册

用户申请免费授权使用操作流程(用户侧和管理员侧)

用户侧操作流程

使用场景说明:

  1. She平台C端版本承担师资技术交流和相关职业类培训业务,例如,高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班,那么这里的高校教师不需要通过微信付费购买的方式使用平台、而是申请免费授权使用。
  2. 对于部署在高校侧的She平台(She平台高校版),后台管理员创建班级、在校学生通过申请免费授权使用的方式使用She平台。
  3. 以上高校教师和在校学生均定义为She平台用户,以下是申请免费授权使用的操作流程。

在这里插入图片描述

1、登录She平台,点击My Acount进入用户后台。

在这里插入图片描述

在这里插入图片描述

2、在用户后台界面中点击APPLY FOR FREE按钮,进入申请免费授权使用页面。

在这里插入图片描述

这个页面中包括三个区域,其中

  1. 位置1所指示区域是授权成功信息,申请没有被Approved、或者授权到期解除则这个区域为空。
  2. 位置2所指示的区域是授权提交及审核情况,审核包括Approved、Waiting for approval两种状态。
  3. 位置3所指示的区域是提交新的申请区域。当已经被授权免费使用(即区域1不为空)、或者之前提交的申请处于Waiting for approval状态,则此区域不存在(即不允许提交新的授权申请)。

3、提交申请。

完整填写自己的信息然后点击Apply则完成申请的提交。

  1. 当填写信息不满足相应规则时,Apply按钮失效;当填写信息满足规则且所有输入均填入,则在页面的右上角会出现对勾。
  2. 对于高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班单选“Teacher or Skilled”;对于高校版本,在校学生则单选“Undergraduate”。
  3. class为下拉选择,高校版本由后台管理员创建好班级信息;对于高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班、则选择“大数据人工智能师资技术交流“。

在这里插入图片描述

提交完成后,界面如下,

在这里插入图片描述

4、申请被Approved的界面。

在这里插入图片描述

She使用手册

用户申请免费授权使用操作流程(用户侧和管理员侧)

管理员侧操作流程

1、登录She平台,点击My Acount进入管理员后台。

进入授权申请列表页面,选择对应用户(可以多选)、然后点击“授权”按钮:

在这里插入图片描述

在这里插入图片描述

授权成功后,在学生列表页面中可以查看授权状态,

在这里插入图片描述

She使用手册

申请She平台C端版本测试账号

1). She平台包括两个版本:C端版和高校版,其中C端版本部署在松鼠学苑的公有云上、面向相关领域从业者提供大数据/人工智能等计算机科学学习晋升服务,而高校版则为大中专院校提供大数据/人工智能等计算机专业教研服务。

2). 任何用户均可以注册成为She平台C端版的用户,并可以申请授权使用She平台C端版的资源、即创建实验实训环境;但未授权用户可以预览She平台C端版的所有页面。

3). 为了满足领域从业者的外部网络需求,She平台C端版部署在中国香港和美国节点,并从香港节点配置到大陆的专线;因此,She平台C端版可以访问所有国家的任何公开网站。为了落实国家网信管控要求:松鼠学苑要求有资源访问权限的用户必须实名制;用户在She平台C端版中产生的任何网络请求,均记录在后台数据库中,并保留6个月。

4). 因此,对于高校教师类用户,由教师自己使用自己的邮箱注册账号、并申请授权使用She平台C端版的资源;由于高校教师均由松鼠学院市场老师邀请试用、且试用期限较短,松鼠学苑可不要求试用教师提供实名制信息,实名由对应市场老师担保;因此,这类账户的授权使用期限为5个自然日,对于更长期限可与市场老师协商。

5). She平台C端版的地址为:http://she.kinginsai.com (请使用PC Chrome浏览器以保证最佳的访问效果;适当选择WIFI或者手机4G网络以达到最佳的网络条件)。

注册账号参考:http://man.kinginsai.com/users/register.html

申请授权使用She平台C端版的资源:http://man.kinginsai.com/freeauth/user.html

She使用手册

She平台课程环境详细操作说明

在这里插入图片描述

1. 典型主界面介绍

典型的,She平台的课程环境界面包括5个区域:主菜单、代码explorer控制菜单、代码explorer区、面板区、容器操作区,

容器操作区

从"Getting Started"选取一个模板、点击"Created & Open"创建一个Workspace,而模板则是由一个文件定义的、这类文件称为devfile、即devfile定义模板而Workspace是模板的一个实现

Workspace: 每个课程由若干个Workspace组成,如集群版的大数据课程至少包括3个Workspace。一个Workspace则由多个容器组成,每个容器可以看成一台物理计算机;这些容器又分为两类,分别为:User Runtimes和Plugins,通常我们操作User Runtimes中的容器。

容器: 每个容器通常包含3类操作元素:终端(>_ New Terminal)、预设命令、端口。终端只有一个菜单项,点击此菜单(>_ New Terminal)我们可以创建一个终端,对于Linux类的容器来说,在面板区创建一个命令行操作界面。我们可以调整命令行界面的高度,也可以占有全部面板区域、即最大化。此外,我们可以通过多次点击菜单(>_ New Terminal)创建多个终端。

预设命令: 预设命令可以有多条,每条可以认为是一个shell脚本,用户完成某个任务,如下载指定资源到当前容器中。当我们的鼠标停留在对应预设命令菜单上时,此命令的shell脚本内容会显示出来。

端口: 端口可以有多个,点击每个端口,会在浏览器上打开对应网页;但是这个端口并不一定被应用程序所绑定,需要事先设定后才能正常打开对应网页

容器之间共享文件机制

由于同一个Workspace的所有容器共享相同的网络资源,如ip地址,所以无法通过网络(如scp)传输文件,但每个容器都有目录/workspace_logs,而且此文件是同一Workspace的所有容器的共享目录,因此我们可以在一个容器中将要共享的文件拷贝(cp)到此目录中、然后在另一个容器中将共享文件拷出。

2. 文件等资源的管理

本地计算机和远程Workspace之间文件交换

git服务器

登录到She平台后,点击"Git Repository"可进入GitLab界面,

在这里插入图片描述

在这里可以查看git仓库信息,如下图中的"Administrator / Spark-stack"代表一个仓库,

在这里插入图片描述

可以单击进入仓库查看库中文件信息,也可以点击鼠标右键拷贝出仓库地址,如本例中为"http://git.dev.kinginsai.com/root/spark-stack",然后我们可以使用git命令下载此仓库的所有文件,git clone http://git.dev.kinginsai.com/root/spark-stack。

特别强调:

  1. 松鼠学苑将She平台部署在云端,此版本称为C端版本;She平台私有部署在高校,称为高校版本,git服务器的地址是不同的,所以需要用户根据所使用的版本来确定git服务器地址。

  2. 所有用户都可以访问C端版本的git服务器,但这通常不是最优的选择,因为对于高校版本的用户来说,C端版本的git服务器访问速度不能满足要求。

  3. C端版本的用户推荐使用松鼠学苑的github仓库,我们的devfile也默认设定为github仓库;高校版本用户推荐使用本地git服务器仓库或者github仓库。

  4. 高校版本并不一定会部署git服务器,因为这需要额外的硬件投入,高校版本的用户(学生)可以直接点击"Git Repository"来判断是否部署了git服务器。

文件服务器

登录到She平台后,点击"File Server"可进入文件服务器界面,

在这里插入图片描述

可以点击文件夹预览文件信息,也可以点击鼠标右键下载或拷贝下载地址,然后使用wget下载,

在这里插入图片描述

特别强调:

  1. 松鼠学苑将She平台部署在云端,此版本称为C端版本;She平台私有部署在高校,称为高校版本,文件服务器的地址是不同的,所以需要用户根据所使用的版本来确定文件服务器地址。

  2. 所有用户都可以访问C端版本的文件服务器,但这通常不是最优的选择,因为对于高校版本的用户来说,C端版本的文件服务器下载速度不能满足要求。

  3. C端版本的用户推荐使用文件源端,如在安装hadoop集群时需要下载hadoop-3.1.2.tar.gz、可以通过从hadoop社区下载 wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz 我们的课程会说明源端下载地址;高校版本用户推荐使用本地文件服务器或者文件源端。

  4. 高校版本并不一定会部署文件服务器,因为这需要额外的硬件投入,高校版本的用户(学生)可以直接点击"File Server"来判断是否部署了文件服务器。

在线课程

松鼠学苑的在线课程会不定期更新,其地址是统一的,为 http://docs.kinginsai.com C端版本和高校版本的用户可登录She平台后点击"She‘s Coursera"进入。

3. 常见问题解答

Q: 为什么不将git服务器和文件服务器合并在一起,这样不就可以节约硬件投入了吗?

A:从功能上看,这两个服务器都是存储文件的,但应用场景不一样:git服务器用于管理代码、而不是存储文件,尽管git服务器也能存储任何类型的文件。其中管理代码不仅仅是存储,主要的作用是管理代码文件的版本以及协调各个开发团队的代码check in/check out。此外,从性能考虑,git服务器通常限制提交(check in)大文件;而文件服务器不会管理版本信息,这需要用户自己管理,如提交带有版本信息的不同文件,如hadoop-3.1.2.tar.gz、hadoop-2.6.4.tar.gz。此外,二者的主要下载方式是不同的,git服务器的仓库通常是整体下载、使用git clone xxx的方式下载,而文件服务器中的文件可以单独下载、使用wget xxx的方式下载。

Q:高校版本的She平台的文件服务器的文件怎么上传上去的?

A:松鼠学苑的文件服务器部署在Linux平台上,其默认文件路径为/data/files,管理员通过FileZilla、SSH Secure File Transfer Client等工具上传文件至这个目录下,学生通过网页可立即访问。

ssh远程连接远端服务器工具

SSH远程连接工具除SecureCRT和XShell外还有常用的开源Putty。

PuTTY 新手使用教程

作为免费且开源的老牌 SSH 客户端,PuTTY 经常用于 Windows 下连接管理远程服务器。为方便刚接触 VPS 的新手参考使用,本文配合截图介绍 PuTTY 的基础用法及一些设置技巧,希望对大家有所帮助。

PuTTY 下载及相关工具包

SSH 客户端这类涉及服务器登录和通信的软件,建议大家尽量用原版(曾有汉化版被曝存在安全后门),PuTTY 官方下载地址

https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

在下载页提供有集成 PuTTY 及相关工具的完整安装包,也可以视需求单独下载某个程序使用。

在这里插入图片描述

PuTTY 创建 SSH 会话连接

运行 putty.exe,在程序界面内输入服务器 IP 地址和端口(22 是 SSH 默认端口),选中 SSH 连接类型,设置连接会话名称及点击保存,然后点击 Open 按钮开始连接登录。

在这里插入图片描述

首次连接会提示服务器指纹,选择是或否。“是”将保存指纹,“否”则不保存。保存后登录同一台服务器将不再提示(如果提示,则表示服务器指纹发生了变化,可能是重装系统所致或连接服务器被冒充)。

在这里插入图片描述

之后输入用户名和密码即可登录服务器(输入密码时不会显示输入状态,这是一个安全设计。鼠标右键点击可以粘贴输入)。

在这里插入图片描述

如果需要注销连接会话,使用

exit

命令或

Ctrl+d

快捷键。

PuTTY 修改保存设置

估计不少人遇到过这个问题,不知道怎么保存 PuTTY 设置。正确方法是先选中 SSH 会话,然后点击 Load 加载设置,这时就可以开始修改设置,之后点击保存会话设置。如果需要修改 PuTTY 默认设置,就选中修改 Default Setting 会话。

在这里插入图片描述

PuTTY 会话保持时间

当与服务器长时间没数据传输,PuTTY 会自动断开连接。要避免该问题,可以在 Connection 选项 Seconds between keepalives 里开启会话保持功能(非 0 即开启,建议设置 300,单位秒)。

在这里插入图片描述

PuTTY 复制粘贴文本

在 SSH 会话窗口中不能用

Ctrl+C

这样的快捷键(

Ctrl+C

作用于终止命令执行),复制粘贴需要依赖鼠标。复制操作先用鼠标左键拖拽选中,然后单击选中部分即可复制(如果复制内容太长,可通过鼠标中键分别点一次首尾字符,这样即会快速选中)。粘贴操作则由单击鼠标右键完成。对于一些使用鼠标操作的程序,上面方法可能不适用,例如 Links 命令行浏览器。需要先按住 Shift 键,然后再配合鼠标操作。

PuTTY 窗口内容长度

当打开一个很长内容的文件,或者程序命令不断输出内容,PuTTY 会话窗口只显示最后 2000 行内容。如果需要调整,在 Windows 选项里修改 Lines of scrollback 数值。

在这里插入图片描述

PuTTY 保存登录用户名

如果登录服务器习惯用同一个用户账号,可以设置会话默认登录用户名,免去每次输入麻烦。在 Connection 选项 Date 里设置。

在这里插入图片描述

PuTTY 没有提供保存登录密码的功能,不过仍有方法实现。首先为 putty.exe 创建一个桌面快捷方式,打开快捷方式属性。在快捷方式目标里添加会话参数,格式如下:

D:\putty.exe -load "会话名称" -l "登录用户名" -pw "登录密码"

PuTTY 使用私钥登录

这里只介绍 PuTTY 设置密钥登录方法,依次打开 Connection -> SSH -> Auth 选项,浏览选中私钥文件,保存设置后即可使用密钥方式登录。

在这里插入图片描述

如果登录提示下面错误,是因为 PuTTY 不支持 PEM 格式密钥。需要用 puttygen.exe 程序转换一下。

Unable to use key file "D:\id_rsa" (OpenSSH SSH-2 private key (old PEM format))

运行 puttygen.exe,点击 Load 导入私钥文件(如私钥有设置保护密码,需先输入密码),然后点击 Save private key 另存为 ppk 后缀密钥文件(需要手动输文件后缀名)。

在这里插入图片描述

PuTTY 删除会话配置信息

除了在 PuTTY 选项里删除连接会话外,也可以直接删除软件注册表信息。

WIN+R

快捷键打开运行窗口,输入

regedit

打开注册表编辑器,找到 PuTTY 注册表信息删除。路径如下。

HKEY_CURRENT_USER\Software\SimonTatham\PuTTY 到此,PuTTY 使用方法就介绍到这里了。关于文件传输,建议用支持图形化界面的 SFTP 软件,如 WinSCP、FileZilla 这些,使用体验会好一些。

ssh远程连接远端服务器工具

SSH远程连接工具除SecureCRT和XShell外还有常用的开源Putty。

PuTTY 新手使用教程

作为免费且开源的老牌 SSH 客户端,PuTTY 经常用于 Windows 下连接管理远程服务器。为方便刚接触 VPS 的新手参考使用,本文配合截图介绍 PuTTY 的基础用法及一些设置技巧,希望对大家有所帮助。

PuTTY 下载及相关工具包

SSH 客户端这类涉及服务器登录和通信的软件,建议大家尽量用原版(曾有汉化版被曝存在安全后门),PuTTY 官方下载地址

https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

在下载页提供有集成 PuTTY 及相关工具的完整安装包,也可以视需求单独下载某个程序使用。

在这里插入图片描述

PuTTY 创建 SSH 会话连接

运行 putty.exe,在程序界面内输入服务器 IP 地址和端口(22 是 SSH 默认端口),选中 SSH 连接类型,设置连接会话名称及点击保存,然后点击 Open 按钮开始连接登录。

在这里插入图片描述

首次连接会提示服务器指纹,选择是或否。“是”将保存指纹,“否”则不保存。保存后登录同一台服务器将不再提示(如果提示,则表示服务器指纹发生了变化,可能是重装系统所致或连接服务器被冒充)。

在这里插入图片描述

之后输入用户名和密码即可登录服务器(输入密码时不会显示输入状态,这是一个安全设计。鼠标右键点击可以粘贴输入)。

在这里插入图片描述

如果需要注销连接会话,使用

exit

命令或

Ctrl+d

快捷键。

PuTTY 修改保存设置

估计不少人遇到过这个问题,不知道怎么保存 PuTTY 设置。正确方法是先选中 SSH 会话,然后点击 Load 加载设置,这时就可以开始修改设置,之后点击保存会话设置。如果需要修改 PuTTY 默认设置,就选中修改 Default Setting 会话。

在这里插入图片描述

PuTTY 会话保持时间

当与服务器长时间没数据传输,PuTTY 会自动断开连接。要避免该问题,可以在 Connection 选项 Seconds between keepalives 里开启会话保持功能(非 0 即开启,建议设置 300,单位秒)。

在这里插入图片描述

PuTTY 复制粘贴文本

在 SSH 会话窗口中不能用

Ctrl+C

这样的快捷键(

Ctrl+C

作用于终止命令执行),复制粘贴需要依赖鼠标。复制操作先用鼠标左键拖拽选中,然后单击选中部分即可复制(如果复制内容太长,可通过鼠标中键分别点一次首尾字符,这样即会快速选中)。粘贴操作则由单击鼠标右键完成。对于一些使用鼠标操作的程序,上面方法可能不适用,例如 Links 命令行浏览器。需要先按住 Shift 键,然后再配合鼠标操作。

PuTTY 窗口内容长度

当打开一个很长内容的文件,或者程序命令不断输出内容,PuTTY 会话窗口只显示最后 2000 行内容。如果需要调整,在 Windows 选项里修改 Lines of scrollback 数值。

在这里插入图片描述

PuTTY 保存登录用户名

如果登录服务器习惯用同一个用户账号,可以设置会话默认登录用户名,免去每次输入麻烦。在 Connection 选项 Date 里设置。

在这里插入图片描述

PuTTY 没有提供保存登录密码的功能,不过仍有方法实现。首先为 putty.exe 创建一个桌面快捷方式,打开快捷方式属性。在快捷方式目标里添加会话参数,格式如下:

D:\putty.exe -load "会话名称" -l "登录用户名" -pw "登录密码"

PuTTY 使用私钥登录

这里只介绍 PuTTY 设置密钥登录方法,依次打开 Connection -> SSH -> Auth 选项,浏览选中私钥文件,保存设置后即可使用密钥方式登录。

在这里插入图片描述

如果登录提示下面错误,是因为 PuTTY 不支持 PEM 格式密钥。需要用 puttygen.exe 程序转换一下。

Unable to use key file "D:\id_rsa" (OpenSSH SSH-2 private key (old PEM format))

运行 puttygen.exe,点击 Load 导入私钥文件(如私钥有设置保护密码,需先输入密码),然后点击 Save private key 另存为 ppk 后缀密钥文件(需要手动输文件后缀名)。

在这里插入图片描述

PuTTY 删除会话配置信息

除了在 PuTTY 选项里删除连接会话外,也可以直接删除软件注册表信息。

WIN+R

快捷键打开运行窗口,输入

regedit

打开注册表编辑器,找到 PuTTY 注册表信息删除。路径如下。

HKEY_CURRENT_USER\Software\SimonTatham\PuTTY 到此,PuTTY 使用方法就介绍到这里了。关于文件传输,建议用支持图形化界面的 SFTP 软件,如 WinSCP、FileZilla 这些,使用体验会好一些。

SecureCRT

SecureCRT属于商业软件,请参照相应手册安装配置。

she ssh连接内部服务器的方法

为了节省资源,有些独立的远程主机并没有配置she的标配IDE,这时需要通过配置IDE的workspace、如tools workspace来做ssh客户端工具,

1. 创建tools workspace

在这里插入图片描述

以创建的ubuntu文本模式虚拟机为例,讲解she tools如何连接she内部的主机。

  1. 创建ubuntu主机

在这里插入图片描述

  1. 通过虚拟机管理窗口查看主机是否创建成功以及被分配的ip地址

在这里插入图片描述

注意,必须等待此主机启动完成,可以通过下图中对应主机条码最右侧的 VNC 按钮查看主机的启动过程

在这里插入图片描述

其中,ip地址也可以通过安装在本机的ssh工具连接上she平台的内部主机、运行ifconfig命令获得

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2. ssh连接内部主机

在这里插入图片描述

在这里插入图片描述

通过exit命令退出ubuntu主机的命令行

在这里插入图片描述

Linux常用的三种上传与下载工具

首先,上传和下载的工具我们也称为ftp的客户端工具,ftp其实叫做File Transfer Protocol,文件传输协议,是 TCP/IP 协议组中的协议之一,FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。

1. FileZilla

FileZillaY 官方下载地址

https://filezilla-project.org/index.php

这是一个功能非常强大的,使用非常简单的,可以让我们和本机电脑和我们Linux系统相互进行文件上传和下载的这么一个工具。这个是绿色版的直接双击打开就可以使用了。

在这里插入图片描述

接着输入主机名也就是我们ip地址,在输入用户名和面,以及端口,在点击快速连接,当弹出是否信任,点击是

在这里插入图片描述

那么连接之后,左边的就是本地站点,换句话说就是我们的Windows的平台,右边是远程站点,就是我们连接的站点就是我们的Linux 平台

在这里插入图片描述

我们想要传文件,那么我们只需从左边用鼠标拖到右边就可以了,比如说我现在去F盘把Redis的软件上传过去,然后上边的部分是文件夹,下边部分显示的是文件里的文件

在这里插入图片描述

那么我们要传到哪去呢,将来我们的软件一般都会安装到usr下的local这个目录

在这里插入图片描述

那么现在我们先通过客户端连接工具去看下现在/usr/local现在有些啥,可以发现只有一个文件夹

在这里插入图片描述

那么接着我们把Redis给拖到/usr/local文件夹下,然后会显示列出成功

在这里插入图片描述

那么接着去查看一下,就发现已经传过去了

在这里插入图片描述

SecureCRT/lrzsz工具

在远端主机中安装lrzsz工具,配合SecureCRT连接远端主机,可以通过命令行上传下载

在这里插入图片描述

在这里插入图片描述

可以通过下图找到本地的下载地址位置设置

在这里插入图片描述

注意事项

  1. rz/sz需要一直保持远程连接不断开,这在网络状况较差且文件较大时会出现由于网络断掉而导致上传下载失败。

  2. 不支持超大文件(4G?)。

  3. 需要远程主机安装lrzsz工具,并且使用SecureCRT作为ssh客户端。

She上传下载

上传文件到tools workspace

为了节省资源,有些独立的远程主机并没有配置she的标配IDE,这时需要通过配置IDE的workspace、如tools workspace来做中转,

在这里插入图片描述

上传的文件所在tools主机中的位置

在这里插入图片描述

可以通过scp命令copy到目标主机,其中-r表示copy目录

在这里插入图片描述

下载

从目标主机拷贝文件到tools主机,

在这里插入图片描述

在tools主机的IDE界面下载,

在这里插入图片描述

She使用手册

Devfile和Workspace的概念

随着互联网等新兴科技公司的市值飙升,码农以及关于码农的故事迅速进入大众的视野,相应地,软件开发这个行当也成为我们择业的热门选择之一。在我开始工作的那个时候,我们使用一款叫SourceInsight的软件去编写我们的C语言代码。这款软件体积很小,安装在程序员的本地计算机上,运行流畅,功能强大,

  1. 语法高亮(Syntax Highlighting)

  2. 自动格式化(Automatic Formatting)

  3. 自动补全(Autocomplete)

  4. 跳转到定义(Jump to Definition)

  5. 项目内查找引用(Find References in Project)

  6. 高级文本和符号搜索(Advanced Text and Symbol Search)

等等,这些功能是这款软件的标配。有了这款软件编辑工具,我们就可以开发出大型软件工程,然后将这个工程上传到Linux开发机,写MakeFile去编译生成可执行文件,当然这款软件也支持外部模块,如语法检查(Lint)工具。与此同时,Java语言正如火如荼地攻城掠地,而基于微软的Visual Studio,如C++、.Net等的地盘逐渐被蚕食;印证这种趋势的是,各地Java培训班办的风生水起,成为当时的蓝海。印象最深刻的是,当时我有一做美工的朋友竟然会大几千(那时的几千是值钱的)学习Java,徜徉在SourceInsight之美之中的我还很疑惑这个怎么这么值钱。

与之相对应的是,Eclipse迅速成为软件工程师(那时还没有码农这个词)的标准IDE,特别在做上层应用开发时。我们的Devfile和Workspace概念就是从这条主线发展而来。

但是,当我们的软件系统越来越庞大时,如微服务系统,我们需要安装的工具也越来越多,外部依赖的环境也越来越复杂,单机已经不能开展软件开发调试工作。相应地,环境的一致性也成为码农最头疼的主要问题之一:A开发的代码在B的环境下不能正常工作,尽管A在自己的环境测试没有问题;由于系统的复杂性,需要准备一系列类似于生产的环境用于开发,这又导致软件工程师需要自己搭建一套准生产环境,但是受限于资源,这个准生产环境往往是生产环境的阉割版、而且由于不能在软件工程师本机上完成这个准生产环境的搭建而导致这种用于开发测试的环境也不能人手一份,这又徒增了码农的烦恼。

编程语言在发展,IDE工具也在跟进。

基于协同开发的考虑,网络IDE是一个选择,因此产生了一批批做在线IDE的公司。

编程语言是丰富的,而同一个软件项目也不一定选择一种编程语言、一种框架,这要求软件工程师需要安装多种IDE,如前述的Eclipse、IDEA、PyCharm、JetBrains、Komodo、Sublime、古老的Vim等等,这种放羊式的粗放发展也是软件工程师的噩梦。于是乎,All In One成为救命稻草,在这种背景下,语言模型LSP(非人工智能领域的自然语言中的语言模型)架构了这种全新的IDE,而历史又绕回了微软:开源了其单机版的Visual Code,编程的各种标配功能,如语法检查与补全,成为这款软件的核心功能;LSP模型也让其能够处理各种编程语言的软件项目开发。

正是有了上述的技术铺垫,基于浏览器的IDE应运而生,有了Visual Code的微软很自然地开发出了相应的网络IDE;为适配国内的开发实际,特别是大数据、人工智能的开发实际,我们开发出She软件开发云计算平台。

有了上面的梳理,关于Devfile和Workspace的概念便不难理解了。如果我们要做一个电商系统,我们需要分布式数据库软件、需要各个微服务的子系统、需要一个能够编写调试的IDE、需要一些辅助工具集,那么最好的办法是,我们将这些服务和工具安装在一个个容器上形成一个与生产环境相同拓扑结构的准生产环境;为了支持这个环境的随时一致的搭建,我们将这个环境的拓扑结构画在一张独立于语言的稿纸上,而这个稿纸就被定义为Devfile、独立于语言的实现方式是带格式文本如yaml。

如果说Devfile是草稿,是静态的,那么将这个草稿建设起来的就是Workspace,即Workspace是物理的、而Devfile是逻辑:Workspace包括了物理上运行的各容器或物理机实体、端口、命名等一干看得见摸得着的资源。详细情况请观看视频。

She使用手册

Devfile和Workspace的概念

随着互联网等新兴科技公司的市值飙升,码农以及关于码农的故事迅速进入大众的视野,相应地,软件开发这个行当也成为我们择业的热门选择之一。在我开始工作的那个时候,我们使用一款叫SourceInsight的软件去编写我们的C语言代码。这款软件体积很小,安装在程序员的本地计算机上,运行流畅,功能强大,

  1. 语法高亮(Syntax Highlighting)

  2. 自动格式化(Automatic Formatting)

  3. 自动补全(Autocomplete)

  4. 跳转到定义(Jump to Definition)

  5. 项目内查找引用(Find References in Project)

  6. 高级文本和符号搜索(Advanced Text and Symbol Search)

等等,这些功能是这款软件的标配。有了这款软件编辑工具,我们就可以开发出大型软件工程,然后将这个工程上传到Linux开发机,写MakeFile去编译生成可执行文件,当然这款软件也支持外部模块,如语法检查(Lint)工具。与此同时,Java语言正如火如荼地攻城掠地,而基于微软的Visual Studio,如C++、.Net等的地盘逐渐被蚕食;印证这种趋势的是,各地Java培训班办的风生水起,成为当时的蓝海。印象最深刻的是,当时我有一做美工的朋友竟然会大几千(那时的几千是值钱的)学习Java,徜徉在SourceInsight之美之中的我还很疑惑这个怎么这么值钱。

与之相对应的是,Eclipse迅速成为软件工程师(那时还没有码农这个词)的标准IDE,特别在做上层应用开发时。我们的Devfile和Workspace概念就是从这条主线发展而来。

但是,当我们的软件系统越来越庞大时,如微服务系统,我们需要安装的工具也越来越多,外部依赖的环境也越来越复杂,单机已经不能开展软件开发调试工作。相应地,环境的一致性也成为码农最头疼的主要问题之一:A开发的代码在B的环境下不能正常工作,尽管A在自己的环境测试没有问题;由于系统的复杂性,需要准备一系列类似于生产的环境用于开发,这又导致软件工程师需要自己搭建一套准生产环境,但是受限于资源,这个准生产环境往往是生产环境的阉割版、而且由于不能在软件工程师本机上完成这个准生产环境的搭建而导致这种用于开发测试的环境也不能人手一份,这又徒增了码农的烦恼。

编程语言在发展,IDE工具也在跟进。

基于协同开发的考虑,网络IDE是一个选择,因此产生了一批批做在线IDE的公司。

编程语言是丰富的,而同一个软件项目也不一定选择一种编程语言、一种框架,这要求软件工程师需要安装多种IDE,如前述的Eclipse、IDEA、PyCharm、JetBrains、Komodo、Sublime、古老的Vim等等,这种放羊式的粗放发展也是软件工程师的噩梦。于是乎,All In One成为救命稻草,在这种背景下,语言模型LSP(非人工智能领域的自然语言中的语言模型)架构了这种全新的IDE,而历史又绕回了微软:开源了其单机版的Visual Code,编程的各种标配功能,如语法检查与补全,成为这款软件的核心功能;LSP模型也让其能够处理各种编程语言的软件项目开发。

正是有了上述的技术铺垫,基于浏览器的IDE应运而生,有了Visual Code的微软很自然地开发出了相应的网络IDE;为适配国内的开发实际,特别是大数据、人工智能的开发实际,我们开发出She软件开发云计算平台。

有了上面的梳理,关于Devfile和Workspace的概念便不难理解了。如果我们要做一个电商系统,我们需要分布式数据库软件、需要各个微服务的子系统、需要一个能够编写调试的IDE、需要一些辅助工具集,那么最好的办法是,我们将这些服务和工具安装在一个个容器上形成一个与生产环境相同拓扑结构的准生产环境;为了支持这个环境的随时一致的搭建,我们将这个环境的拓扑结构画在一张独立于语言的稿纸上,而这个稿纸就被定义为Devfile、独立于语言的实现方式是带格式文本如yaml。

如果说Devfile是草稿,是静态的,那么将这个草稿建设起来的就是Workspace,即Workspace是物理的、而Devfile是逻辑:Workspace包括了物理上运行的各容器或物理机实体、端口、命名等一干看得见摸得着的资源。详细情况请观看视频。

She使用手册

She能提供什么?

吃瓜要趁早,割菜要手巧;趁着羊毛尚有余量,赶紧薅 (http://she.kinginsai.com)。

初见She:

从Google、GitHub、Maven等获取技术资源真难,

幸好遇见She

远端浏览器,让你的成长不再有这样的羁绊;

不仅仅满足于HelloWorld入门级的开发,也想搞点大型、复杂、高B格的事情,但苦于自己的计算机还没有升级到银河计算机那个Level,也不可能让计算机悬停在出现Bug的那个状态,况且那个跟随我多年的小P计算机承载着多年资源积累,换掉小P也是件痛苦的决定。那,即便是,我家矿产资源丰富,给银河安排了一个四季恒温的世外桃源,顺便地,再给他配个7x24小时的保姆,但,你知道滴,我并不是一个人在战斗,我的Team呢,他们怎么办呢?于是乎,我们总在争吵,明明在我这里运行的好好的,咋到你这里就这么多问题呢?

幸好遇见She

基于Devfile的、一键式、无差别构建,基于账号的隔离独享环境,基于浏览器的全新开发模式,让你和你的小伙伴的软件工程环境精准的一致,而且能随心所欲的创建一个新的属于你定睛(问题域)的环境,让优雅代替国骂。

听说大数据、人工智能成为这个时代炙手可热的名词,前者迅速落地,或者未来可期,作为追赶时代前沿的进步少年,你也想弄潮一番,但,你们怎么不告诉我呢,搭建一套大数据集群环境、跑个算法已经让我心力憔悴地放弃了,而且,你不知道吗,有谁能随随便便成功呢,爱迪生发明个灯泡还用了7000次试验呢,我需要学这个学到老吗?O, My Gold, 作为老师的你,为什么不早早告诉我呢…

幸好遇见She

全系列、分步骤镜像,让你的大数据能够从任一成功阶段继续,从裸Linux到Zookeeper、Hadoop、Tez、Hive、Spark、Oozie、Hbase,到可期的Kafka、Flink、Ambari,All in One的Jupyter,最新版本的TensorFlow,使用你擅长的任一语言,Python、Java、Scala、R、Julia,开启你的大数据应用开发教学、研究、学习之旅。

还有,我开发了个应用,我的心情你应该能够理解,我也想展现我的最新成果,给我的Boss、给我的老师、给我的小伙伴,配个IP太low了吧,而且那样我还得申请台云主机呢。

幸好遇见She

无需任何配置,只要bind任一端口,你的应用便自动地expose出去,自动配置域名,“天下谁人不识君”。

抱歉,据说,发个版本就杀个程序员祭天,这吓着我了,我只是围观的群众,好像我啥也没薅着。No No,那一个个可爱的前沿技术图标,不正是你出去侃侃而谈的资本吗?那内向的我呢,欣赏这图标表达的美,才是最牛掰的收获…

关于She:

1. She解决的领域痛点

在这里插入图片描述

2. She的解决方案

在这里插入图片描述

3. She大数据解决方案

在这里插入图片描述

She使用手册

大数据集群搭建与调优

大数据教研与开发,集群环境搭建是第一步、也是最困难的一步,其困难程度之高往往导致学习者过早地放弃进入这个技术领域。首先,搭建一个包括3节点虚拟机的最小集群,至少需要12G+内存,这要求个人本地计算机至少安装16G物理内存,这还没有考虑CPU的情况;即便是具备了这个基础条件,大数据的学习过程需要一个不短的周期,而要保持这个集群一直运行也不现实,关闭本地计算机通常会导致集群不能正常地再次启动;有谁能随随便便成功呢,爱迪生发明个灯泡还用了7000次试验呢,学习任何技艺都会出现反复实验,但,从一种配置回退到另一种配置,这也是从业者的噩梦。

She提供全系列、分步骤镜像,让你的大数据能够从任一成功阶段继续,从裸Linux到Zookeeper、Hadoop、Tez、Hive、Spark、Oozie、Hbase,

在这里插入图片描述

到可期的Kafka、Flink、Ambari,All in One的Jupyter,最新版本的TensorFlow,使用你擅长的任一语言,Python、Java、Scala、R、Julia,这都成为你开启大数据应用开发教学、研究、学习之旅的必备利器。

具体地,She提供3个Workspace,并由这3个Workspace组成大数据集群,这三个Workspace分别以hadoopc1、hadoopc2、hadoopc3命名,而不管这3个Workspace镜像所对应的是哪个阶段。举例,我们创建一个HBase阶段的集群,那么这3个Workspace以hadoopc为前缀命名,而其所属的阶段(Stack)则以HBaseC为前缀命名,如下图所示,

在这里插入图片描述

所以一个账号只能搭建一套这样集群。其中hadoopc1包括两个容器,分别为远程浏览器Chrome、节点Node1,而远程浏览器用于访问集群内部资源,因为这些资源并没有映射到外网;hadoopc2包括两个容器,分别为mysql、节点Node2;hadoopc3则只包括一个容器,即节点Node3。

当3个同阶段的Workspace都启动成功后,我们需要两个步骤启动集群:首先切换到root用户下运行initHosts.sh,以实现集群3个节点之间建立相互认证,或者说自动配置好集群的hosts文件,因为集群任一节点的ip是在Workspace被创建时随机分配的;然后切换到hadoop用户执行startAll.sh,以启动集群中安装的组件,这个过程是根据集群的配置文件去启动对应组件,并实现启动顺序管理。

BTW,集群这种hadoop用户和mysqlroot用户的密码均为: Yhf_1018。此外,由于用户间的环境是隔离的,因此用户A并不能访问用户B的容器,所以不需要改这个默认密码。

She使用手册

远端浏览器-浏览器中的浏览器

1、点击右侧endpoints中的chrom-browser。

在这里插入图片描述

2、点击最后一个。

在这里插入图片描述

在这里插入图片描述

3、单击鼠标右键选择chrome。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

更加详细操作步骤,参考以下视频

从Google、GitHub、Maven等获取技术资源真难,She的远端浏览器,让你的成长不再有这样的羁绊;远端资源的端口透传伤透脑经,She的远端浏览器成为终极解决方案。

She使用手册

创建并发布自己的应用-内附本地网络设置方法

我用She开发了个应用,我的心情你应该能够理解,我也想展现我的最新成果,给我的Boss、给我的老师、给我的小伙伴,配个IP太low了吧,而且那样我还得申请台云主机呢?

She-无需任何配置,只要bind任一端口,你的应用便自动地expose出去,自动配置域名,“天下谁人不识君”;更为华丽的是,访问这个被expose出去的应用并不要登录She!

需要补充的是,对应松鼠学苑来说,She是其教研大数据基础设施,是生产环境,但是对于用户来说,She是其开发测试环境。

创建windows和Linux虚拟机

创建Linux虚拟机(命令行模式,xshell/securecrt远程连接)

查看我的所有虚拟机状况

1、进入我的虚拟机查看页面

在这里插入图片描述

2、列出所有虚拟机及其运行状态

在这里插入图片描述

3、通过vnc进入任一虚拟机的桌面

在这里插入图片描述

创建windows虚拟机

1、如果She平台部署的机器没有物理虚拟化(如虚拟机),She平台自动配置成模拟器模式,但这样运行速度相对较慢;由于RDP传输的是视频流,需要较好的网络条件。

2、workspace创建完成后会自动下载连接windows的rdp文件;再次点击已经成功创建的workspace后会再次下载对应rdp文件。

3、workspace创建完成后仍需要等待Windows启动完成。

关于资源与账号之间的关系

可用账号数量不限制

  1. 学生/老师账号可以由管理员账号创建,也可以由用户自己注册获取。

账号与资源的关系

  1. She平台本身对服务器的配置没有特殊要求,8核32G内存2T磁盘就够用了。

需要根据并行上课的学生数、使用的课程来决定需要多大的计算服务器资源(算力)。

比如说加载了大数据的全栈集群的课程实训环境,每个学生至少需要32G内存(此时CPU的要求并不是那么严格、磁盘通常都能满足);做数据库实验、Linux操作系统实验、单节点大数据实验,每个学生只需要4G内存。

所以,我们可以根据学生数 x 32G内存来决定投放多少算力。如果据此计算,学校的算力不够,则可以使用以下解决方案:

1)、学生分组,一个组共用一个账号(这个账号可由老师/管理员预先创建)。

2)、先安装,由少量的学生实训、创新项目使用,等有了新的算力服务器时,只需要将新的算力服务器加入She平台即可、She平台不需要重装且之前运行的workspace也不受影响。

  1. 所以需要服务器资源总量:{并行使用账号数量(学生数量) + 1 } x 32G内存, >=2T磁盘 即可,其中需要服务器资源总量是指所有服务器加起来的总量,She平台对服务器的数量没有要求,一台也可以,但最好是不少于两台、这样可以部署git/文件服务器。

She平台版本

  1. She平台C端版本承担师资技术交流和相关职业类培训业务,例如,高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班,那么这里的高校教师不需要通过微信付费购买的方式使用平台、而是申请免费授权使用。

  2. 对于部署在高校侧的She平台(She平台高校版),后台管理员创建班级、在校学生通过申请免费授权使用的方式使用She平台。

  3. 尽管称呼为不同的版本,但She平台C端和She平台高校版使用的是相同代码和外围组件,只是部署的环境不一样、配置的域名不一样,也有可能因服务器资源不足导致She平台高校版部署的功能和外围组件不如She平台C端那么齐全。

  4. 以上高校教师和在校学生均定义为She平台用户。

在这里插入图片描述

She平台版本

  1. She平台C端版本承担师资技术交流和相关职业类培训业务,例如,高校教师参加松鼠学苑主办的线上或线下大数据与人工智能方向师资技术交流班,那么这里的高校教师不需要通过微信付费购买的方式使用平台、而是申请免费授权使用。

  2. 对于部署在高校侧的She平台(She平台高校版),后台管理员创建班级、在校学生通过申请免费授权使用的方式使用She平台。

  3. 尽管称呼为不同的版本,但She平台C端和She平台高校版使用的是相同代码和外围组件,只是部署的环境不一样、配置的域名不一样,也有可能因服务器资源不足导致She平台高校版部署的功能和外围组件不如She平台C端那么齐全。

  4. 以上高校教师和在校学生均定义为She平台用户。

在这里插入图片描述

She平台分层架构

She平台是构建在docker/k8s之上、用于软件开发调试的松耦合平台、平台本身是架构在大数据集群之上的分布式系统,共包括三层:

(1)、资源管理层:管理服务端的核心资源,共分为三部分:计算资源(CPU、GPU)、内存资源、存储资源;k8s调度资源;周边组件资源。

(2)、She核心调度层:管理并调度用户的课程创建删除操作请求到对应资源承接端,提供统一功能模式的(计算机)语言环境、编辑器、操作端子。

(3)、应用层:本层集合了所有课程环境,以解耦底层功能组件与课程环境:

1、Devfile是开展某层项软件类开发任务所需要环境的定义,那么将这个草稿建设起来的就是Workspace,即Workspace是物理的,而Devfile是逻辑的、是静态的。Workspace包括了物理运行的各容器或物理机实体、端口、命名等一干看得见摸得着的资源,所以Devfile定义了某个实训任务的资源需求情况,如CPU、GPU、Memory、Disk等,而运行中的Workspace则实际占有了这些资源,因此,从这个意义上看,具体的实训任务决定了She平台的硬件配置徐需求。

2、Devfile是She平台的预置环境,即其对应的Workspace中已经安装了一系列版本号确定的工具,这些工具集的选择是根据开发任务的通用需求而定的,是通用的;但可以根据需要卸载、升级、安装相应工具。

3、用户可自定义出新的Devfile。

在这里插入图片描述

She平台组件架构

She平台厘清教研业务逻辑和软件架构之间的内在关联,将学习管理、实验实训、教学课程研发三者通过松耦合的软件架构连接在一起,为学生提供高效学习环境、为教师提供丰富便捷的教学与课程研发工具、为平台研发人员提供清晰易升级维护的软件架构逻辑。

从组件架构视图上分析,She平台通过单点登录管理组件完成用户管理与访问控制、授权相关功能,通过She dashboard组件集成其他关联子系统,

在这里插入图片描述

She平台高校版用户端网络条件

学生通过PC个人电脑的Chrome浏览器登录She平台高校版、具体网址由授课老师发布(但肯定不同于She平台C端版地址:http://she.kinginsai.com)。

She平台高校版通常部署在相应学校的机房环境中,学生PC个人电脑需要同时具备访问外网和访问学校机房环境的网络接入条件。

She平台高校版的课程资源

  1. She平台C端版(http://she.kinginsai.com)的服务端有外网权限,所以松鼠学苑的标准课程均从资源的源端下载、如https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz;但通常She平台高校版的服务端没有外网权限(这个很容测试、如ping www.baidu.com),因此需要通过(http)文件服务器/gitlab服务器下载、或者从学生本地计算机上传的方式解决。

  2. 文件资源放在(http)文件服务器上,可以阅读She平台手册的"She平台课程环境详细操作说明"部分,这样在学生可使用wget命令下载到实训环境中,因为文件服务器和She平台是部署在同一内网中;如果对应高校版本中没有部署(http)文件服务器、或者(http)文件服务器中没有相应资源,可以在学生个人电脑端从互联网下载相应资源到本地,然后上传到实训环境中,具体方法参考She平台手册的"ssh远程连接远端服务器工具"部分。

  3. 配置文件、代码等教学资源放在gitlab服务器上,可以阅读She平台手册的"She平台课程环境详细操作说明"部分,这样在学生可使用git clone命令下载到实训环境中,因为gitlab服务器和She平台是部署在同一内网中;如果对应高校版本中没有部署gitlab服务器、或者gitlab服务器中没有相应资源,可以在学生个人电脑端从松鼠学苑的github仓库(https://github.com/haiye1018/)下载相应资源到本地,压缩后上传到实训环境中,具体方法参考She平台手册的"ssh远程连接远端服务器工具"部分。

详细说明参考《She平台课程环境详细操作说明》。

She使用手册

用户反馈问题与解答

1

Q:在选定一个Devfile后,找不到创建对应Workspace按钮。

A:在页面底部有“CREATE & OPEN”,如下图所示,

我们会更新版本,在私有环境模式下将这个按钮固定在页面上方。

在这里插入图片描述

2

Q:Workspace删不掉。

A:刷新Workspaces页面,然后再刷新一次,如果对应Workspace仍存在,再次删除。

She平台是B/S架构的,会收到网络及负载等情况的影响,信息刷新会有延迟;等待一段时间再刷新即可。

在这里插入图片描述

3

Q:在“My Account”页面怎么出现中英文混编呢?

A:首先我们的系统采用英文界面,是因为涉及到大数据、人工智能、软件开发领域的词语大都来源于欧美以及以英语为官方语言的开源社区,如果我们生硬地将这些业内从业者所熟悉的词汇和表达转换成中文,则一者这种转换很难用较短的词汇表达的那么清晰(因为页面上用词都是短词汇)、二者也无法让我们平台的学员用户快速融入这个软科学领域;其次,有些词汇却是我们所独有的,我们使用中文的表述更能让我们的用户理解其含义。正是基于从用户融入软科学领域的角度出发,我们在少部分页面使用了中英文混编的方式。

4

Q:She的C端版本的计费的依据是按自愿使用情况还是按照时间?

A:我们计费是按照时间计算的,从购买时间开始计费,到购买时长结束。这是因为我们的机制是根据用户去配置我们云服务资源,而且我们的Workspace是以后台服务的形式一直运行,所以我们的云资源是按照最大资源使用量静态配置的,所以She采用按照时间的方式计费。有的用户会觉得,我并不能7x24小时的使用,那么这是否存在资源浪费呢?首先,如果我们购买云服务器,那么云厂商也是按照固定时长计费的,而不会考虑我们是否一直在使用;其次,我们的账号并没有限制多个用户分时使用,在这里需要强调的是分时而不是并行使用,因为一个账号在同一个时刻只能由一个用户使用,我们不确保一个账号同一时刻多用户并行使用的可靠性。

5

Q:每个账号只能创建5个同时运行的Workspace,而且磁盘空间、CPU等也有限制,我既有的资源、如GPU等也无法使用,这会影响我的科研效率。

A:需要强调的是,She有两个大的产品版本:C端版、高校版,其中在互联网上以she.kinginsai.com为地址登入的是She的C端版,这个资源的配额是基本固定的,但是用户可以线下通过客服QQ(418532181)提出自己的私有配置需求、由She平台运维工程师负责配置相应的资源,但是由于这个不是标准的服务,其费用是根据需求而定的。

我们的资源来源于我们合作的云服务厂商,所以如果你有自己的私有资源,通常情况下时集成不到She平台。

一般地,个人开发者不会自建硬件机房去购买GPU阵列,而具备这个条件的通常是高校或企业,那么这类用户可以购买She高校版,以形成私有部署的She,这样资源的限制、或者资源的配置会更灵活,其现有的计算资源也可以很好地集成到She中去。

6

Q:Workspace中安装的软件包能卸载吗。

A:回答这个问题前,我们先再捋一捋Devfile和Workspace的基本概念。

Devfile是开展某项软件类开发任务所需环境的定义,那么将这个草稿建设起来的就是Workspace,即Workspace是物理的、而Devfile是逻辑的、是静态的:Workspace包括了物理上运行的各容器或物理机实体、端口、命名等一干看得见摸得着的资源,所以Devfile定义了某个实训任务的资源需求情况,如CPU、GPU、Memory、Disk等,而运行中的Workspace的则实际占有了这些资源,因此,从这个意义上看,具体的实训任务决定了She平台的硬件配置需求。其中,大数据、人工智能、多节点的物联网(She高校版有这个模块)的硬件需求最高。

而Devfile是She平台的预置环境,即其对应的Workspace中已经安装了一系列版本号确定的工具,这些工具集的选择是根据这项开发任务的通用需求而定的,是通用的;但是我们可以根据需要卸载、升级、安装相应工具,这通常涉及root权限,She是提供受限root权限的,具体的可以咨询客服(QQ: 418532181)。

但是,以上这种方式并不是She推荐做法!She推荐用户自己定制自己的开发环境,然后由She运维工程师将用户自己定制的开发环境固化成独有的Devfile,以满足个性化需求。所以从这个意义上讲,She预置的Devfile是通用开发环境,更多的情况是用户根据自己项目需要定制化开发环境,这也是She在“主环境模式”之外提供“私有环境模式”的原因、也是She高校版本将软件定制纳入必购模块的原因之一,反过来,这也说明She是动态可扩展的、时刻变化的、而不是如Office软件(某个特定版本)那样是静态不变的。

学苑网课中心