1.如何在Mac使用Intellij idea搭建远程Hadoop开发环境
2.sbt执行标准代表什么?
3.SpinalHDL(十一) 最后一英里:企业内网Scala环境搭建(nexus私服)
如何在Mac使用Intellij idea搭建远程Hadoop开发环境
(1)准备工作
1)
安装JDK
6或者JDK
7
2)
安装scala
2..x
(注意版本)
2)下载Intellij
IDEA最新版(本文以IntelliJ
IDEA
Community
Edition
.1.1为例说明,不同版本,界面布局可能不同)
3)将下载的Intellij
IDEA解压后,安装scala插件,流程如下:
依次选择“Configure”–>
“Plugins”–>
“Browse
repositories”,输入scala,交友陪玩源码然后安装即可
(2)搭建Spark源码阅读环境(需要联网)
一种方法是直接依次选择“import
project”–>
选择spark所在目录
–>
“SBT”,之后intellij会自动识别SBT文件,并下载依赖的外部jar包,整个流程用时非常长,取决于机器的网络环境(不建议在windows
下操作,可能遇到各种问题),一般需花费几十分钟到几个小时。注意,下载过程会用到git,因此应该事先安装了git。社区团源码
第二种方法是首先在linux操作系统上生成intellij项目文件,然后在intellij
IDEA中直接通过“Open
Project”打开项目即可。在linux上生成intellij项目文件的方法(需要安装git,不需要安装scala,sbt会自动下载)是:在
spark源代码根目录下,输入sbt/sbt
gen-idea
注:如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij
IDEA中。
(3)搭建Spark开发环境
在intellij
IDEA中创建scala
project,并依次选择“File”–>
“project
structure”
–>
“Libraries”,选择“+”,将spark-hadoop
对应的包导入,比如导入spark-assembly_2.-0.9.0-incubating-hadoop2.2.0.jar(只需导入该jar
包,其他不需要),如果IDE没有识别scala
库,糖果棋牌源码则需要以同样方式将scala库导入。之后开发scala程序即可:
编写完scala程序后,可以直接在intellij中,以local模式运行,方法如下:
点击“Run”–>
“Run
Configurations”,在弹出的框中对应栏中填写“local”,表示将该参数传递给main函数,如下图所示,之后点击“Run”–>
“Run”运行程序即可。
如果想把程序打成jar包,通过命令行的形式运行在spark
集群中,可以按照以下步骤操作:
依次选择“File”–>
“Project
Structure”
–>
“Artifact”,选择“+”–>
“Jar”
–>
“From
Modules
with
dependencies”,选择main函数,并在弹出框中选择输出jar位置,菠菜极速源码并选择“OK”。
最后依次选择“Build”–>
“Build
Artifact”编译生成jar包。
sbt执行标准代表什么?
sbt执行标准代表软件构建工具的标准执行流程。sbt是Scala Build Tool的缩写,是一个为Scala应用程序提供构建、依赖管理和分发功能的工具。其执行标准代表了在使用sbt进行软件开发时,应遵循的一套规范和流程。以下是关于sbt执行标准的
1. sbt的基本功能:sbt作为一个构建工具,它的主要任务是编译源代码、管理项目依赖、处理项目构建的生命周期等。执行标准即是指在使用这些功能时,按照sbt的官方文档和社区最佳实践进行的操作规范。
2. 标准执行流程的itunes 搜索源码重要性:遵循sbt的执行标准可以确保项目构建的一致性和可重复性。这意味着无论开发者在何处、使用何种操作系统,都能确保项目的构建结果是一致的。此外,这也有助于提高开发效率,因为很多常见的构建问题可以通过遵循标准来避免。
3. 具体执行流程的内容:sbt的执行标准包括项目结构的约定、构建文件的编写规范、依赖管理的方式、编译和运行的命令等。例如,项目结构通常遵循一定的目录规范,使得代码组织更加清晰;构建文件使用特定的语法和约定,来描述项目的构建过程;依赖管理则通过特定的命令和配置来完成。
总的来说,sbt执行标准是为了确保在使用sbt进行Scala应用程序开发时,能够高效、一致地构建项目。遵循这些标准可以提高开发效率,减少错误,并促进团队协作。对于使用sbt的开发者来说,了解和遵循这些执行标准是非常重要的。
SpinalHDL(十一) 最后一英里:企业内网Scala环境搭建(nexus私服)
在企业内网环境中搭建Scala环境,尤其是当开发团队面临网络隔离时,如何顺利部署Scala环境成为了一个挑战。本文将介绍在不联网的情况下部署Scala环境的三种方法,并通过实际操作和团队支持,成功在内网完成SpinalHDL的部署。同时,内网部署maven私服还能支持公司内部开发库的发布与使用,为团队提供便捷的内部资源管理。
方法选择:
在部署Scala环境时,有三种主要策略:单跳部署、两跳部署以及内网部署maven私服。单跳部署通过内网设置nexus私服代理连接互联网Maven仓库,优点是操作相对简单,但存在数据风险。两跳部署则在内网设置nexus代理服务器,再通过隔离黄区代理打断内网和外网的直接通路,更符合传统IC公司的信息隔离要求,但复杂度增加。内网部署maven私服为最彻底的方法,支持内部开发库的发布与使用,确保了数据安全。
部署流程:
实现SpinalHDL在内网部署的步骤包括:更新build.sbt添加依赖,使用sbt命令编译缓存jar包到私服,更新Classifiers缓存源码和文档jar包。隔离黄区到内网红区的同步可以通过自动化或手动copy解压完成。为了确保部署顺利,需要根据公司IT团队的指导搭建nexus私服,并配置代理,设置合适的group,以确保缓存信息的可见性与安全性。
内网操作与配置:
部署完成后,需要对内网进行配置,如在~/.sbt/repositories中指向内网私服,并在IDEA中设置正确的依赖和JDK。使用sbt命令运行编译操作,确保环境配置正确。使用IDEA打开工程,安装Scala插件并配置好依赖,通过右上角的sbt栏刷新按钮检查是否成功导入。
普通开发者配置:
普通开发者需要配置~/.sbt/repositories指向内网私服,并在工程的build.sbt中设置正确的依赖。至少在隔离黄区sbt编译时进行缓存下载。
版本发布:
对于内部使用的版本发布,可以采用发布到本地、公共路径或maven私服的方式。本地发布适用于个人使用,公共路径发布则需要修改build.sbt并指定版本号,而maven私服发布则需更新本地maven私服的地址与密钥。
常见问题与解决方案:
在部署过程中,可能出现SSL安全报错、内网source.jar包找不到等问题。解决SSL安全报错需要在配置中允许不安全协议。解决source.jar问题,可以尝试取消下载或通过两台机器对比确定问题所在。使用nexus私服的IP地址和端口号搜索包的存在性,以辅助问题排查。