HPC WORLD
High Performance Computing
|
Loading Digu...
|
[SSC]VMWare网络连接方式之研究
Aug 7th
VMWare提供了三种网络连接模式，它们是Bridged(桥接模式)、NAT(网络地址转换模式)和Host-only(主机模式)。下面对这三种模式做个简单介绍。（资料来源：Google，百度）
- NAT(网络地址转换模式)
- 如果你想利用VMWare安装一个新的虚拟系统，在虚拟系统中不用进行任何手工配置就能直接访问互联网，建议你采用NAT模式。
使用NAT模式，就是让虚拟系统借助NAT(网络地址转换)功能，通过宿主机器所在的网络来访问公网。也就是说，使用NAT模式可以实现在虚拟系统里访问互联网。NAT模式下的虚拟系统的TCP/IP配置信息是由VMnet8(NAT)虚拟网络的DHCP服务器提供的，无法进行手工修改，因此虚拟系统也就无法和本局域网中的其他真实主机进行通讯。采用NAT模式最大的优势是虚拟系统接入互联网非常简单，你不需要进行任何其他的配置，只需要宿主机器能访问互联网即可。
More >
[SSC]CPU架构及指令集之研究（下）
Aug 6th
上一篇介绍了x86以及其上的相关指令集，如i38，i586等。也提及了IA-64，x64等，这篇文章主要介绍一下64位CPU的一些相关内容。（资料来源：Google，百度）
第二部分：x86，x86-64，IA-64
x86：从1978年来的8086处理器开始，就已经出现了x86架构CPU，即32位处理器。（详见上篇）
x86-64：又简称为x64，最初开发为1999年AMD，也叫做AMD64或x64，为了扩充IA64。当时的x86-64架构诞生颇有时代意义，处理器的发展遇到了瓶颈，内存寻址空间由于受到32位CPU的限制而只能最大到约4G。于是就有了x86-64。后被Intel所采用。
IA-64：其实IA-64的历史早于x86-64x，最初由Intel和惠普联合推出。由于IA-64不与32位兼容，所以没有受到重视。直到Intel采用了AMD的x86-64架构，才正式的批量生产。而后为了日益扩张的计算需求，Intel重新将IA-64拿出来，发布了安腾系列服务器CPU。
虽然x86-64和IA-64处理器都能够运行64位操作系统和应用程序，但是区别在于：
- x86-64架构基于x86，是为了让x86架构CPU兼容64位计算而产生的技术。X86-64架构的设计是采用直接简单的方法将目前的x86指令集扩展。这个方法与当初的由16位扩展至32位的情形很相似。优点在于用户可以自行选择x86平台或x64平台，兼容性高。
- IA-64则是原生的纯64位计算处理器，并且与x86指令不兼容。如果想要执行x86指令需要硬件虚拟化支持，而且效率不高。优点在于 IA-64架构体系将拥有64位内存寻址能力，能够支持更大的内存寻址空间。并且由于架构的改变，性能比起x86-64的64位兼容模式更高更强。
所以，IA-64操作系统也是比较少见的，由于只能在Intel安腾系列处理器及AMD部分服务器处理器运行，所以主流市场并不常见。而且，这些IA-64架构处理器也不能够使用x64操作系统。而x86-64处理器则可以自由选择x86或是x64操作系统。
[SSC]CPU架构及指令集之研究（上）
Aug 5th
这几天一直在搞BLCR，自然对内核接触的也比较多。不仅在OS版本上的不同，如Ubuntu、Fedora、Suse，还有芯片结构，指令集的不同，从AMD到Intel，从32位到64位。这种水平和垂直方向的跨度，也让我有了更全面的认识。研究内核，自然会涉及不同的架构，不同的指令集。通过两篇文章，简单但又综合性的介绍一下相关概念。（资料来源：Google，百度）
第一部分：x86与i386、i486、i586、i686
- x86
x86，或80×86是Intel首先开发制造的一种微处理器体系结构的泛称，包括8086、80186、80286、80386以及80486等。 因此其架构被称为“x86”。由于数字并不能作为注册商标，现在Intel把x86-32称为IA-32，即Intel Architecture, 32-bit。
x86架构于1978年推出的Intel 8086中央处理器中首度出现，它是从Intel 8008处理器中发展而来的，而8008则是发展自Intel 4004的。之后x86便成为了个人计算机的标准平台，成为了历来最成功的CPU架构。Intel以外最成功的制造商为AMD，其Athlon系列处理器的市场仅次于Pentium。
8086是16位处理器，直到1985年32位的80386的开发，这个架构都维持是16位。接着一系列的处理器表示了32位架构的细微改进，推出了数种的扩充，直到2003年AMD对于这个架构发展了64位的扩充，并命名为AMD64（有时也被称作x86-64，x64或EM64T），推出了 Opteron处理器家族，开创了x86的64位时代。
值得注意的是Intel早在1990年代就与惠普合作提出了一种用在安腾（Itanium）系列处理器中的独立的64位架构，这种架构被称为IA-64。IA-64是一种崭新的系统，和x86架构完全没有相似性，不应该把它与AMD64或x86-64弄混。关于x86-64，IA-64，AMD64等，将在下一篇文章中介绍。
x86是一个Intel通用计算机系列的标准编号缩写，也标识一套通用的计算机指令集合，X与处理器没有任何关 系，它是一个对所有*86系统的简单的通配符定义，例如：i386, 586,奔腾(Pentium)。
由于早期Intel的CPU编号都是用如8086，80286来编号，这整个系列的CPU都是指令兼容的，所以都用x86来标识所使用的指令集合。如今的奔腾、P2、P4、赛扬系列都是支持x86指令系统的，所以都属于x86家族。目前，也并不都是使用x86系列CPU，部分服务器和苹果 (Macintosh)机中还使用美国DIGITAL(数字)公司的Alpha 61164和PowerPC 604e系列CPU。
More >
[SSC]实验结点Torque配置安装
Aug 4th
BLCR+OpenMPI能实现并行程序的故障恢复，同时也对作业调度系统有着良好的支持。BLCR官方说明支持LSF、TORQUE等作业调度系统。起先，先使用OpenPBS进行了测试，但是在安装的过程中，发现如下问题：
- ./configure过程会报错。原因：不识别64位、Mac OS等系统，实验结点为x86_64。Solution：
- 修改config.guess文件，详见”OpenPBS config.guess File (Force Mod) For An AMD64 (IA64) Installation“
- 直接下载替换文件config.guess，详见”Open PBS Patch for Linux IA64“
- make过程报Error 2错误。需下载补丁文件。详细配置安装过程见”Installing PBS on Linux“
简单说一下PBS，主要包括OpenPBS、PBS Pro和TORQUE三个分支：
- OpenPBS：最早的PBS系统，目前已经没有太多后续开发
- PBS Pro：PBS的商业版本，功能最为丰富
- Torque：Clustering公司接过了OpenPBS，并给予后续支持的一个开源版本
测试阶段，使用开源版本Torque。由于实验机群节点尚未配置好，还是使用之前单个结点做测试。由于Torque系统本身需要在多节点（Master结点和Clients结点）上实现，所以，单结点上两者同时实现的意义并不是很大。主要通过安装熟悉一下配置过程。
下载后安装的过程很简单，同一般软件，不冗述。主要工作在安装后Torque环境的构建。简述如下（需使用root用户）：
- 安装torque-package-系列包。Master机器上安装server包，节点上安装mom包，需要提交 PBS 任务的机器上安装clients包
- make packages
- ./torque-package-server-linux-x86_64.sh --install
- ./torque-package-clients-linux-x86_64.sh --install
- ./torque-package-mom-linux-x86_64.sh --install
- 启动后台进程pbs_server、pbs_sched、pbs_mom（bin、sbin目录添加到环境变量）
- pbs_server
- pbs_sched
- pbs_mom
- 为普通用户（非root）安装Torque环境
- ./torque_setup "username"
- 建立（手动）节点信息文件/$PBS_HOME/server_priv/nodes（$PBS_HOME默认为/var/spool/torque）
- master np=4
- node01 np=4
- ……
- node09 np=4
[SSC]实验结点OpenMPI+BLCR配置安装
Aug 3rd
实验结点：
- OS: Fedora Release 9
- Kernel Version: 2.6.25-14.fc9.x86_64
LAM/MPI已停止维护，且其对gcc编译器支持不理想，使用更完善的OpenMPI以代之。
- 配置，编译安装OpenMPI
- tar zxvf openmpi-1.4.2.tar.gz
- cd openmpi-1.4.2
- ./configure --prefix=/usr/local/openmpi-1.4.2
- make
- make install
- 编译测试用例
- cd example/
- make
- mpirun ./ring
OpenMPI配置过程较简单，同一般软件差不多。
BLCR配置过程问题很多。最主要问题：该版本Linux没有内核源码，和内核源码头文件（同Suse 10遇到的问题）。因为编译BLCR内核模块需要对应相应的内核，头文件等。如果本身有内核文件，则无需下面第一步，直接安装BLCR即可，如之前本地的Ubuntu 9.04即可。
注：以下所有命令均是在root用户下执行，若使用的是普通用户，必要时需切换至root。
- 下载、安装内核源码、内核头文件（遇到很多问题，省略1000字，总结如下）
- // 下载对应内核源码和头文件 http://rpm.pbone.net/
- // Search条件： kernel-2.6.25-14.fc9.src，Fedora 9（不考虑架构名，具体编译时由系统确定）
- // kernel-header-2.6.25-14.fc9.x86_64，Fedora 9
- rpm -ivh kernel-header-2.6.25-14.fc9.x86_64.rpm
- rpm -ivh kernel-2.6.25-14.fc9.src.rpm
- // 普通用户：安装在/home/username/rpmbuild
- // root用户：安装在/usr/src/redhat
- rpmbuild -bp --target $(uname -m) /usr/src/redhat/SPECS/kernel.spec
- // /usr/src/redhat/BUILD/kernel-2.6.25下两个重要目录
- // linux-2.6.25.ARCH：标准内核，含patches和updates（ARCH匹配uname -m）
- // vanilla-2.6.25：标准内核
- cd /usr/src/kernel-2.6.25/linux-2.6.25.x86_64
- cp configs/kernel-2.6.25-x86_64.config .config
- // 按BLCR官方说明，使用/boot/下的config文件替换即可
- // 这里使用源码目录下对应的config代替
- vi Makefile
- // 若不修改Makefile，能编译安装通过，但无法加载内核模块，提示错误"Invalid Module Format"
- // 查看系统日志/var/log/message: blcr_imports: version magic '2.6.25 SMP mod_unload ' should be '2.6.25-14.fc9.x86_64 SMP mod_unload '，即"印戳字符串不匹配"
- // 即修改Makefile中"EXTRAVERSION"字段，添加-14.fc.x86_64，具体的可由dmesg查看
- make mrproper
- make oldconfig
- make
- make modules
- make clean
- cd /usr/src
- mkdir kernels
- ln -s /usr/src/redhat/BUILD/kernel-2.6.25/linux-2.6.25.x86_64 /usr/src/kernels/2.6.25.x86_64
Recent Comments