HPC WORLD http://www.lionback.cn High Performance Computing Sun, 22 Aug 2010 14:33:30 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 [SSC]10/08/16-10/08/20工作总结 http://www.lionback.cn/100809-100813-week-report-2.html http://www.lionback.cn/100809-100813-week-report-2.html#comments Sun, 22 Aug 2010 14:31:12 +0000 whchen http://www.lionback.cn/?p=3125

10/08/16：Jyothish Varma论文研究；IBM BlueGene/L系统研究（System Overview）

10/08/17：IBM BlueGene/L系统研究（Node Overview）；结点NSCD服务更改，待验证；Jiannong Cao论文研究

10/08/18：NSCD问题暂时无法解决，导致cr-restart失败；重新选择Lam/MPI+BLCR配置

10/08/19：解决LAM/MPI无法找到BLCR模块问题；解决NSCD问题，cr_checkpoint、cr_restart成功

10/08/20：徐磊交流，GPU了解、规划，学习文档；心跳机制

Related Posts

]]> http://www.lionback.cn/100809-100813-week-report-2.html/feed 0 [SSC]LAM/MPI+BLCR: blcr was not found http://www.lionback.cn/ssc-lammpi-and-blcr-blcr-was-not-found.html http://www.lionback.cn/ssc-lammpi-and-blcr-blcr-was-not-found.html#comments Thu, 19 Aug 2010 06:58:25 +0000 whchen http://www.lionback.cn/?p=3111 昨天在实验结点上安装了BLCR和LAM/MPI，碰到了个很棘手的问题。BLCR和LAM/MPI都安装成功，没有遇到什么问题。运行MPI程序：

mpirun -np 2 -ssi rpi crtcp -ssi cr blcr ./counting

lam-logo-med这里cr接口选择blcr，但是却提示“the “blcr” module requested in the CR kind was not found”这样的错误。就是说-ssi cr后指明的blcr模块找不到。很奇怪，以前从来没有遇到这样的问题。网上搜索一番，居然没有这样的问题。

用laminfo -all查看，ssi cr只有self模块，没有blcr。是了很多次，包括在两台不同Linux版本的虚拟机上，都不行。既然说blcr模块找不到，那就在configure LAM时指定blcr的路径了。

--with-blcr=/usr/local/blcr-0.8.2/

结果试了还是不行，很郁闷。再网上找啊找，终于又看到有人这样写：

--with-cr-blcr=/usr/local/blcr-0.8.2/

……试了下，通过了。很无语。之后测试了下C/R，遇到了和OpenMPI一样的错误，NSCD问题。今天也一并将其解决了。但是在C/R中发现这样一个问题：如果cr_checkpoint –term PID，然后cr_restart重启程序后，再进行cr_checkpoint时，“Checkpoint failed: Device or resource busy.”，有待进一步研究。

Related Posts

]]> http://www.lionback.cn/ssc-lammpi-and-blcr-blcr-was-not-found.html/feed 0 [SSC]System on a Chip(SoC) http://www.lionback.cn/sscsystem-on-a-chipsoc.html http://www.lionback.cn/sscsystem-on-a-chipsoc.html#comments Wed, 18 Aug 2010 11:52:38 +0000 whchen http://www.lionback.cn/?p=2923 soc_chipIBM BlueGene/L的芯片采用了SoC（System on Chip）技术，从而使得它的价格/性能和功耗/性能两方面相比传统计算机结构，都取得了卓越的提升。以下简单介绍下SoC技术。（资料来源：Google，百度）

一般说来，SoC称为系统级芯片，也有称片上系统。它是一种产品，指的是一个有专用目标的集成电路，其中包含完整系统并有嵌入软件的全部内容；同时它又是一种技术，用以实现从确定系统功能开始，到软/硬件划分，并完成设计的整个过程。

从狭义角度讲，它是信息系统核心的芯片集成，是将系统关键部件集成在一块芯片上；从广义角度讲，SoC是一个微小型系统。如果说中央处理器(CPU)是大脑，那么SoC就是包括大脑、心脏、眼睛和手的系统。

国内外学术界一般倾向将SoC定义为将微处理器、模拟IP核、数字IP核和存储器(或片外存储控制接口)集成在单一芯片上，它通常是客户定制的，或是面向特定用途的标准产品。

SoC技术的特点：

  • 半导体工艺技术的系统集成
  • 软件系统和硬件系统的集成


SoC设计技术始于20世纪90年代中期，随着半导体工艺技术的发展，IC设计者能够将愈来愈复杂的功能集成到单硅片上，SoC正是在集成电路(IC)向集成系统(IS)转变的大方向下产生的。所以说，SOC是集成电路发展的必然趋势。

SoC具有以下几方面的优势，因而创造其产品价值与市场需求：

  • 降低耗电量
  • 减少体积
  • 增加系统功能
  • 提高速度
  • 节省成本

当前芯片设计业正面临着一系列的挑战，系统芯片SoC已经成为IC设计业界的焦点，SoC性能越来越强，规模越来越大。SoC芯片的规模一般远大于普通的ASIC，同时由于深亚微米工艺带来的设计困难等，使得SoC设计的复杂度大大提高。

Related Posts

]]> http://www.lionback.cn/sscsystem-on-a-chipsoc.html/feed 0 [SSC]Rmax Rpeak Nhalf http://www.lionback.cn/ssc-rmax-rpeak-nhalf.html http://www.lionback.cn/ssc-rmax-rpeak-nhalf.html#comments Tue, 17 Aug 2010 05:48:14 +0000 whchen http://www.lionback.cn/?p=2914 dawning-nebulae2010年六月，Top500上，深圳国家计算中心的星云超级计算机（Nebulae – Dawning TC3600 Blade, Intel X5650, NVidia Tesla C2050 GPU）排名第二。Linpack测试1.27PFLOPS，是继天河1号我国又一台达到千万亿次处理能力的超级计算机，亚洲第一，世界第二。

Rmax，Rpeak，Nhalf是Linpack基准测试中的几个衡量标志。具体含义如下：

  • Rmax：其是根据HPL基准测试程序，对超级计算机所能达到的最大性能的衡量指标，以GFlop/s为单位。也是Top500衡量计算机最重要最首要的指标。
  • Rpeak：其是超级计算机所能达到的理论峰值。指的是一段时间内（通常为一个机器时钟周期）所能完成的浮点加法和乘法操作。如Intel Itanium 2，1.5GHz，每个时钟周期能完成4个浮点操作，换言之，其理论峰值为1.5*4=6GFlops。
  • Nhalf：该值指的是当超级计算机达到其峰值速度一半时所需要的问题规模，通常可以用来很好的衡量计算机的带宽，通常为Nmax的1/10较好。

Related Posts

]]> http://www.lionback.cn/ssc-rmax-rpeak-nhalf.html/feed 0 [SSC]BlueGene/L System – Node Overview http://www.lionback.cn/ssc-bluegene-l-system-node-overview.html http://www.lionback.cn/ssc-bluegene-l-system-node-overview.html#comments Tue, 17 Aug 2010 02:31:03 +0000 whchen http://www.lionback.cn/?p=2902 一个BG/L结点ASIC，包含两个标准PowerPC 440处理核心，每个处理核心又有一个PowerPC 440 FP2核心（”Double” 64-bit Floating-Point Unit）。440是一个标准的32-bit微处理核心。

bgl-soc-chip

440CPU本身不通过硬件来提供SMP支持，所以两个核不是L1 Cache一致的。用一个LockBox来实现处理器到处理器间的通信一致。每个核拥有一个由Data Pre-fetch Engine控制的2KB大小的L2 Cache，核间通信的快速SRAM阵列，L3 Cache目录，4MB EDRAM构成的L3 Cache，外围DDR内存控制器，千兆以太网适配器，JTAG接口等。两个核间的L2和L3具有一致性。
bgl-double-fpu再讲一下PowerPC 440 FP2。它由两个64-bit浮点单元组成，所以叫做“Double” 64-bit FPU，分为左右主次两个侧边。

  • Two 64 bit floating point units
  • Designed with input from compiler and library developers
  • SIMD instructions over both register files
    • FMA operations over double precision data
    • More general operations available with cross and replicated operands
      • Useful for complex arithmetic, matrix multiply, FFT
  • Parallel (quadword) loads/stores
    • Fastest way to transfer data between processors and memory
    • Data needs to be 16-byte aligned
    • Load/store with swap order available
    • Useful for matrix transpose

Related Posts

]]> http://www.lionback.cn/ssc-bluegene-l-system-node-overview.html/feed 0 [SSC]BlueGene/L System – System Architecture http://www.lionback.cn/ssc-bluegene-l-system-system-architecure.html http://www.lionback.cn/ssc-bluegene-l-system-system-architecure.html#comments Mon, 16 Aug 2010 13:55:06 +0000 whchen http://www.lionback.cn/?p=2869 logo在看Membership Service时，其中也谈到了IBM BlueGene/L。作为曾经Top500第一的超级计算机，我觉得还是挺有必要深入的了解一下。第一部分，介绍一下BlueGene/L（BGL，蓝色基因）的系统架构（System Architecture）。

BlueGene/L超级计算机，作为美国ASCI战略计划的一部分，是IBM与Lawrence Livermore National Laboratory一同开发研制的。拥有2^16=65536个结点的超大规模并行系统，基于一种全新的System-on-a-chip（SoC，片上系统）架构（Soc将之后详细介绍），其峰值处理能力到达360TFLOPS。

具有2^16=65536个计算节点的BlueGene/L系统，通过64*32*32的3D Torus网络结构构成。每个结点由一个ASIC和内存组成，支持达2GB的本地内存，并具有9个256MB内存的SDRAM-DDR内存芯片。用来构成结点的ASIC是完全基于IBM的Soc技术的。每个结点才11.1平方毫米大，具有高密度处理能力。ASIC使用的是700MHZ的IBM PowerPC 400处理器。

其组成可以简单表述如下：

  • Node：2 Processors per Node
  • Compute Card：2 Nodes per Compute Card
  • Node Board：16 Compute Cards per Node Board
  • Midplane：16 Node Boards（512-node）per Midplane
  • Rack：2 Midplanes（1024-node）
  • BlueGene/L：64 Racks（65536-node）

bgl-system-architecure


节点通过5种网络进行互联：

  • 3D Torus: Point-to-Point
  • Global Combining/Broadcast Tree: Global Operations(
  • Global Barrier and Interrupt Network: Low Latency Barriers and Interrupt
  • Gigabit Ethernet：File I/O and Host Interface
  • Control Network: Boot, Monitoring and Diagnostics

详细的结点结构和Torus网络将在后面介绍。

Related Posts

]]> http://www.lionback.cn/ssc-bluegene-l-system-system-architecure.html/feed 0 [SSC]10/08/09-10/08/13工作总结 http://www.lionback.cn/100809-100813-week-report.html http://www.lionback.cn/100809-100813-week-report.html#comments Sun, 15 Aug 2010 12:27:07 +0000 whchen http://www.lionback.cn/?p=2866

10/08/09：配置Xfinity环境，了解项目架构，学习心跳机制。

10/08/10：阅读项目源码，学习Extjs，JS，Ajax。

10/08/11：Xfinity项目相关学习，编写心跳机制模块代码。

10/08/12：实验集群blade01结点BLCR配置成功。

10/08/13：OpenMPI+BLCR测试，checkpoint有效，restart失败，初步定位为NSCD问题，待处理；Xfinity项目例会，汇报工作进展，继续完善心跳机制。

Related Posts

]]> http://www.lionback.cn/100809-100813-week-report.html/feed 0 [SSC]实验集群BLCR安装成功 http://www.lionback.cn/ssc-ex-cluster-blcr-install-seccess.html http://www.lionback.cn/ssc-ex-cluster-blcr-install-seccess.html#comments Thu, 12 Aug 2010 12:14:08 +0000 whchen http://www.lionback.cn/?p=2839 实验集群用的是SLES10，从最初打算在该实验集群上配置BLCR，到今天终于配置成功，可谓一波三折。但是在我自己的单机结点和自己搭建的实验集群上，配置都是很容易和顺利。主要原因是BLCR需要加载内核模块，所以需要编译好的内核源码包和内核头文件。而在SLES10上，并没有完全安装，并且受到一些操作的限制，需要自行下载相应的源码包，进行安装配置。

实验集群环境：

  • OS：SLES 10 SP2，Kernel Version：2.6.16.60-0.21-smp x86_64

配置需求：

  • 系统内核对应内核源码包，root权限

配置过程总结如下：

  1. 配置内核源码rpm包
    1. rpm -ivh kernel-2.6.16.60-0.21.src.rpm
    2. # 由于系统是SMP架构的，需要使用kernel-smp.spec，将其复制到/usr/src/packages/SPEC/下
    3. rpmbuild -bp --target $(uname -r) /usr/src/packages/SPEC/kernel-smp.spec
    4. # 直接使用系统的配置文件，复制到/usr/src/packages/BUILD/下对应的Linux目录下
    5. cp /boot/config-2.6.16.60-0.21.smp.x86_64 .config
    6. # 视情况修改Makefile，这里不需要

  2. 内核编译
    1. make mrproper
    2. make oldconfig
    3. make
    4. make modules
    5. make clean
  3. 安装BLCR
    1. # 一旦内核正确编译后，就能像安装一般软件一样安装BLCR
    2. # 需要注意的几点：
    3. ##  .configure后，可以看到相关的信息，如发现有类似类似内核版本不匹配的警告，需重新编译内核
    4. ##  安装后可用make insmod check用来检测加载模块是否成功。不通过则还是重新编译内核
    5. ##  相关错误可以用dmseg查看详细信息

由于加载内核模块对于内核版本要求很高，所以从内核版本到架构都必须保持完全一致。

在kernel.spec，.config，Makefile等这些文件的选择上，必须保持一致，否则都将导致安装BLCR的错误。可以说，通过这次的成功配置，对加载模块的配置有了全面的了解，期间也遇到了各式各样的问题，终于还是很好的解决了，积累了一定的经验，相信对今后的工作会很有帮助。

Related Posts

]]> http://www.lionback.cn/ssc-ex-cluster-blcr-install-seccess.html/feed 0 [SSC]Xfinity开发环境配置 http://www.lionback.cn/ssc-xfinity-development-environment.html http://www.lionback.cn/ssc-xfinity-development-environment.html#comments Mon, 09 Aug 2010 15:20:34 +0000 whchen http://www.lionback.cn/?p=2835 ExtJS+Eclipse+Tomcat+SVN

  1. Eclipse配置Java环境：jdk1.5（客户端运行applet需jdk1.6）
  2. Eclipse加入SVN插件
  3. 导入工程（New->Other->SVN（Checkout Projects from SVN）->http://192.168.xxxx.xxx/svn/ecp）
  4. 导入commonjar[trunk/scc/commonjar]
  5. 导入scc[trunk/ent-portal/scc]，sccMgmtPortal[trunk/ent-portal/sccMgmtPortal]
  6. Properties->Java Build Path->Edit User Library->Add External Jars->Add Projects，直到所有所需工程和Lib文件添加完毕
  7. scc包
  8. apache-tomcat-5.5.27\bin\catalina.bat：%_EXECJAVA% %JAVA_OPTS% %CATALINA_OPTS% -Dscc.home=X:\my\path\to\scc
  9. cd …\apache-tomcat-5.5\，catalina.bat start
  10. localhost:8080/scc

Related Posts

  • Sorry. No Related Posts Are Available.
]]> http://www.lionback.cn/ssc-xfinity-development-environment.html/feed 0 [SSC]10/08/02-10/08/06工作总结 http://www.lionback.cn/100802-100806-week-report.html http://www.lionback.cn/100802-100806-week-report.html#comments Sun, 08 Aug 2010 14:16:15 +0000 whchen http://www.lionback.cn/?p=2831 10/08/02：为本机结点上配置了容错环境，基于LAM/MPI的局限性，改用了同样对BLCR支持很好的OpenMPI。

10/08/03：实验结点（c7，Fedora）成功配置了容错环境。

10/08/04：在c7结点加入作业管理系统Torque并测试成功。

10/08/05：实验结点（blade）上环境配置调试。

10/08/06：和曙光技术人员关于BLCR及相关问题进行了交流；加入Xfinity开发团队，例会，“心跳机制”任务。

Related Posts

]]> http://www.lionback.cn/100802-100806-week-report.html/feed 0 [SSC]VMWare网络连接方式之研究 http://www.lionback.cn/ssc-vmware-network-mode-study.html http://www.lionback.cn/ssc-vmware-network-mode-study.html#comments Sat, 07 Aug 2010 04:29:50 +0000 whchen http://www.lionback.cn/?p=2824 VMWare提供了三种网络连接模式，它们是Bridged(桥接模式)、NAT(网络地址转换模式)和Host-only(主机模式)。下面对这三种模式做个简单介绍。（资料来源：Google，百度）

  1. NAT(网络地址转换模式)
    • 如果你想利用VMWare安装一个新的虚拟系统，在虚拟系统中不用进行任何手工配置就能直接访问互联网，建议你采用NAT模式。

    2. 使用NAT模式，就是让虚拟系统借助NAT(网络地址转换)功能，通过宿主机器所在的网络来访问公网。也就是说，使用NAT模式可以实现在虚拟系统里访问互联网。NAT模式下的虚拟系统的TCP/IP配置信息是由VMnet8(NAT)虚拟网络的DHCP服务器提供的，无法进行手工修改，因此虚拟系统也就无法和本局域网中的其他真实主机进行通讯。采用NAT模式最大的优势是虚拟系统接入互联网非常简单，你不需要进行任何其他的配置，只需要宿主机器能访问互联网即可。

  2. Bridge(桥接模式)
    • 如果你想利用VMWare在局域网内新建一个虚拟服务器，为局域网用户提供网络服务，就应该选择桥接模式。

    3. 在这种模式下，VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。在桥接模式下，你需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。

    使用桥接模式的虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。想让它们相互通讯，你就需要为虚拟系统配置IP地址和子网掩码，否则就无法通信。

  3. Host-only(主机模式)
    • 如果你想利用VMWare创建一个与网内其他机器相隔离的虚拟系统，进行某些特殊的网络调试工作，可以选择host-only模式。

    4. 在某些特殊的网络调试环境中，要求将真实环境和虚拟环境隔离开，这时你就可采用host-only模式。在host-only模式中，所有的虚拟系统是可以相互通信的，但虚拟系统和真实的网络是被隔离开的。

    当然，在host-only模式下，虚拟系统和宿主机器系统是可以相互通信的，相当于这两台机器通过双绞线互连。

    在host-only模式下，虚拟系统的TCP/IP配置信息(如IP地址、网关地址、DNS服务器等)，都是由VMnet1(host-only)虚拟网络的DHCP服务器来动态分配的。

注意：以上所提到的NAT模式下的VMnet8虚拟网络，host-only模式下的VMnet1虚拟网络，以及bridged模式下的 VMnet0虚拟网络，都是由VMWare虚拟机自动配置而生成的，不需要用户自行设置。VMnet8和VMnet1提供DHCP服务，VMnet0虚拟网络则不提供。

之前有一次在使用过程中，发现宿主机能正常上网，使用NAT的虚拟系统却无法上网，这种情况主要是VMWare的NAT服务没有启动或被手动禁止了。如下图，360说不需要开机启动，但一旦禁用相关服务，便会影响VMWare的网络服务功能。

Related Posts

  • Sorry. No Related Posts Are Available.
]]> http://www.lionback.cn/ssc-vmware-network-mode-study.html/feed 0 [SSC]CPU架构及指令集之研究（下） http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-2.html http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-2.html#comments Fri, 06 Aug 2010 02:32:16 +0000 whchen http://www.lionback.cn/?p=2816 上一篇介绍了x86以及其上的相关指令集，如i38，i586等。也提及了IA-64，x64等，这篇文章主要介绍一下64位CPU的一些相关内容。（资料来源：Google，百度）

第二部分：x86，x86-64，IA-64

x86：从1978年来的8086处理器开始，就已经出现了x86架构CPU，即32位处理器。（详见上篇）

x86-64：又简称为x64，最初开发为1999年AMD，也叫做AMD64或x64，为了扩充IA64。当时的x86-64架构诞生颇有时代意义，处理器的发展遇到了瓶颈，内存寻址空间由于受到32位CPU的限制而只能最大到约4G。于是就有了x86-64。后被Intel所采用。

IA-64：其实IA-64的历史早于x86-64x，最初由Intel和惠普联合推出。由于IA-64不与32位兼容，所以没有受到重视。直到Intel采用了AMD的x86-64架构，才正式的批量生产。而后为了日益扩张的计算需求，Intel重新将IA-64拿出来，发布了安腾系列服务器CPU。

虽然x86-64和IA-64处理器都能够运行64位操作系统和应用程序，但是区别在于：

  • x86-64架构基于x86，是为了让x86架构CPU兼容64位计算而产生的技术。X86-64架构的设计是采用直接简单的方法将目前的x86指令集扩展。这个方法与当初的由16位扩展至32位的情形很相似。优点在于用户可以自行选择x86平台或x64平台，兼容性高。
  • IA-64则是原生的纯64位计算处理器，并且与x86指令不兼容。如果想要执行x86指令需要硬件虚拟化支持，而且效率不高。优点在于 IA-64架构体系将拥有64位内存寻址能力，能够支持更大的内存寻址空间。并且由于架构的改变，性能比起x86-64的64位兼容模式更高更强。

所以，IA-64操作系统也是比较少见的，由于只能在Intel安腾系列处理器及AMD部分服务器处理器运行，所以主流市场并不常见。而且，这些IA-64架构处理器也不能够使用x64操作系统。而x86-64处理器则可以自由选择x86或是x64操作系统。

Related Posts

]]> http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-2.html/feed 0 [SSC]CPU架构及指令集之研究（上） http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-1.html http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-1.html#comments Thu, 05 Aug 2010 14:10:55 +0000 whchen http://www.lionback.cn/?p=2811 这几天一直在搞BLCR，自然对内核接触的也比较多。不仅在OS版本上的不同，如Ubuntu、Fedora、Suse，还有芯片结构，指令集的不同，从AMD到Intel，从32位到64位。这种水平和垂直方向的跨度，也让我有了更全面的认识。研究内核，自然会涉及不同的架构，不同的指令集。通过两篇文章，简单但又综合性的介绍一下相关概念。（资料来源：Google，百度）

第一部分：x86与i386、i486、i586、i686

  1. x86

    2. x86，或80×86是Intel首先开发制造的一种微处理器体系结构的泛称，包括8086、80186、80286、80386以及80486等。 因此其架构被称为“x86”。由于数字并不能作为注册商标，现在Intel把x86-32称为IA-32，即Intel Architecture, 32-bit。

    x86架构于1978年推出的Intel 8086中央处理器中首度出现，它是从Intel 8008处理器中发展而来的，而8008则是发展自Intel 4004的。之后x86便成为了个人计算机的标准平台，成为了历来最成功的CPU架构。Intel以外最成功的制造商为AMD，其Athlon系列处理器的市场仅次于Pentium。

    8086是16位处理器，直到1985年32位的80386的开发，这个架构都维持是16位。接着一系列的处理器表示了32位架构的细微改进，推出了数种的扩充，直到2003年AMD对于这个架构发展了64位的扩充，并命名为AMD64（有时也被称作x86-64，x64或EM64T），推出了 Opteron处理器家族，开创了x86的64位时代。

    值得注意的是Intel早在1990年代就与惠普合作提出了一种用在安腾（Itanium）系列处理器中的独立的64位架构，这种架构被称为IA-64。IA-64是一种崭新的系统，和x86架构完全没有相似性，不应该把它与AMD64或x86-64弄混。关于x86-64，IA-64，AMD64等，将在下一篇文章中介绍。

    x86是一个Intel通用计算机系列的标准编号缩写，也标识一套通用的计算机指令集合，X与处理器没有任何关 系，它是一个对所有*86系统的简单的通配符定义，例如：i386, 586,奔腾(Pentium)。

    由于早期Intel的CPU编号都是用如8086，80286来编号，这整个系列的CPU都是指令兼容的，所以都用x86来标识所使用的指令集合。如今的奔腾、P2、P4、赛扬系列都是支持x86指令系统的，所以都属于x86家族。目前，也并不都是使用x86系列CPU，部分服务器和苹果 (Macintosh)机中还使用美国DIGITAL(数字)公司的Alpha 61164和PowerPC 604e系列CPU。

  2. i386、i586、i686

Intel 80×86简称为ix86，比如i386、i586、i686等等，指的是适用于Intel i386、i586、i686兼容指令集的微处理器。

一般而言，所有x86处理器都能执行386的指令集，80486处理器当然需要486的优化。Pentium就是586，PentiumPro (P6)之后的统称为686，包含了PentiumPro，PentiumⅡ，PentiumⅢ和P4。
换言之，i386适用于intel和AMD所有32位的CPU，以及采用x86架构的32位CPU。i686只是i386的一个子集，支持的CPU从Pentium 2(686)开始，之前的型号不支持。顺便说一下，x86_64适用于Intel的Core 2 Duo, Centrino Core 2 Duo，Xeon，AMD Athlon64/x2，Sempron64/x2,，Duron64等采用x86架构的64位CPU。

一般来说，等级愈高的机器可接受较低等级的rpm文件。可以通过/proc/cpuinfo这个文档查询CPU等级。

x86体系结构虽然指令都一样，但是不同时代的具体实现，在编译优化上还是有自己的特点，而且后一代往往会多出一些指令，所以编译rpm时，可以针对不同的体系结构作不同的编译选项优化。

以上只是对相关概念的简单说明，还有其他更深入的知识，这里就不一一列出。下一篇主要介绍一下64位结构上的x86-64和IA-64。

Related Posts

]]> http://www.lionback.cn/ssc-cpu-architecture-instruction-survey-1.html/feed 0 [SSC]实验结点Torque配置安装 http://www.lionback.cn/ssc-ex-node-torque-conf-install.html http://www.lionback.cn/ssc-ex-node-torque-conf-install.html#comments Wed, 04 Aug 2010 12:38:25 +0000 whchen http://www.lionback.cn/?p=2794

BLCR+OpenMPI能实现并行程序的故障恢复，同时也对作业调度系统有着良好的支持。BLCR官方说明支持LSF、TORQUE等作业调度系统。起先，先使用OpenPBS进行了测试，但是在安装的过程中，发现如下问题：

  1. ./configure过程会报错。原因：不识别64位、Mac OS等系统，实验结点为x86_64。Solution：
  2. make过程报Error 2错误。需下载补丁文件。详细配置安装过程见”Installing PBS on Linux“

简单说一下PBS，主要包括OpenPBS、PBS Pro和TORQUE三个分支：

  • OpenPBS：最早的PBS系统，目前已经没有太多后续开发
  • PBS Pro：PBS的商业版本，功能最为丰富
  • Torque：Clustering公司接过了OpenPBS，并给予后续支持的一个开源版本

测试阶段，使用开源版本Torque。由于实验机群节点尚未配置好，还是使用之前单个结点做测试。由于Torque系统本身需要在多节点（Master结点和Clients结点）上实现，所以，单结点上两者同时实现的意义并不是很大。主要通过安装熟悉一下配置过程。

下载后安装的过程很简单，同一般软件，不冗述。主要工作在安装后Torque环境的构建。简述如下（需使用root用户）：

  1. 安装torque-package-系列包。Master机器上安装server包，节点上安装mom包，需要提交 PBS 任务的机器上安装clients包
    1. make packages
    2. ./torque-package-server-linux-x86_64.sh --install
    3. ./torque-package-clients-linux-x86_64.sh --install
    4. ./torque-package-mom-linux-x86_64.sh --install
  2. 启动后台进程pbs_server、pbs_sched、pbs_mom（bin、sbin目录添加到环境变量）
    1. pbs_server
    2. pbs_sched
    3. pbs_mom
  3. 为普通用户（非root）安装Torque环境
    1. ./torque_setup "username"
  4. 建立（手动）节点信息文件/$PBS_HOME/server_priv/nodes（$PBS_HOME默认为/var/spool/torque）
    1. master np=4
    2. node01 np=4
    3. ……
    4. node09 np=4

  5. 创建队列
    1. qmgr
    2.  create queue students
    3.  set queue students queue_type = Execution
    4.  set queue students Priority = 40
    5.  set queue students resources_max.cput = 96:00:00
    6.  set queue students resources_min.cput = 00:00:01
    7.  set queue students resources_default.cput = 96:00:00
    8.  set queue students enabled = True
    9.  set queue students started = True
  6. 配置一般结点
    1. ./torque-package-clients-linux-x86_64.sh --install
    2. ./torque-package-mom-linux-x86_64.sh --install
    3. pbs_mom
  7. 验证配置
  1. pbsnodes // 结点信息
  2. qmgr -c 'print server' // 队列信息

配置正确后，即可编写作业脚本，进行作业提交、查询、删除等操作。不再详述。

Related Posts

]]> http://www.lionback.cn/ssc-ex-node-torque-conf-install.html/feed 0 [SSC]实验结点OpenMPI+BLCR配置安装 http://www.lionback.cn/ssc-ex-node-openmpi-blcr-conf-install.html http://www.lionback.cn/ssc-ex-node-openmpi-blcr-conf-install.html#comments Tue, 03 Aug 2010 08:47:27 +0000 whchen http://www.lionback.cn/?p=2763 实验结点：

  • OS: Fedora Release 9
  • Kernel Version: 2.6.25-14.fc9.x86_64

LAM/MPI已停止维护，且其对gcc编译器支持不理想，使用更完善的OpenMPI以代之。

  1. 配置，编译安装OpenMPI
    1. tar zxvf openmpi-1.4.2.tar.gz
    2. cd openmpi-1.4.2
    3. ./configure --prefix=/usr/local/openmpi-1.4.2
    4. make
    5. make install
  2. 编译测试用例
    1. cd example/
    2. make
    3. mpirun ./ring

OpenMPI配置过程较简单，同一般软件差不多。

BLCR配置过程问题很多。最主要问题：该版本Linux没有内核源码，和内核源码头文件（同Suse 10遇到的问题）。因为编译BLCR内核模块需要对应相应的内核，头文件等。如果本身有内核文件，则无需下面第一步，直接安装BLCR即可，如之前本地的Ubuntu 9.04即可。

注：以下所有命令均是在root用户下执行，若使用的是普通用户，必要时需切换至root。

  1. 下载、安装内核源码、内核头文件（遇到很多问题，省略1000字，总结如下）
    1.  // 下载对应内核源码和头文件 http://rpm.pbone.net/
    2.  // Search条件： kernel-2.6.25-14.fc9.src，Fedora 9（不考虑架构名，具体编译时由系统确定）
    3.  //             kernel-header-2.6.25-14.fc9.x86_64，Fedora 9
    4. rpm -ivh kernel-header-2.6.25-14.fc9.x86_64.rpm
    5. rpm -ivh kernel-2.6.25-14.fc9.src.rpm
    6.  // 普通用户：安装在/home/username/rpmbuild
    7.  // root用户：安装在/usr/src/redhat
    8. rpmbuild -bp --target $(uname -m) /usr/src/redhat/SPECS/kernel.spec
    9.  // /usr/src/redhat/BUILD/kernel-2.6.25下两个重要目录
    10.  // linux-2.6.25.ARCH：标准内核，含patches和updates（ARCH匹配uname -m）
    11.  // vanilla-2.6.25：标准内核
    12. cd /usr/src/kernel-2.6.25/linux-2.6.25.x86_64
    13. cp configs/kernel-2.6.25-x86_64.config .config
    14.  // 按BLCR官方说明，使用/boot/下的config文件替换即可
    15.  // 这里使用源码目录下对应的config代替
    16. vi Makefile
    17.  // 若不修改Makefile，能编译安装通过，但无法加载内核模块，提示错误"Invalid Module Format"
    18.  // 查看系统日志/var/log/message: blcr_imports: version magic '2.6.25 SMP mod_unload ' should be '2.6.25-14.fc9.x86_64 SMP mod_unload '，即"印戳字符串不匹配"
    19.  // 即修改Makefile中"EXTRAVERSION"字段，添加-14.fc.x86_64，具体的可由dmesg查看
    20. make mrproper
    21. make oldconfig
    22. make
    23. make modules
    24. make clean
    25. cd /usr/src
    26. mkdir kernels
    27. ln -s /usr/src/redhat/BUILD/kernel-2.6.25/linux-2.6.25.x86_64 /usr/src/kernels/2.6.25.x86_64

  2. 配置、编译、安装BLCR
    1. tar zxvf blcr-0.8.2.tar.gz
    2. cd blcr-0.8.2
    3. ./configure --prefix=/usr/local/blcr-0.8.2 --with-system-map=/boot/System.map-2.6.25-14.fc9.x86_64 --with-linux=/usr/src/kernels/2.6.25.x86_64
    4.  // 配置过程会检查内核位置，如出现无法找到内核，重新执行第一步，保证正确
    5.  // 这里指向第一步建立的指向编译的Linux内核的软连接
    6. make
    7. make install
    8. make insmod check
    9.  // 易报错："Invalid module format"，官方FAQ给出了由于"编译器版本不匹配"引发错误的解决方案
    10.  // 第一步中的"印戳字符串不匹配"也会导致该错误，需重新编译内核
    11. ldconfig
    12. /sbin/insmod /usr/local/blcr-0.8.2/lib/blcr/2.6.25-14.fc9.x86_64/blcr_imports.ko
    13. /sbin/insmod /usr/local/blcr-0.8.2/lib/blcr/2.6.25-14.fc9.x86_64/blcr.ko
    14.  // 手动加载内核模块，默认安装完后已自动加载
    15. /sbin/lsmod | grep blcr
    16.  // 查看模块加载是否成功
    17.  // 至此，OpenMPI+BLCR配置完毕

Related Posts

]]> http://www.lionback.cn/ssc-ex-node-openmpi-blcr-conf-install.html/feed 0 [SSC]本地BLCR环境安装配置 http://www.lionback.cn/ssc-local-blcr-conf-install.html http://www.lionback.cn/ssc-local-blcr-conf-install.html#comments Mon, 02 Aug 2010 06:17:25 +0000 whchen http://www.lionback.cn/?p=2753 本机实验环境：同上一篇LAM/MPI环境

  1. 配置，编译，安装BLCR
    1. tar zxvf blcr-0.8.2.tar.gz
    2. cd blcr-0.8.2
    3. ./configure --prefix=/usr/local/blcr
    4. make
    5. sudo make install
  2. 测试构建
    1. make insmod check
  3. 加载模块（两个）
    1. sudo /sbin/insmod /usr/local/blcr/lib/blcr/"uname -r"/blcr_imports.ko
    2. sudo /sbin/insmod /usr/local/blcr/lib/blcr/"uname -r"/blcr.ko

  4. 更新ld.so.cache
    1. sudo ldconfig
  5. 修改环境变量
    1. sudo gedit /home/"your-user-name"/.bashrc
    2.     "export PATH=${PATH}:/usr/local/blcr/bin"
    3.     "export MANPATH=${MANPATH}:/usr/local/blcr/man"
    4.     "export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/blcr/lib"
    5. echo $PATH
    6. echo $MANPATH
    7. echo $LD_LIBRARY_PATH
  6. 验证安装
    1. /sbin/lsmod | grep blcr
    2. cr_checkpoint --help

Related Posts

]]> http://www.lionback.cn/ssc-local-blcr-conf-install.html/feed 0 [SSC]本地LAM/MPI环境安装配置 http://www.lionback.cn/ssc-local-lam-mpi-conf-install.html http://www.lionback.cn/ssc-local-lam-mpi-conf-install.html#comments Mon, 02 Aug 2010 04:56:09 +0000 whchen http://www.lionback.cn/?p=2742 本机实验环境：

  • Ubuntu 9.04（Kernel-Version：2.6.28-19-generic）
  • GCC-Version：gcc-3.4
  • G++-Version：g++-4.1

注意：内核版本建议在2.6.30以下，默认GCC版本gcc-4.3过高，无法编译lam/mpi，这里使用gcc-3.4，同样G++使用g++-4.1

  1. 更改GCC、G++编译器版本
    1. cd /usr/bin
    2. ll | grep gcc
    3. ll | grep g++
    4. sudo apt-get install gcc-3.4
    5. sudo apt-get install g++-4.1
    6. sudo rm gcc
    7. sudo ln -s gcc-3.4 /usr/bin/gcc
    8. sudo rm g++
    9. sudo ln -s g++-4.1 /usr/bin/g++

  2. 配置，编译，安装LAM/MPI（未安装Fortran编译器，加入不编译fc选项）
    1. tar xzvf lam-7.1.4.tar.gz
    2. cd lam-7.1.4
    3. ./configure --prefix=/usr/local/lam-7.1.4 --without-fc
    4. make
    5. sudo make install
  3. 修改环境变量
    1. sudo gedit /home/"your-user-name"/.bashrc
    2.     "export PATH=${PATH}:/usr/local/lam-7.1.4/bin"
    3.     "export MANPATH=${MANPATH}:/usr/local/lam-7.1.4/man"
    4. echo $PATH
    5. echo $MANPATH
  4. 启动LAM/MPI
    1. lamboot
    2. lamnodes

Related Posts

]]> http://www.lionback.cn/ssc-local-lam-mpi-conf-install.html/feed 0 First Batch of Parts for “Tianhe-1” Under Trial Use http://www.lionback.cn/first-batch-of-parts-for-tianhe-1-under-trial-use.html http://www.lionback.cn/first-batch-of-parts-for-tianhe-1-under-trial-use.html#comments Tue, 19 Jan 2010 13:28:51 +0000 whchen http://www.lionback.cn/first-batch-of-parts-for-tianhe-1-under-trial-use.html As http://www.hpcwire.com reported on January 14 2010, it was learned from the National Supercomputing Center in Tianjin January 13 that the adjustment of the first parts to be installed in “Tianhe-1,” China’s first supercomputer which is capable of doing more than a quadrillion calculations per second, has been completed.

This signifies that the supercomputer is qualified to provide service for clients and the first parts to be installed in “Tianhe-1″ have been in trial use among important clients.

The calculation capability of the first “Tianhe-1″ systems that have already reached Tianjin is one-tenth of a fully-installed “Tianhe-1.”

Other parts to be installed “Tianhe-1″ are expected to be transported to the Binhai New Area starting May 2010, and there installation will be completed at the end of 2010. “Tianhe-1″ is capable of more than a quadrillion calculations per second.

Related Posts

]]> http://www.lionback.cn/first-batch-of-parts-for-tianhe-1-under-trial-use.html/feed 5 Fixstars Releases Beta of ‘FOXC’ OpenCL Compiler for x86 http://www.lionback.cn/fixstars-releases-beta-of-foxc-opencl-compiler-for-x86.html http://www.lionback.cn/fixstars-releases-beta-of-foxc-opencl-compiler-for-x86.html#comments Thu, 14 Jan 2010 03:57:22 +0000 whchen http://www.lionback.cn/fixstars-releases-beta-of-foxc-opencl-compiler-for-x86.html block_chart As http://www.hpcwire.com reported on December 16 2009, Fixstars Corporation announced the release of the beta version of its OpenCL Compiler "FOXC" for the x86 architecture starting today. This will allow software developers to take full advantage of multicore x86 CPUs to develop OpenCL-based softwares. The "FOXC" Beta version can be downloaded for free from its Web site.

OpenCL is a parallel computing framework for programming multicore systems, such as multicore CPUs, GPUs, Cell/B.E., DSPs. The framework, which is a product of joint effort by the world’s leading semiconductor makers and hardware vendor, is attracting attention as an efficient and highly portable open technology for software development.

"FOXC" is a source-to-source compiler that takes OpenCL code as the input source. The output source file is a readable C code optimized to take advantage of the hardware architecture, which may be further hand-tuned. The FOXC Beta version being released today generates executable code for x86 multicore CPUs, including optimizations using SSE instructions and multithreading.

Related Posts

]]> http://www.lionback.cn/fixstars-releases-beta-of-foxc-opencl-compiler-for-x86.html/feed 1 Google To End Censorship In China http://www.lionback.cn/google-to-end-censorship-in-china.html http://www.lionback.cn/google-to-end-censorship-in-china.html#comments Thu, 14 Jan 2010 02:29:22 +0000 whchen http://www.lionback.cn/google-to-end-censorship-in-china.html

"We recognize that this may well mean having to shut down Google.cn and potentially our offices in China."

  — David Drummond, Google chief legal officer

"While removing search results is inconsistent with Google’s mission, providing no information… is more inconsistent with our mission."

  — Google statement

071212-google-chinaThere’s no doubt that this is another tragedy after the Baidu’s being attacked. The Google staff in China even felt that they were abandoned.

Google, the world’s leading search engine, has thrown down the gauntlet to China by saying it is no longer willing to censor search results on its Chinese service.

The internet giant said the decision followed a cyber attack it believes was aimed at gathering information on Chinese human rights activists.

The move follows a clampdown on the internet in China over the last year, which has seen sites and social networking services hosted overseas blocked – including Twitter, Facebook and YouTube – and the closure of many sites at home. Chinese authorities ­criticised Google for supplying "vulgar" content in results.

Google acknowledged that the decision "may well mean" the closure of Google.cn and its offices in China.

Related Posts

  • Sorry. No Related Posts Are Available.
]]> http://www.lionback.cn/google-to-end-censorship-in-china.html/feed 1