北京太速科技的个人空间 https://www.eechina.com/space-uid-114143.html [收藏] [复制] [分享] [RSS]

博客

什么叫大数据,与云计算有何关系?

已有 3513 次阅读2016-8-31 17:28 |个人分类:板卡| FMC接口, XC7VX690T, 大数据, 云计算, 海量数据

什么叫大数据,与云计算有何关系?

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点:Volume、Velocity、Variety、Veracity。大的数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

 

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是Openstack了;

大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

 

 

VC709E 增强版 基于FMC接口的Xilinx Vertex-7 FPGA V7 XC7VX690T PCIeX8 接口卡

 

一、板卡概述 
      本板卡基于Xilinx公司的FPGA XC7VX690T-FFG1761 芯片,支持PCIeX8、64bit DDR3容量2GByte,HPC的FMC连接器,板卡支持各种接口输入,软件支持windows。 

二、功能和技术指标: 
    1、标准PCI-E接口,支持PCI-E 8x,支持PCI-E 3.0。
    2、标准FMC-HPC接口,VADJ电平为1.8V。
    3、前面板引出1路SFP+光模块,最高设计速度10Gbps。
    4、板卡后面引出2路SFP+光模块,最高设计速度10Gbps。
    5、标准JTAG接口。
    6、支持两组64bit,2GB的DDR3。
    7、主频1GHz,支持1.2GHz
    8、持BPI模式快速加载。
    9、有器件支持商业级,工业级。 
三、接口测试软件: 
    1、 DDR3 IP测试,PCIe IP测试;
    2、万兆光纤网络开发
    3、 FMC上接高速ADC,DAC子卡,并可提供演示程序。 
四、基于Virtex7的 PCI-E 3.0 万兆以太网产品 IP开发 
    本板卡 基于Virtex7 XC7V690T-FFG1761,设计的PCIe 底板,板卡特点如下:
    1、标准PCI-E接口,支持PCI-E 8x,支持PCI-E 3.0。
    2、标准FMC-HPC接口,VADJ电平为1.8V。
    3、前面板引出1路SFP+光模块,最高设计速度10Gbps。 
    4、板卡后面引出2路SFP+光模块,最高设计速度10Gbps。
    5、支持两组64bit,2GB的DDR3。
    6、标准JTAG接口。
    7、支持BPI模式快速加载。 
基于赛灵思的V7 的FPGA开发的PCIe DMA IP

 

  1. 支持8.0Gbps(Gen3)at x8,x4,x2和x1的硬核,包括Kintex-Ultrascale和Virtex-7 GTH类型的FPGA
  2. 支持5.0Gbps(Gen2)at x8,x4,x2和x1的硬核,包括Kintex-Ultrascale,Virtex-7 GTH,Virtex-7 GTX,Kintex-7 GTX和Zynq-7045类型的FPGA
  3. 支持5.0Gbps(Gen2)at x4,x2和x1的硬核,包括Artix-7和Zynq-7030类型的FPGA
  4. 兼容PCIE3.0协议;最大有效载荷256 Byte;支持MSI和INT消息

AXI接口:

  1. 可以通过AXI4-Lite Slave接口来进行桥配置
  2. 可以通过AXI4-Lite Master接口来进行外部寄存器配置
  3. 最多支持4个AXI4 Master接口
  4. 最多支持4个AXI4 Slave接口
  5. 最多支持4个AXI4 Stream input 和Stream output接口
  6. AXI4 Master,Slave和Stream 接口支持64bit,128bit和256bit的数据
  7. AXI4 Master和Slave接口可配置成AXI3接口

配置:

  1. 通过PCIE和(或)AXI4-Lite Slave接口可操作桥配置空间
  2. 具有4KBytes的桥内部寄存器
  3. 具有4KBytes的PCIe配置空间
  4. 8KBytes用户定义的外部寄存器空间

DMA引擎:

  1. 支持最多8个完全独立的DMA引擎
  2. 支持最多4GBytes或无限长的传输长度
  3. 支持最多16个outstanding读请求和写请求
  4. 支持Completion重排序
  5. 可重配置源和目的,能在PCIe接口,AXI4 Master接口和Stream input和output接口之间进行转变
  6. 灵活的Scatter-Gather DMA模式,包括每个描述符可动态DMA控制
  7. 可选的DMA状态报告给描述符,方便软件管理设计
  8. 提供离散DMA功能、直接DMA功能和DMA通道管理

赛灵思V7 系列的FPGA开发的TCPIP 的IP core
  特点:
    1.支持多种的10G MAC
    2.每个tcp硬核堆栈支持8个逻辑接口。每个接口可以有唯一的IP,物理地址,VLAN ID,网关,子网掩码。
    3.支持9K字节超长包
    4.支持VLANs
    5.内嵌ARP
    6.用XGMII高速接口连接10G PMA-PCS PHY
    7.一个工作在156.25MHz的64bit的axi4—stream接口让用户调试使用
    8.可通过一个32bit的axi4-Lite从机协议去配置ip核 
    9.用户接口为工作在156.25MHz的128bit的axi4-stream 
    10.多达128个并发客户机或服务器的TCP会话模式。每个会话都可以连接到任何逻辑接口 
    11.为每个会话打开特定的流控功能 
    12.用户可配置的TCP选项:MSS,时间戳, VLAN PCP , VLAN DEI 
    13.如果数据包的长度大于从用户应用程序接口远程配置(MSS)中的值则负载自动分割。 
    14.可配置TCP重操作记忆:宽度、深度、内部或外部

      本设计方案 支持硬件板卡销售、IP销售 两种模式。也可以委托设计成品。 另外IP除了支持Virtex7系列,也可以支持更高等级芯片的开发 如Ultrascale系列。

五 应用领域
      软件无线电处理平台
    图形图像硬件加速器
      Net FPGA

北京太速科技有限公司
在线客服:QQ:448468544 
公司网站:www.orihard.com
联系电话:15084122580

欢迎关注微信公众号 啊智能时代


路过

鸡蛋

鲜花

握手

雷人

评论 (0 个评论)

facelist

您需要登录后才可以评论 登录 | 立即注册

关于我们  -  服务条款  -  使用指南  -  站点地图  -  友情链接  -  联系我们
电子工程网 © 版权所有   京ICP备16069177号 | 京公网安备11010502021702
返回顶部