The Future of Data Management Solutions is Autonomous

技术分享, 新闻

分析市场(Analytics )的数据管理解决方案随着云的地位的巩固而不断发展，Hadoop的使用案例得到澄清，逻辑数据仓库的采用不断扩大，中国供应商(aliyun,腾讯）向国外拓展。在这种动态背景下，本报告将帮助您找到适合您业务的合适供应商。 市场定义/描述 我们将分析数据管理解决方案（DMSA）定义为支持和管理一个或多个文件管理系统（通常是数据库）中的数据的完整软件系统。 DMSA包含特定的优化以支持分析处理。这包括但不限于支持关系模型处理，非关系型处理（如图形处理）以及机器学习和编程语言（如Python和R）。数据不一定存储在关系结构中，并且可以有多个模型使用 - 例如关系，XML，JSON，键值，文本，图形和地理空间。 虽然传统的数据仓库用例仍然是大多数组织的分析计划的基础，但他们也有兴趣管理和处理日益多样化的内部和外部数据格式。因此，完整的DMSA必须能够适应多种数据类型。这些可能包括交互和观测数据 - 例如物联网（IoT）传感器 - 以及非关系数据，如文本，图像，音频和视频数据。 相关角色和技能的广度和范围也在不断扩大，因为组织正在参与新的使用案例，这些案例可以更全面地了解来自越来越多来源的数据。 我们定义了DMSA的四个主要用例，它们反映了数据和用例的多样性（另请参见注释1）： 传统的数据仓库 实时数据仓库 与上下文无关的数据仓库 逻辑数据仓库（LDW） 我们的定义还指出： • DMSA不是特定的类别或类型的技术。 • DMSA可以由许多不同的技术组合而成。但是，任何产品或服务组合的核心都必须能够通过开放式访问工具通过标准API（如开放数据库连接（ODBC），Java数据库连接（JDBC），代表性状态传输（ REST）和对象链接和嵌入数据库（OLEDB）访问。 • DMSA必须为独立的前端应用程序软件提供数据可用性，包括隔离工作负载需求的机制以及在受管数据实例中控制最终用户访问的各种参数。 • DMSA必须对其正在使用的数据进行管理控制。这意味着它必须控制数据如何被持久，访问，管理和保护。 • DMSA有许多不同的交付模式，例如独立DBMS软件，认证配置或参考体系结构，数据库平台即服务（dbPaaS）产品和数据仓库设备。这些是在我们对每个供应商的分析中一起评估的。 魔力象限：  供应商的优势和注意事项  Actian 总部位于美国加利福尼亚州帕洛阿尔托市的Actian为分析工作负载提供Actian Vector分析平台，Actian Vector in Hadoop，Actium X提供用于联合操作和分析处理。 Actian Vector分析平台还可以通过自带许可证模式或通过亚马逊机器映像（AMI）部署在亚马逊网络服务（AWS）和Microsoft Azure上，以实现社区支持的免费版本。 优势 • 对DMSA的再投资：由于战略和路线图的变化，Actian没有出现在魔力象限的2017年版本中。但是，在引入新的领导力后，现在正在重新投资Vector技术以满足分析需求。 • 性能：Actian Vector是一个面向列的内存DBMS，它使用矢量处理来执行查询。参考客户对该技术的性能表示赞赏。 • 物有所值：许多参考客户都称赞Actian的性价比。在我们的参考客户调查中，Actian比其他类别的价值更高。 注意事项 • 云支持：Actian尚未提供强大的云平台即服务（PaaS），即使云正在快速成为标准部署选项。这限制了Actian解决潜在客户群的能力。然而，Actian最近发布的AMI社区版以及计划在2018年为多种云平台上的Vector提供完全托管的企业PaaS选项的计划应该能够满足这种需求。

READ MORE

6月13 早新闻

技术分享

Elastic Stack 6.3 发布 值得注意的几点： X-Pack开源 涉及两种License（apache 2+Elastic lic） 默认发布中打包所有功能 Free功能不会expire 商用功能带一个trial license APM的一些新特性 Elasticsearch特性 支持SQL Rollups Kibana 查询条语法自动提示 Recently Viewed 索引管理UI Logstash Blabla... Beats ... Machine-Learning ML job可以利用Elasticsearch Cross Cluster Search 配置时即可以Validate 输入选项 ... ES-Hadoop • Spark 2.3 support - It’s here starting in 6.3 • Bug Fixes - Fixing things never felt so

READ MORE

VS Code 的一些Keyboard shortcuts

1,775 Comments技术分享

VS Code 的一些Keyboard shortcuts 目前VS Code是我在Mac平台使用的主力文本编辑工具（基本上替代了之前使用的TextWrangle，Textmate)。到目前为止，使用感受完美。 对我来说，完成对一个陌生工程师水平判断的第一个方式就是看他如何使用文本编辑器： 如果是在Unix/Linux环境，他在用什么编辑器？如果是vi，操作是否熟练？ Windows/Mac环境，用的什么编辑器？是否熟悉正则表达式？ 你对着文本编辑器，敲击键盘时的细节，就是你表现出来的工程师气质。直接会影响甲方对你的印象和信心。 Multiple selections（multi-cursor） 传统的文本编辑器里，操作游标只有一个（表示你当前操作文本位置的那个一闪一闪的光标）。VS Code以及很多现代编辑器里，为了实现“同时”编辑多个位置，都支持多游标（multi-cursor）。在VS Code中，你可以通过Alt+Click添加新的游标。每一个游标都可以在其所在的上下文中独立操作。常见的添加新游标的方式还有⌥⌘↓ 或者 ⌥⌘↑，在当前位置下方或者上方添加游标。 ⌘D会选定游标位置处的单词，继续按下⌘D，会选定下一出该单词： 收缩、扩展选择内容 在一些程序文本中，文本内容有其结构，可以使用⌃⇧⌘← 和 ⌃⇧⌘→，来扩展、收缩当前选择的文本——具体解决了什么问题，感受一下就清楚： 列模式（box selection） 鼠标选择同时按下Shift+Alt，可以进行列模式选择。 列模式操作，是以前在Windows平台一直使用UltraEdit的最主要原因。 格式化文本内容 Format Document (⇧⌥F) - 格式化当前文档 Format Selection (⌘K ⌘F) - 格式化选定文本内容. Folding 阅读、编辑程序代码时，如果不支持Fold、Unfold，或者像有些编辑器，只能在Function级别支持Fold，那都是没法用的。 VS Code会智能的在行号和行开头显示Fold图标（只要它判断这里可以进行Fold、Unfold） 相关快捷键： Fold : ⌥⌘[ Unfold: ⌥⌘] 递归的Fold: ⌘K ⌘[ 递归的Unfold: ⌘K ⌘] Fold所有: ⌘K ⌘0 0级别递归 Unfold所有: ⌘K ⌘J 缩进 默认情况下，VS Code使用4个空格替代Tab键。

AngularJS 与jersey进行通讯备忘

2,496 Comments技术分享,

DPA应用使用angular 的$http与Jersey的RESTFul接口进行ajax访问，之前一直比较顺畅，没出过什么问题。近日在**电信的计费库部署时发现，部分功能不能正常使用。检查jersey端输出： Apr 02, 2018 5:37:37 PM org.glassfish.jersey.server.ServerRuntime$Responder writeResponseSEVERE: An I/O error has occurred while writing a response message entity to the container output stream.org.glassfish.jersey.server.internal.process.MappableException: org.apache.catalina.connector.ClientAbortException: java.net.SocketException: Broken pipe (Write failed) at org.glassfish.jersey.server.internal.MappableExceptionWrapperInterceptor.aroundWriteTo(MappableExceptionWrapperInterceptor.java:96 at org.glassfish.jersey.message.internal.WriterInterceptorExecutor.proceed(WriterInterceptorExecutor.java:149 at org.glassfish.jersey.message.internal.MessageBodyFactory.writeTo(MessageBodyFactory.java:1139 at org.glassfish.jersey.server.ServerRuntime$Responder.writeResponse(ServerRuntime.java:574 at org.glassfish.jersey.server.ServerRuntime$Responder.processResponse(ServerRuntime.java:381 at org.glassfish.jersey.server.ServerRuntime$Responder.process(ServerRuntime.java:371 at org.glassfish.jersey.server.ServerRuntime$1.run(ServerRuntime.java:262 at org.glassfish.jersey.internal.Errors$1.call(Errors.java:271 at org.glassfish.jersey.internal.Errors$1.call(Errors.java:267 at org.glassfish.jersey.internal.Errors.process(Errors.java:315 at org.glassfish.jersey.internal.Errors.process(Errors.java:297 at org.glassfish.jersey.internal.Errors.process(Errors.java:267

READ MORE

DPA在电信计费系统故障诊断案例

1,015 Comments技术分享, 新闻,

3月20日中午，电信客户的计费系统故障，所有操作响应缓慢，应用无法正常运行。现场DBA已经迅速将应用连接转移到RAC集群的另一节点，恢复应用服务，我们使用DPA来回看事故现场，此时离故障发生，已经一小时了…… 回溯负载情况，如下图   问题最严重时，实例堵塞了近700个连接操作…针对此时间段，进一步点击、下钻分析当时系统发生了什么 系统先是每分钟4～5次堵塞（像是咳嗽），到了13:40后，就处于长时间“梗”住的状态，对于外部业务来说，数据库实例已不可用了。   利用DPA，继续下钻，查看堵塞原因： 1654#会话导致80个会话被堵塞，这80个会话的等待事件是 sga：allocation forcing component growth，这80个会话中的一些会话又堵塞了一些其他会话，如下图 266号会话堵塞了3个会话，这三个会话的等待事件都是cursor：pin s wait on x，这个等待事件一般都是跟sql parse相关，所以，现场工程师开始查看oracle 自己的ADDM报告，说是解析有问题，建议应用分析解决问题…被误导了   至此，DPA下钻后清晰显示，堵塞的根源是1654号会话，DPA显示是MMAN进程，它堵塞了80个会话，这些会话又堵塞了更多其他会话，是一个3级的堵塞关系，幸好DPA以“树型”显示方式，把这种多层级堵塞关系显示的非常清晰。 结论：Oracle MMAN进程进行过于频繁的SGA内存组件（本例中是share pool）resize操作，导致了问题…   这张图中显示的share pool内部情况，看官能看出异常么？   “划一条线1美元，知道在哪里划线9999美元”。 至此，后续我们如何解决这个问题的就不再讨论了，解决问题从来不是难事，难的是发现问题。 后记： 从DPA的负载雷达上，我们看到在系统出现问题之前的一小段时间内，系统负载不正常的降的很低，其后负载飙升上去…… 那段时间负载异常降低，说明了什么？ 应用程序发生了什么…… 这些从Database Performance Analyzing层面，就无从知晓了。

在MAC平台编译安装遇到的问题

技术分享

在Unix/Linux平台编译源代码安装软件遇到的问题 Changzheng-Hes-MacBook-Pro:rems2-3.4.7-new changzhenghe$ make installCDPATH="${ZSH_VERSION+.}:" && cd . && /bin/sh /Users/changzhenghe/tmp/rems2-3.4.7-new/missing aclocal-1.14 -I m4/Users/changzhenghe/tmp/rems2-3.4.7-new/missing: line 81: aclocal-1.14: command not foundWARNING: 'aclocal-1.14' is missing on your system. You should only need it if you modified 'acinclude.m4' or 'configure.ac' or m4 files included by 'configure.ac'. The 'aclocal' program is part of the GNU Automake package: http://www.gnu.org/software/automake It

READ MORE

使用proguard混淆Java代码

1,269 Commentsjava, 技术分享

对于Java Web项目，使用Netbeans作为IDE环境，想实现自动混淆class文件。因为Web项目，所以一些类是不能混淆的： 1. web.xml中涉及的类名称、package名称2. 返回前端的数据涉及到的类名称、属性名称… proguard的运行方法是执行proguard.sh @<cfg_file.cfg> web项目，一般输入需要混淆的是WEB-INF/classes/下的相关class文件，要把WEB-INF/lib/下的相关jar文件都设置为libraryjars proguard配置文件示例： -injars /Users/xxx/NetBeansProjects/yyy/build/web/WEB-INF/classes-outjars /Users/xxx/neto_classes -dontshrink-dontoptimize -libraryjars /Library/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home/jre/lib/rt.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/asm-all-repackaged-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/cglib-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/cglib-2.2.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-beanutils-1.8.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-codec-1.3.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-collections-3.2.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-digester-2.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-fileupload-1.2.2.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-httpclient-3.0.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-io-2.0.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-lang-2.5.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-logging-1.1.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-logging.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-pool-1.6.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/commons-primitives-1.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/eclipselink.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/ezmorph-1.0.6.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/guava-14.0.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/hk2-api-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/hk2-locator-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/hk2-utils-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/javax.annotation-api-1.2.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/javax.inject-2.2.0-b21.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/javax.servlet-api-3.0.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/javax.ws.rs-api-2.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jaxb-api-2.2.7.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-client.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-common.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-container-servlet-core.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-container-servlet.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-entity-filtering-2.5.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-media-moxy-2.5.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/jersey-server.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/json-lib-2.4-jdk15.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/ojdbc5.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/org-apache-commons-logging.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/org.osgi.core-4.2.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/osgi-resource-locator-1.0.1.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/persistence-api-1.0.jar-libraryjars /Users/changzhenghe/NetBeansProjects/RmsPlus/build/web/WEB-INF/lib/spring-aop-3.2.7.RELEASE.jar-libraryjars

READ MORE