PostgreSQL 的多版本并发控制(MVCC:Multi-version Concurrency Control)

从用户使用角度来看,PostgreSQL的事务并发特性,应具备如下性质:      每一个事务在开始时,记录(snapshot)当时数据库的Version,事务一旦开始运行后,其他事务做了什么操作应该不影响本事务; 读永不堵塞写,写永不堵塞读——这句话老是在Oracle的文档中看到; 写操作与写操作之间,只有当修改了相同数据行时,才会出现互相堵塞——行级锁。 下面举一个最典型的并行Update相同数据行的例子: Transaction A 执行操作: UPDATE foo SET x = x+1 WHERE rowed = 42 在Transaction A提交或回滚之前,Transaction B执行操作: UPDATE foo SET x = x+1 WHERE rowed = 42 很显然: B需要等待A提交或者回滚 如果A回滚事务,那么B继续执行,x的值也毫无争议 但是如果A事务提交,那B事务会发生什么? x的值仍然使用原来的值,会出现update语句执行两次,但是x的值只增加了1,这显然不是我们预期的结果     但是如果B事务使用A事务提交后的x的新值,那么B事务就使用了其开始之后才提交的数据。这和Transaction Isolation原则冲突…… 回答上面的问题,我们来了解PostgreSQL的transaction isolation level实现: PostgreSQL提供两种isolation level(这和Oracle一致):   Read committed level: 针对前述问题,B事务将使用A事务提交后的新数据(A事务提交后的数据行,必须仍然满足B事务的where条件限制)   Serializable level:

AngularJS and scope.$apply

JavaScrip世界中(clien端t)这几个知名的所谓MVC框架,对照他们的tutorial,做个练习,都挺简单有趣,可一旦真实的应用这些框架去实际实现一些场景,立刻就发现没那么简单了。 AngularJS也一样,只要我们编写一些“非尝试”性质的代码,就无法避免使用到$scope.$apply()方法。表面看来,这只是一个让我们的页面上有数据绑定属性的空间得到更新,但是为什么有这个方法存在、我们何时需要这个方法,这是个问题,先看AngularJS的文档,我没有搞得很清楚,看了http://jimhoskins.com/2012/12/17/angularjs-and-apply.html 这篇文档后,我才真正的搞明白怎么回事(当然,搞明白后,再去看AngularJS文档,发现文档其实也说了…… 只是不那么利于理解)。 想知道何时(when)用到$apply, 最好的途径就是先搞清楚我们为什么(why)要用到$apply。 JavaScript is Turn Based 我们书写的JavaScript代码,不是作为一个整体,一下子就运行完成的,JavaScript代码是安顺序(turn)运行。每一个顺序中运行的代码是不可中断,当一个代码片段正在属于自己的顺序(turn)中运行时,我们的浏览器中将不会有任何变化,其他的JavaScript代码段没有机会运行,浏览器中的界面也完全冻结。这也正是为什么效率低下的JavaScript代码会“冰冻”整个web page。 正因为此,当我们执行的任务预期会消耗很多时间才能执行完——如Ajax请求,等待click事件,timeout延时调用,我们都会设置一个回调(callback)函数,然后立即结束当前的turn。稍后,当Ajax请求完成,click事件被探测到,timeout延时时间到,一个新的JavaScript turn会被创建,我们之前设置的回调函数在其中运行。 让我们来看一个例子,一个js文件,内容如下: var button = document.getElementById('clickMe'); function buttonClicked() { alert('the button was clicked'); } button.addEventListener('click', buttonClicked); function timerComplete() { alert('timer complete'); } setTimeout(timerComplete, 2000); 当这个js文件被装载,会被分配一个turn,获取一个button,添加 click 事件监听,设置一个延时器。然后,这个turn就结束,浏览器可以完成其他的相关页面更新操作,等待获取用户输入。 如果浏览器探测到在#clickMe按钮上有点击操作,它会创建一个新的turn,在其中执行buttonClicked函数。这个函数返回,turn也就终结。 过了2000毫秒后,浏览器创建一个新的turn来调用timerComplete。 我们的JavaScript程序是在一个个turn中运行的,在turn之间隙,页面完成重绘、用户输入被接收。 我们如何更新使用数据绑定的页面空间? AngularJS让我们将一些页面组建绑定到JavaScript代码中的数据上,但是组件是如何知道数据发生了变化,需要对页面进行重绘的呢? 要解决这个问题(数据绑定)有多种解决方案。代码需要知道数据的值被修改,我们有两种可行的策略将数据修改通知到绑定的组件。 第一个策略,所有数据修改通过method来操作,避免属性直接赋值。这样数据被改变就可以被代码捕捉,相应的页面绑定就可以被更新。这一策略的缺点是,我们必须使用特定的对象,其中所有的赋值操作,得通过诸如obj.set('key','value)的方式来操作,而不是更直观的obj.key = 'value'方式。EmberJS和KnockoutJS框架都使用这一策略。 AngularJS使用的是第二种策略:允许任何对象值作为页面对象的绑定对象。然后,在任何一个JavaScript的turn(前文说了半天的turn)结束时,检查这些对象的数值是否被修改。这个策略的描述,给人的第一感觉是觉得会比较低效,但是这里头有一些非常聪明的做法解决其对性能的影响。这一策略的优点就是,我们可以使用普通的对象(object),用任意我们喜欢的方式给对象赋值,对象的任意变化都会自动在数据绑定中体现。 为了让这一策略工作,我们需要知道何时对象的值可能被修改了,这也就是$scope.$apply介入运行的点。 $apply 和 $digest 检查绑定的值是否已经修改,正宗对应的方法是$scope.$digest()。那里是“神奇”发生的地方,但其实我们基本上从不会直接调用$digest方法,我们一般会调用$scope.$apply(),间接调用到$scope.$digest()。

Ringo和Spring集成

Ringo with Spring 可以设想,集成了Spring之后,RingoJS就不收任何限制了,JavaScript语言的灵活性,加上Java & Spring 的完善功能,感觉上就应该可以做出很帅的东西…… >> 因为觉得在集成使用Ringo和Spring方面有很多值得一说,Jim Cook就Share了部分他们使用的代码,这部分代码可以让我们更加容易的在Ringo中引用ApplicationContext。下文的例子即基于Jim Cook分享的代码。 Ringo 使用org.ringojs.jsgi.JsgiServlet来bootstrapSSJS环境,我们可以扩展这个类,以提供一些Spring helper函数,帮助我们在Ringo中访问Spring。 package org.ringojs.jsgi;   import org.springframework.context.ApplicationContext; import org.springframework.web.context.support.WebApplicationContextUtils;   import javax.servlet.ServletConfig; import javax.servlet.ServletContext; import javax.servlet.ServletException;   publicclass ExtJsgiServlet extends JsgiServlet {   private ApplicationContext _springContext;   @Override public void init(ServletConfig config)throws ServletException { super.init(config); final ServletContext context = config.getServletContext(); _springContext = WebApplicationContextUtils

JSGI and Stick

JSGI and Stick   这篇文档将描述一个构建web应用程序的框架(framework),该架构构建在JSGI规范基础上,由多个middleware构成,这里的middleware跟我之前已经形成“思维定势”的middleware不太一样,以前一说中间件,想到的是weblogic、jboss之类的application server,这里的middleware没有那么庞大,他们指的就是一些以特定逻辑来处理web request的函数块。 名词定义: JSGI,JSGI对web application的定义,认为web application就是一个function,接受request参数,返回一个response对象,这是一个纯粹的、具有简洁美的概念,所谓function,就是封装具体功能,让外界只关注输入参数类型和返回结果。能够从这个高度看待web application,确实是搞高。JSGI中,定义application就是由多个模块化的middleware组成,这些middleware能够从外部配置。 Application,JSGI application,我们之前已经介绍,就是一个JavaScript函数,接受request,返回response对象,一个最简单的JSGI application应该看起来这个样子: function(request) { return { status: 200, headers: {}, body: [“Hello World!”] }; }   在JSGI规范中,还定义了一个Application对象,其本身当然包含前面说的application功能,另外还有一些额外的方法、特性。后文所说的application对象,指的都是这个。   Middleware,我们指的是一个JSGI application,它能够包裹住另一个JSGI application。request对象是否、如何传递给被包裹的JSGI application,完全由这个middleware来决定。 一个最简化的、不做任何操作的middleware,仅仅是将request作为参数传递给其包裹的内部application,并且返回结果,看起来应该是下面这个样子(nested是被middleware包裹的其他application,已经预先定义): function(request) { return nested(request); }   Middleware Factory, 中间件工厂,姑且这么直译,就是一个JavaScript函数,其接受一个JSGI application作为参数,然后返回一个middleware function。这有点绕,代码看起来应该这个样子: function(nested) { return function(request) { return nested(request); };

RingoJS 与 Java环境集成

RingoJS本身就是构建于Mozilla Rhino之上,Mozilla Rhino是啥——一个Java实现的JavaScript引擎、执行环境…… 这句话对于外人来说,一定觉得很绕……   Java Integration   Ringo的底层JavaScript Engine——Rhino,可以访问任何装载到JVM环境中的Java Class。这就给了Ringo开发者几乎全部的Java功能,Ringo开发者可以在程序中使用Java的丰富库函数。在Ringo中,我们可以访问Java Class的静态(static)方法,访问常量、创建新的Java对象等等。 常用如下三种方式,将Java类文件或者库(library,jar文件)集成进Ringo: 将相关的Java Class或者library放入运行环境的classpath(Ringo本质是一个Java环境) 将Java library(jar文件)放入Ringo的lib文件夹 将Java library(jar文件)或者java package(文件夹)添加到classpath中(配置classpath) 方法1和2都可以seamlessly集成Java对象,Ringo程序中不需显示指定什么java class或者library被集成…… 当然,Java的library和packages也可以在Ringo程序运行过程中显式添加到classpath中,完成集成,Ringo中使用addToClasspath(pathName)来实现这个功能。addToClasspath只有一个参数:pathName,对应要加入的library或者package的绝对路劲。如果想象引入module一样添加java对象,可以使用module.resolve(pathName)方法: addToClasspath(module.resolve(“./library.jar”)) 添加package: addToClasspath(module.resolve(“./package”));   Best Practice: 通常来说,在Ringo模块中,使用addToClasspath()手工加入需要的library或者package是更优选择,原因如下: 最终用户或者程序员,在下载了你的Ringo package后,不需要修改、配置他们的classpath。 不需要手工copy  library到他们的Ringo lib 文件夹 通过addToClasspath()显式添加library和package,如果路径不正确,会抛出异常提示 Explicity adding specific libraries & packages to the classpath serves as a form of documentation for programmers Examples:

RingoJS的模块管理

模块化管理越来越有意思,刚开始看到RingoJS中有JSGI,我还猜想是否是OSGi的一个实现,后来才知道不是。RingoJS的模块化管理是CommonJS的一个实现,很Young,很Simple。   Modules in Ringo   Ringo实现了CommonJS Modules1.1规范,在Javascript世界中,存在多个可用Module patterns,但是在Ringo的世界里,我们只用这个: 每一个文件就是一个模块,不需要特别的语法申明 任何function或者其他属性,只要你在module(文件)中,attatch到exports对象上,他们就被导出(让外部可见),成为这个模块的导出属性 require(‘foobar’)会返回一个拥有模块所有exposed属性的对象,代表foobar模块   剖析Module   In Ringo,每一个javascript文件都被当做是一个module,Ringo提供导入、导出的实现。 一个简单的例子会让事情变得更明白。下面我们实现一个foobar.js模块(module),我们希望这个模块提供add方法,而不是其内部私有方法adder: // foobar.js varadder = function(a, b) { return a + b; };   exports.add = function(a, b) { return adder(a, b ); };   这样,我们就完成了一个module的实现,我们现在可以在ringo环境中,通过require引入这个模块,然后调用这个模块对外开放的add方法(以下在Ringo命令行中执行, >>是Ringo命令行提示符): >> varfoobar = require(‘foobar’); >>foobar.add(3, 4); 7 而模块(module)中的私有(没有export)的方法,我们不能调用: >> foobar.adder(2, 2);

Oracle FAQ

整理硬盘,N年前整理的一份FAQ:   1. Q: Oracle 的安装复杂么? 我是否可以像安装其他程序一样,通过setup程序来安装Oracle? A: Oracle安装在Windows平台,确实可以通过点击setup程序很顺利的完成安装,但是安装完成后的设置操作需要对Oracle的运行机制有一定了解才能保证你的Oracle合理高效运行; Oracle软件在Unix平台安装相对复杂,虽然Oracle提供了基于Java的安装界面,保证了各平台安装界面的一致;但是要完成在Unix平台的安装,需要了解对应的操作系统补丁安装、内核参数调整;X窗口设置等内容,没有安装经验很难独立完成安装。 2. Q:如何确定当前的Oracle版本? A: 当一个系统中安装有多个版本的ORACLE时,可以按照下面的方法来确定当前的Oracle版本:   1、比较“/etc/oratab”与$ORACLE_HOME环境变量;   2、进入ORACLE数据库中,执行SELECT * FROM V$INSTANCE; 3、执行select * from v$version 3. 什么是Oracle的隐藏参数,都有什么作用? A: Oracle中存在这“大量”的以”_”开头的参数,这些参数需要在Oracle专家的指导下使用,在不充分了解其含义、危害的情况下使用,会带来不可预知的副作用;应该说好的系统不会需要设置这些参数,不要迷信这些隐藏的东西。 4. Oracle都有哪些数据类型? A: CHAR 固定长度字符串 最大长度2000 bytes   VARCHAR2 可变长度的字符串 最大长度4000 bytes 可做索引的最大长度749   NCHAR 根据字符集而定的固定长度字符串 最大长度2000 bytes   NVARCHAR2 根据字符集而定的可变长度字符串 最大长度4000 bytes   DATE 日期(日-月-年) DD-MM-YY(HH-MI-SS)   LONG 超长字符串 最大长度2G(231-1) 足够存储大部头著作   RAW

Analyze Oracle Listener Log using RingoJS

分析linstener.log(使用RingoJS) 在listener.log中,会记录每一次建立连接的记录,所以在做Oracle 连接相关的问题分析时候,可能需要对listener.log中建立连接的信息进行统计分析。 一些简单的分析需求,可以使用Linux/Unix shell的一些命令行工具来进行,比如grep,wc等,如果想进行一些复杂的分析(某些时间段、某些IP、某些客户端程序建立连接情况),使用perl、ruby之类的脚本语言,配合regular expression,效果也还好;但是做这种类型的分析其实SQL语句是最强大的,此文就介绍一下将listener.log的信息结构化到关系数据库中,然后利用SQL语句进行分析涉及的相关技术。使用的工具介绍:           RingoJS, javascript解释器,Mozilla使用Java语言实现了一个JavaScript Engine,叫做Rhino,RingoJS是基于Rhino实现的一个工具,常用来和Node.js作对比,都是服务器端JavaScript环境,除了JavaScript语言本身的强大功能外,提供丰富的library,文件IO,网络通讯非常易于实现。           PostgreSQL数据库,Oracle太过庞大了,在我的工作电脑上,已经不再安装Oracle了,PostgreSQL是替代者。           sql-store,RingoJS环境中的ORM组件,用于实现JavaScript对象和关系数据库表的映射。 listener.log的结构: <TIMESTAMP> * <CONNECT_DATA> * <CLIENT_ADDRESS> * <COMMAND> * <SERVICE_NAME> * <RETURN_CODE> 当然,在listener.log中,也存在其他信息,不符合这个格式,那部分信息我们只是显示出来,不存储到数据库中分析。 RingoJS实现: var fs = require('fs'); // 使用ringojs fs(Filesystem)组件,来进行文件读写 // 创建到PostgreSQL的数据库连接var {Store, ConnectionPool} = require("ringo-sqlstore");var store =

Oracle Goldengate Bi-Direction Replication

  环境概述: 本次配置OnStar GoldenGate 双向复制测试环境,环境如下:   Primary 端   机器名 machine1 IP 113.52.185.27 操作系统 SunOS oncnjqsvstph09lz00 5.10 Generic_147440-15 sun4u sparc SUNW,SPARC-Enterprise 数据库版本 Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production PL/SQL Release 11.2.0.2.0 - Production CORE 11.2.0.2.0 Production TNS for Solaris: Version 11.2.0.2.0 - Production NLSRTL Version 11.2.0.2.0 – Production是否RAC2节点RAC是否ASM使用ASM复制实例Onstga1 | onstga2Goldengate 安装目录/oracle/goldengateGoldengate

Copy java Object from diffrent classloader

Tutorial Java环境中,由不同ClassLoader装载的类是不能直接赋值的,So...  Featured Updated Jul 16, 2007 by jeremywa...@gmail.com The Problem Suppose you have one object, built using Classes loaded through one ClassLoader, and another object, built using Classes loaded through a ClassLoader that is independent of the first ClassLoader, and you want the two objects to interact: This scenario does not occur very often