Category Archives: Database学习笔记

昨天，有一个Bug耗掉了我近一天的时间，写这篇学习笔记不是说那个Bug的，而是在解决的过程中，从shenglin那里(shenglin是COC的Senior Oracle DBA)学到了一些基本命令，命令都不复杂，不过我觉得对我挺有用的，至少以后我再碰到类似的问题，至少可以自己先试试而不是老要去麻烦DBA。 现象：应用程序往数据库送了一跳insert语句。应用程序log文件中记录了这条SQL执行成功了:insert into tableX(field1,field2,…fieldn) values(:val1,:val2,…:valn); tableX的主键是field1。我们知道val1 = XX。数据库那边没有报任何错误，可是select field1 from tableX where field1=XX 却返回空！ Trouble Shooting Steps: 1. 怀疑这条SQL是不是没有送到目标数据库 -bash-3.00$ hostnamearrowpig0.dev.ebay.com   –>我的应用程序运行的机器名 然后我在另外一台dev机器上登录Oracle DB：-bash-3.00$ sqlplus arrowpig/arrowpig@arrowpig  –>关于登录Oracle数据库，参见安装Oracle 10g Express SQL> set linesize 132 pagesize 10000SQL> select sid,sql_hash_value,prev_hash_value,machine from … 繼續閱讀 →

这个礼拜轮到我做production support。今天碰到的一个问题是：X Pool的搜索节点crash! 通过分析core file和access log，我们定位到killing query。发现当输入关键字符合特定pattern的时候，search node就会crash。根本原因是data issue。即：处理代码认为根本不可能出现某类数据，但是不幸出现了，导致代码执行异常。处理production issue时首先要考虑的问题就是如何让production环境尽快恢复运行，于是我们的任务就是找出索引文件中出问题的X数据的ID，为其重建索引。 问题转化为：找出索引文件中索引键值符合给定pattern的数据ID。 搜索引擎中每个field的属性至少有两类：store还是index，store表示这个值要保存，但是不一定为这个值建索引；index表示为这个值建索引，但不一定能够显示(只有保存的Field才可以显示)。有兴趣的同学可以看一下《Lucene 2.0+Heritrix 开发自己的搜索引擎》这本书，里面对存储，索引和分词有详细的解释。 我们的难点是：我们没有办法利用搜索节点来找出拥有符合特定模式属性的ID，因为一送这样的query程序就crash了。而且我们不一定看得见某个数据是不是含有一个索引值符合给定的pattern，因为这个索引值很有可能没有store属性。虽然数据库中保存着原始数据，但是一个索引中含有的ID有几千万，我们没有办法对几千万个数据在production DB上直接做匹配操作。 解决方案1：我们在dev环境重现了这个问题，将代码进行debug编译后，使用production的索引，在匹配pattern处设置断点，然后一边看数据结构，一边使用gdb将出问题的数据ID找出来。—> 这个方式弄了我一下午，其实效率不是很好。 解决方案2：[Much Better] 修改一下killing query，使用给定pattern的sub-pattern，小心避开导致crash的代码。这样搜索节点会返回匹配sub-pattern的一个ID List，由于使用sub-pattern，搜索节点返回的匹配数据的数量要比实际(使用完整pattern)多，但是却比整个索引文件中的数据量小很多。 使用SQL SPOOL到数据库中将ID属于步骤1 ID List中的数据全部dump到一个临时文件中。 使用grep, less 很容易就可以找到索引属性符合给定pattern的ID了。 find.sql: connect username/password@sidset pagesize 1000set linesize 1000define filename= ‘result.txt’prompt *** … 繼續閱讀 →

刚锻炼回来，在听‘爱似狂潮’。刚写完了C++的Signal Handler的封装。下周一我们Search Backend Offsite，而且下周轮到我Shaddow On Call了，周末要把项目的事情先做掉，整理以前的Site Issue的email，免得到时被TDO鄙视。中午和Peter出去散步，Peter是SFE的PD Manager，是一个对工作很有激情的一个人，这一点我跟他很像。Peter说了两点品质，第一点Sam以前也常跟我说，就是Passion；第二点是 坚持！激情+坚持，恩，我很有同感的。走着走着，下雨了，两个人被淋得彻头彻尾。 下午COC的阿杜给我打了个电话，说他准备做我发的那个Rebuild MySQL Salve Server的ticket，我说阿杜，你做的时候我要上楼观摩，看看到底是怎么做的。看文档和看别人操作一遍是不一样的，最好是自己动手。阿杜是很热情的一个人，是COC最早的一批Oracle DBA之一，他先给我发了一个step by step instruction，然后下班前一边做，一边给我解释了一遍。我在这里做个笔记： 前些天因为temporary table 的replication的问题把slave server搞垮了，今天我们实际上是rebuild mysql slave server. 1. 为’复制’创建专门的用户，控制好权限#在master上创建专门的用户，赋于其对所有对象的replication salve权限。GRANT REPLICATION SLAVE ON *.* TO ‘repluser’@’master.vip.arrowpig.com’ IDENTIFIED BY ‘repluser’; #如果你想让我们从Slave的机器上登录Master做replication的操作，可以这样:GRANT REPLICATION SLAVE ON … 繼續閱讀 →

记录一下今天的一个BUG FIXING。早上收到一个BUG，说有一个到模块A的调用B，多执行几次以后就会出错。错误信息显示SQL ERROR。因为CDC SBE就我最近改过模块A的代码，就把BUG塞给我了。 Trouble Shooting的过程： 先检查error log, 没有发现明显问题。于是我把debug log打开后重起模块A，然后手动执行那个调用B，于是我从debug log中拿到了调用B所对应的函数名称。 拿到模块A中的函数名称，我搜索源代码，检查最近有没有人修改过这部分代码。发现没有人改过。查看源代码(当然debug log中也有记录)拿到函数调用B所invoke的store procedure call — CALL SP_arrowpig(30, 1, @retCode); 检查最近有没有人修改了和SP_arrowpig有关的SQL，发现也没有。所以我把这个BUG转嫁给别的替罪羊的想法告吹。(因为如果我发现有谁最近修改了跟出错部分相关的代码的话，我就可以把他拖进来跟我一起查) 现在只能靠自己了。这时候anusheel同学忽然跳进来，说他已经把那个出错的store procedure在command下运行了好几次，头几次是好的，多运行几次就出错了，怀疑是 mysql本身的bug，并且说以前在production环境下也碰到过，他们解决问题的方法是重新启动mysql服务进程。 我也执行了一下，确实像anusheel同学说的那样子，出错信息是这样的： mysql> CALL SP_arrowpig(30,0,@retCode); select @retCode;+————–+—————-+———————+| ErrorPattern   | ErrorName         | ErrorStr                  |+————–+—————-+———————+| SQL Error       | SP_arrowpig      … 繼續閱讀 →

这篇文章跟我一样的菜鸟可以看看。事情的缘由在上一篇Blog:如何判断程序处于I/O等待里面已经介绍过了。这件事情我也得到一个教训，QA环境和Production环境还是很不同的，特别是DB 操作，QA环境数据库数据量比较小，SQL执行计划在Production上可能得出完全不同的结果，而我的遭遇就是一条SQL在Production上一跑就再也回不来了，最后只好让DBA kill掉那个任务。 原来的SQL是这样的：一共牵涉5张表，表名和 每张表的索引情况如下： Table Index Name Index Infomation Table_Item Item_PK PRIMARY KEY (ID) Table_Item Item_LM_IDX Last_Modified Asc Table_Attr Attr_PK PRIMARY KEY (ID) Table_Desc Desc_PK PRIMARY KEY (ID) Table_Delay Delay_PK PRIMARY KEY (ID, PARTITION_KEY) Table_Product Product_P_PK PRIMARY KEY(Product_ID) select … 繼續閱讀 →

2008年6月16日，21：13分。坐在办公室里面，Sunil跟我说程序还是Core Dump，可是我在Dev环境试了下，至少Purify不再报ABR/ABW(Array Bound Read/Write)的错误了，现在离开Purify再验证一把。 刚才和胡毅大哥和小刚弟弟去骑单车了，上身的T-Shirt都潮掉了，洗了个澡，现在头发湿湿的，摸上去手感很好的-:)今天最后做放松的时候老师放的一首歌很好听，叫“彩虹背后”，我很喜欢这种清馨的，朗朗上口的曲调。 恩～～今天我干了什么呢，为了不给QA mm们抱怨说我把他们的Staging环境给弄乱了，我在自己的Terminal Server上架了一个Oracle Express的服务。什么事啊，都不能偷懒，做一遍和不做很大不同的，实践一下往往会碰到一些问题的，我还是按照Bruce写的步骤一步一步来的呢(Bruce人很好的，水平很高，而且很重要的是Bruce乐于助人，我到了eBay以后他帮了我很多)。使用shutdown immediate以后呢，startup就起不来了。后来发现是Oracle Listener的ora文件上出了问题了。 还是记一下吧，Oracle 10g Express的Getting Started Hands On: 到Oracle 官方网站下载Express的安装包，然后安装。安装好以后，一个名为XE的instance就已经就位了。 安装好了以后呢，在Start->All Programs->Oracle Database 10g Express Edition->Goto Database HomePage，创建自己的用户名和密码。 修改数据库的默认配置：Increase parameter "processes"。假设管理员sys的密码也是sys sqlplus sys/sys@XE as sysdba;  // 以管理员身份登录 show parameter processed;      // … 繼續閱讀 →

Two-Layer Web Architecture 在双层Web架构中，服务端应用程序是作为web server的一部分运行的。哪怎么实现的呢，一种流行的Java实现方法就是把Java代码加载到web server内部，我们知道做什么事情都要有个规矩，写程序也是一样的，程序员可以根据业务需求用Java实现不同的应用业务逻辑，包括和数据库的交互，那web server和java应用代码之间怎么交互呢，这个’规矩’就是Java servlet specification。比如HttpServlet就实现了这个接口，我们来看一个例子，假设开始的时候客户端浏览器看到的是这样一个HTML，这是一个Form，要求用户选择是储蓄账户(Account)还是贷款账户(Load)，然后输入帐户号码，点击Submit以后，传回服务器，由服务器进行查询以后返回该账户的存款数(Account Balance)或者是贷款数(Loan Amount)。 <form action="BankQuery" method=get>Select account/load and enter number<br><select name="type">    <option value="account" >Account</option>    <option value="loan" selected>Loan</option></select><input type=text size=5 name="number"><input type=submit value="submit"></form> 感兴趣的话可以把这段代码拷贝到文本文件里面，文件后缀改成html，然后用IE或者Firefox打开看看效果。当你点击 Submit以后，HTTP就会使用get方法将信息传回服务器，现在的web server都是并行处理的，也就是每收到一个请求，就会分配一个工作线程，来响应请求，在HttpServet的接口实现中，doGet方法就会被调用，我们来看server端的代码： import java.io.*;import javax.servlet.*;import javax.servlet.http.*; public class BankQueryServlet … 繼續閱讀 →

Web Fundamentals 今天的鱼我烧失败了，幸好还看了点书，这是数据库系统概念的第8章，看了就写下来吧。属于扫盲级别的。现在的数据库系统，其实很少有用户直接写SQL访问数据库的，通常的做法都是通过界面间接访问的，终端用户根本不需要数据库的知识，而且现在大多数的界面都是Web界面，用户通过HTTP访问。在这个过程中有两个方面，客户端和服务器端。以eBay来说，客户端就是用户的浏览器，服务器端就是eBay的Web Server啦，用户用浏览器通过HTTP协议访问eBay站点，eBay传回HTML给客户浏览器。HTML其实就是文本文件，在IE中选择查看->源文件(如果是Firefox,点查看-页面源代码)，就可以看见。我们看这样一个在eBay上搜索"ipod nano"后的URL: http://search.ebay.com/search/search.dll?from=R40&_trksid=m37&satitle=ipod+nano URL就是Uniform Resource Locator，它是在网上唯一定位资源的一种方式，它由3部分组成，第一部分http表示使用的协议是HTTP，第二部分search.ebay.com表示作为Web Server的机器名字，剩下的部分就是资源标识符以及参数。可以看到其实用户所作的选择，在这个例子里面就是用户的输入"ipod nano"，被合成到URL的第3部分发送出去了。这其实就是HTTP中浏览器将用户响应传回服务器的一种方式，叫get方法，另一种方法是post。上面的URL从逻辑上说就是用户问eBay要ipod nano的搜说结果，我们叫它 Search Result Page。 但是我们注意到，如果每次用户有一点点操作，我们都要传回服务器操作的话，一是对服务器压力大，二是网络传输会降低相应速度，页面响应速度是考察用户体验很重要的一个指标。比如有些简单的Validation操作，比如要求用户密码至少6位而且必须有数字，字母组合且必须大小写字母都使用到…这种事情根本不需要提交服务器，在客户端完成就可以了。于是客户端脚本就诞生了，client side scripting就是要赋予HTML在客户端执行代码的能力。Applets, Javascript就是这样一种语言，他们可以嵌在静态页面里面，由客户端浏览器执行，这样静态页面就有点“活”的感觉了，因为他们能在客户端和用户进行简单的交互了嘛。但是有一个前提，就是绝对不能滥用权力，不能用这种权利在客户机器上做坏事！所以所有这类Script都有如下3个限制： 不能访问客户端机器上的本地文件。 无权执行客户端机器上的系统程序。 无权从客户端机器向其他机器发起网络连接。 现在我们知道HTML其实就是一种文本，浏览器拿到HTML后，第一步是理解它，通常浏览器会把页面读入内存，用DOM(Document Object Model,就是一种树结构)方式存储。Java Script还可以动态改变DOM中的数据结构，比如要求用户添表的时候，按回车就自动添加一行的效果… 从概念上说，服务器端是一个3层结构： Web server得到用户请求，根据不同的用户请求调用App Server中不同的服务，App server会实现业务逻辑，包括访问数据库，然后把结果返回Web server,最后由Web server把相应以HTML发回给客户。但是大多数情况是Web server和app server是做在一起的，Web server其实是一层http layer，这也就是经典的二层架构，换句话说，app server中的服务是在web server内运行的: 12点一刻了，很困了，画这两张图真麻烦，下一回详细讨论这个二层架构。

我们考虑一个“多对一”的关系表，往往牵涉3个方面，实体表A，实体表B和关系表AB，这里A–>B是many-to-one的关系。如果条件加强一些，A是完全参与在AB关系表中(Totally),怎么理解Totally呢，就是A实体表中的每个实体(entity,其实就是表记录啦，也就是A表中的每一行),都在AB关系表中有对应的项！ 好了，简单表述一下，如果： 表示A和B关系的表AB是A–>B的many-to-one 关系 A是Totally Participate关系表AB 则：我们可以考虑将实体表A和关系表AB合并。通俗点讲：把关系表合并到代表many方的实体表中。 举个例子，假设我们有： 帐号实体表  –>    account=(account_number,balance)。 支行实体表 –>    branch=(branch_name,branch_city,assets)。 帐号/支行关系表(account_branch)，每个支行保存在该支行开户的所有帐号 –>account_branch=(account_number,branch_name), 这里是many-to-one关系。 不允许有“孤儿”帐号，也就是说每个帐号都必须属于一个支行 –> Totally participation哦。 合并后的情况是： account = (account_number, balance,branch_name) branch  = (branch_name, branch_city) 注意： 关系表account_branch就不需要了，并且合并以后的代表many方的实体表account的主键(PK)不变. 原先在关系表account_branch中的两个外键约束(FK1：account_number到account表；FK2：branch_name到branch表): 我们Drop FK1，Retain FK2。 这里我突然想到了一个数据库设计和C++类设计的不同点，其实用我们平实的语言表述往往是这样的：一个支行拥有多个帐号，这在面向对象语言中是典型的Has-A关系，通常用聚合的方式实现： 设计1： class account{ … 繼續閱讀 →

需求分析： 今天天气很好，早上去交了电费，中午和晚上都煮了馄饨。昨天把《数据库系统概念》这本书从公司又扛了回来。今天看了点，就是第6章–Database Design and the E-R Model。这本书是在我们寝室胖子的建议下买的，3年了，都没有怎么看。今天在凸窗上晒被子，就躺在那里看了一点点。由于阳光晒屁股，看着看着就睡着了。 我一直觉得什么是理解了呢，就是能用自己的话把学到的东西按照自己的理解说出来，并且要让别人听懂。数据库系统概念的阐述方式有点学究，列了不少像{(e1,e2,…,en)|e1<-E1,e2<-E2,…,en<-En}这样的东西，不是很直观。我试着说的通俗一点点。 假设要为小健健要开银行了，需要设计一个系统，大致是这样一些需求： 1. 小健健银行现有好几个支行(branches)组成的。每个支行都有一个唯一的名字(branch_name)。我们还要记录该支行的地址(branch_city)，资产情况(assets)。 这个还是挺简单的，定义实体表branch=(branch_name,branch_city,assets)。下划线表示主键。这里解释一下什么叫’主键’,主键就是能够唯一标识表中的一条记录的信息。你可以用主键的值唯一的定位表中的一条记录。比如我有了你的身份证号码，就可以在中国唯一的定位你这个人。为什么叫实体表呢，因为这是表述一个实实在在东西(entity)，还有一种叫关系表(Relationship)，每个实体表里面有好多记录，每条记录就是一个实体，比如branch表里面的每一条记录都代表一个支行。每一条记录都有很多属性(attribute/property）组成，像这里，有3个属性，支行名字，地址和资产。 2. 小健健银行的每个客户都有一个唯一的ID(customer_id),我们还要存储客户的个人信息，比如姓名，住址，联系方式。 定义实体表 customer=(customer_id,customer_name,customer_addr,contact_info)。注意不能用customer_name作为主键，因为会有同名同姓的人。 3. 银行的每个雇员都有一个唯一的ID(employee_id)，银行存储每个雇员的名字，住址，联系方式，该雇员的工资，领导的employee_id，当然还有第一天报到的日期以及在小健健银行的工龄。 定义实体表employee = (employee_id,employee_name,employee_addr,contact_info,salary,manager_id,start_date)。 3. 每个客户都可以在小健健银行建立帐号，小健健银行实际上可以提供两种帐号，储蓄帐号和投资帐号。每个帐号都有一个唯一的帐号ID,银行当然要存储帐号中有多少钱。储蓄帐号里面的钱是固定利率的；投资帐号里的钱小健健银行有专门的投资顾问帮客户理财哦！理财账户需要手续一定的佣金。一个帐号可以有多个客户共享，每一个客户也可以开多个帐号的。 saving_account = (account_number, balance, interest); invest_account = (account_number, balance, handling_fee); 这里注意到一点，一般储蓄账户和投资账户其实都是账户，只是功能有点不同；前面提到的客户和雇员，如果小健健银行的雇员也把钱存在小健健银行呢，那他们同时也是客户啊，这里有个非常重要的概念：specialization/generalization。我在以后展开，为了方便，我这里先generalize一下下，只考虑account=(account_number,balance)。 客户存钱的这个动作deposit, 我们用relationship来表示，这是个多对多的关系(many-to-many)： 定义关系表deposit=(customer_id, account_number)。 为了管理方便，需要知道开户行。所以定义关系表 account_branch=(account_number, … 繼續閱讀 →