“国外数字图书馆评估”学习心得
星期三, 12月 28th, 2005Filed under: Theses (论文写作) - keven @ 11:11 pm
数字图书馆评估作为欧美数字图书馆项目立项和结题的必经过程，也随着2002-2003年欧美众多的数字图书馆项目告一段落而达到一个高潮。以前我不是非常注意关于”评估”的探讨，这并不是出于对各类评估走过场说好话的反感，我倒是知道国外项目管理常常动真格，一些项目会遭到中途整改、甚至暂停进行的情况，而是项目评估所涉及的内容方面往往超出了”技术”范畴，不属于我的兴趣范围。我认为那些技术以外的东西是我们学不来的，学了也没用的。
然而最近参加了馆领导牵头的一个项目，我不知天高地厚自告奋勇，承担了有关数字图书馆评估的部分。不搞不知道，一搞吓一跳，世界真奇妙。两星期前就应该交稿，可直到写这篇博客文字的时候，我的报告还是七零八落，希望通过这些博客文字，能够赐我一个清晰的思路吧。看来要写一个系列了。
评估是什么？凡是参加过、”被”参与过、或者听说过国内的某些行业的”图书馆评估”的，比如我，可能都会有一个先入之见：主管部门拉起一班人马，公布一套指标，各地对照检查、认真学习、比不足、找差距，学会忙着开班，专家指导培训，然后头碰头背靠背，劳师动众，组成各个评估小组，飞行药检，打分统计，排排坐吃果果，你好我好大家好。这种评估在客观上也确实促进了许多图书馆的全面业务，一时也使整个行业显得生气勃勃，但我总觉得不太对味，特别是”数字图书馆评估”也必须这样搞吗？
想起李国新教授在谈到促进国内图书馆立法时曾谈及，希望从国外图书馆立法中搜寻一些依据。记得有人说过”发达国家的今天就是我们的明天”，我也希望通过国外对数字图书馆的评估中寻找一些系统的做法。
经过十多天的闭关修炼，对于数字图书馆评估的认识，自我感觉良好，成果丰硕。然而得出一些结论有点让人悲喜交加，总结出以下十点，供批评指正：
1、国外的”数字图书馆评估”还基本处在一个”研究阶段”，甚至可以说是”学科建设”阶段。 参考资源 1是一次欧美这方面成果的全面检阅。可以看出尚未形成普遍适用且可操作的一整套规范，许多项目对”如何评估”的重视程度远大于对”评估结果”的重视，似乎有点本末倒置。如果放到国内来搞，应该又可以有一门交叉分支学科诞生。许多问题可以归入”知识交流论”甚至”情报学”的范畴（例如这篇Bishop的研究： Measuring Access, Use, and Success in Digital Libraries by ANN PETERSON BISHOP ）。可资参考的实践当然也有几个，做得也算详尽细致，然而远不及其提出的理论、模型、架构所涉及的那么丰富广泛。
2、”数字图书馆”这个概念有多少种认识，”数字图书馆评估”就有多少种需求。也就是说有多少种数字图书馆就有多少种评估。而且在某些评估[研究]专家眼里，所有需求都是不可忽略的。
3、评估也可以不是你上级领导要求的，可以是你的自主要求，或者你的读者/用户/员工的要求。利益关系人（stakeholders）有各种各样，评估的要求也有多种多样。
4、评估应该避免”利益关系人”相互之间的评估。可以不是同行之间相互评的，大家抬头不见低头见，以后都要做人。或者三十年河东河西，君子报仇总算等到了机会。可能的话应该是第三方评估，或者客观评估。
5、评估的目标可以不仅仅是很宏大的（eg.促进事业发展）、很抽象的（eg.改进工作），也可以是很具体很深入的（eg.人机界面的可用性），而且是容易测度的（如用户群组的使用差异）。
6、评估应该是一项系统工程，通过哪些步骤，经过怎样设计，投入哪些资源，评估哪些内容，需要如何培训，通过什么方法，提取那些属性，获取哪些数据，得出几方面结论，如何反馈改进，达到何种效益，等等。学问真是很大，远不是我们想的、做的那么简单。
7、评估可以是系统运行的评估，例如指标：发卡数量、到馆数量、点击率、下载数量、订户数，等等，也应该进行有效性评估：例如投入产出分析，服务成果、效率、效果分析，等等。
8、评估方法可以是很复杂的，是一套方法论体系，可以是综合运用，每个指标都采用一定的方法（参加下表的31种方法）。定量方法常常不知所云，不一定是最好的。
9、评估是伴随整个过程的，而不是一时、一阵的。评估不应该忽视对数字图书馆长远效益的测度和估计。
10、不能过于依赖或完全忽视技术的发展对于测度的影响。技术有时可以自然而然地完全消除某些指标在不同系统间可感知的差异，有时则完全不行。
以上10点本想写成”数字图书馆评估的十大问题”或”中外图书馆评估十点比较”，恐怕不够客观而且过于敏感。想想国内好像还没有值得评估的数字图书馆，CALIS或者CSDL如何了？是否有英国eValued（ 参考资源 22）、EDNER（ 参考资源 2）或美国NSDL（ 参考资源 15）那样的评估机制？是否可以用我即将提出的评估体系进行一番评估呢（开个玩笑）？我的这个课题在国内也太超前了，呵呵，哈哈。
以下很有参考价值的四个附录，内容均来自 评估参考资源 2
附一：数字图书馆评估所涉及的五方面问题
- Construct for evaluation. What to evaluate?
- Context - What is “evaluation” in the context ofthe digital information environment? What level of activity should beevaluated? (Programme, Projects, Individuals..)
- Criteria - Reflecting performance as related toselected objectives. What parameters of performance to concentrate on?What dimension or characteristic to evaluate?
- Measures - What measures to apply to various criteria?
- Methods - How to evaluate? What procedures to use?
附二：数字图书馆评估涉及的内容
- Digital collections, resources
- selection, gathering, holdings, media
- distribution, connections, links
- organization, structure, storage
- interpretation, representation, metadata
- Preservation, persistence
- Access
- intellectual
- physical
- distribution
- interfaces, interaction
- search, retrieval
- Services
- availability
- range of available services e.g. dissemination, delivery assistance, referral
- Use, users, communities
- Security, privacy, policies, legal aspects, licenses
- Management, operations, staff,
- Costs, economics
- Integration, cooperation with other resources, libraries, or
services
附三：评估所需的十方面属性
- Performance
- Conformance
- Features
- Reliability
- Durability
- Currency
- Serviceability
- Aesthetics
- Perceived quality
- Usability
附四：评估常用的30种方法：
Analysis of project reports Analysis
of search terms Analytical
exercises Cartoon tests Case studies Citation
analysis Computer
logs Document
analysis Expert
commentary Expert review Focus
groups Group discussions History of the Future
exercise Interviews Literature
review Manager
surveys Pilot-testing Project
logic maps Questionnaires Regional workshops for validation of
findings Self-reporting Sentence and story
completion Surveys Usability
assessments User
survey User
testing Vignettes Web
site appraisal Web
survey Workbook exercises
Trackback: http://tb.donews.net/TrackBack.aspx?PostId=674405
