1. 主要功能点描述
   1. 总纲概括
   2. 网页信息爬取(Crawler)
      1. 实现原理
         1. Socket，HTTP协议
      2. 功能需求
         1. 可配置性（抓取深度，线程数，更新周期）
         2. 网页的存储和管理
         3. 网页更新，无效链接的排除
         4. 新链接，新网页发现能力
      3. 功能模块
         1. URL下载模块
         2. 下载控制模块
         3. 链接分析模块
   3. 网页内容分析
      1. 功能需求
         1. 文档分析和中文分词
            1. 词条化（确定哪些是真正的词条）
            2. 英文中上撇号 '
            3. 特定领域的专用词（如C#、C++）
            4. 连字符 -
            5. 空格
            6. 本地化
            7. 去除停用词
            8. 词项归一化（建立等价类）
            9. 重音和变音符号
            10. 大小写转换
            11. 词干还原（am is are-->be）
            12. stemming 和 lemmatization
         2. 分析网页中重要信息（如标题，链接文字，meta信息）用于信息加权
      2. 实现原理
         1. 基于字符串匹配的分词方法
         2. 基于理解的分词方法
         3. 基于统计的分词方法
      3. 功能模块
   4. 索引建立
      1. 倒排索引
   5. 检索和结果排序
2. 文本分析
   1. HTML
   2. Office
   3. PDF
   4. XML
3. 中文分词
4. 结果排序
   1. 排序流程
      1. 文档匹配
      2. 文档相似度计算
      3. 文档排序
   2. 排序类
      1. Query
      2. Weight
      3. Score
      4. Similarity
   3. 排序控制方法
      1. Sort 指定域排序 检索时创建
      2. Boost 建索引时创建
      3. 自定义排序
5. 查询处理
   1. 检索流程
      1. 用户请求输入
      2. 查询词预处理
      3. 查询词格式化
      4. 文本库索引匹配
      5. 相似度和排序
      6. 结果显示
   2. 相关类
      1. IndexSearcher
      2. Query 查询封装类
      3. QueryParser 查询分析器
      4. Hits 查询结果集
6. 信息索引
   1. Lucene索引结构
      1. 索引 Index
      2. 索引段 Segment
      3. 索引文档 Docment
      4. 索引域属性 Field
         1. 域名
         2. 域值
         3. Store
            1. Store.NO
            2. Store.YES
            3. Store.COMPRESS
         4. Index
            1. Index.NO
            2. Index.Tokenized
            3. Index.UN_Tokenized
            4. Index.Norms
         5. 类似hash
      5. 索引项 Term
   2. Lucene索引类
      1. IndexWriter
      2. IndexReader
      3. IndexModifier
      4. Analyzer
   3. 高级特性
      1. 索引域类型和参数
         1. 尽量减少不必要的存储
         2. 不需要检索的内容不要建索引
         3. 非文本格式提前转化
         4. 需要整体存放的格式不要分词
         5. lucene参数设置
         6. 配置
      2. 磁盘索引和内存索引
      3. 同步 锁机制
7. 数据获取
   1. Nutch主要类Crawl
      1. 1、根据外部输入的运行参数，创建配置信息类实例；并加载crawl-tool.txt内容
      2. 2、设置spider默认运行参数，包括存储路径，线程数，抓取深度等
      3. 3、生成具体功能类的对象
         1. 给网页数据库插入URL的插入器injector
         2. 下载列表生成器generate
         3. 具体内容抓取器fetcher
         4. 文本内容解析器parseSegment
         5. 网页数据库crawlDB
         6. 链接数据库linkDB
         7. 索引器indexer
         8. 重复数据删除器deleteDulplicates
   2. 比较
      1. lucene与nutch
         1. nutch提供下载功能，并通过Lucene接口将结果存到数据库，并建立索引
         2. lucene只提供接口和功能
      2. nutch与heritrix