上一篇記錄了怎麼透過 DataImportHandler 來將 MySQL 的資料匯入到 Solr 中，剛詢問了同事，一個 Core 可以大概看成資料庫中的一個 table，所以要匯入兩個不相關的 table 要用兩個 Core，雖然網路上好像有人提到可以將兩個不相干的 table 匯入到一個 Core 中，不過小蛙的 table 不多，就用簡單的做法就好。

小蛙的 index 環境是在 /opt/solr/example，最快的方法是直接把 example 資料夾複製一個新的並且改名字，這邊小蛙想要有一個 news 的 core， 使用自己建立必要資料夾的方法，建立以下資料夾

/opt/solr/news/
/opt/solr/news/conf
/opt/solr/news/data

再將原本 /opt/solr/example/conf/ 下的 db-data-config.xml, schema.xml, solrconfig.xml 這三個檔案複製到 /opt/solr/news/conf/ 目錄中。

接著修改 /opt/solr/solr.xml，加入新的 core

重新啟動 tomcat。小蛙在這邊就遇到很多錯誤，因為資料夾是用 root 權限建立的，而 solr 並沒有這樣的權限可以存取，所以這邊要注意把 /opt/solr/news 下的檔案擁有權都改成 tomcat7 (看 tomcat user 叫什麼就改成那個)。

第二個要注意的事情是一切正常運作後，點選到 DataImport 頁面開始運行時，卻出現下面的錯誤

參考資料 1,2 中提到在 db-data-config.xml 中的 <dataSource 加上 batchSize=”-1″ 就可以解決這個問題囉！

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

參考資料

• Solr – User – problem on running fullimport
• DataImportHandler – Solr Wiki

這篇文章 Solr 教學 (5) – 建立新的 Core 最早出現於 記下來。

1. 修改 solrconfig.xml，這個是前幾篇提到 core 下面的，小蛙的目錄是 /opt/solr/example/conf，這邊 db-data-config.xml 可以改成自己想要的名字，也可以直接使用相對路徑，考慮可能會有移機的狀況，還是盡可能使用相對路徑。

   1 2 3 4 5

   <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">   <lst name="defaults">     <str name="config">db-data-config.xml</str>   </lst> </requestHandler>

2. 新增資料庫連線檔 db-data-config.xml，這個檔名是上面自己設定的，跟 solrconfig.xml 放在同一個目錄下即可。依自己的環境修改 url, user, password，以及 SQL 語法及欄位對應，這邊的 field name 是資料庫的欄位。

   01 02 03 04 05 06 07 08 09 10 11

   <dataConfig>   <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="myusername" password="mypassword"/>     <document name="mydocument">       <entity name="item" query="SELECT * FROM stockTable">         <field column="ID" name="id" />         <field column="SNO" name="no" />         <field column="SNAME" name="name" />         <field column="STYPE" name="type" />       </entity>   </document> </dataConfig>

3. 修改 schema.xml，改成自己的設定

   01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

   <?xml version="1.0" ?> <!--  Licensed to the Apache Software Foundation (ASF) under one or more  contributor license agreements. See the NOTICE file distributed with  this work for additional information regarding copyright ownership.  The ASF licenses this file to You under the Apache License, Version 2.0  (the "License"); you may not use this file except in compliance with  the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software  distributed under the License is distributed on an "AS IS" BASIS,  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  See the License for the specific language governing permissions and  limitations under the License. --> <schema name="example core zero" version="1.1">   <types>     <fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>     <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>   </types>   <fields>     <!-- general -->     <field name="id" type="string" indexed="true" stored="true" multiValued="false" required="true"/>     <field name="no" type="string" indexed="true" stored="true" multiValued="false" />     <field name="name" type="string" indexed="true" stored="true" multiValued="false" />     <field name="type" type="string" indexed="true" stored="true" multiValued="false" />     <!-- 這個 _version_ 如果拿掉會報錯 -->     <field name="_version_" type="long" indexed="true" stored="true"/>   </fields>   <!-- 主鍵 -->   <uniqueKey>id</uniqueKey>   <!-- 沒有設定欄位時的預設搜尋 -->   <defaultSearchField>name</defaultSearchField>   <!-- 空白串接關鍵字時預設使用 OR 或是 AND -->   <solrQueryParser defaultOperator="OR"/> </schema>

4. 這時候因為連結的是 MySQL，所以需要 mysql connector，假設使用的是 oracle 就要下載 ojdbc 來使用，MySQL Connector/J 到 MySQL 官網下載。選擇 Platform Independent 後下載壓縮檔，解壓縮後只需要裡面的 mysql-connector-java-x.x.xx-bin.jar 這個檔案，把這個檔案放在 solr lib 目錄下，以小蛙的環境為例，是直接放在 /var/lib/tomcat7/webapps/solr/WEB-INF/lib 目錄下，當 tomcat 啟動 solr 專案時就會自動被載入。
5. 到這邊似乎都沒問題，在小蛙準備要重新啟動 tomcat 讓設定生效的時候，卻一直出現這樣子的錯誤

   1 2 3 4 5 6 7 8

   org.apache.solr.common.SolrException: RequestHandler init failure ... Caused by: org.apache.solr.common.SolrException: RequestHandler init failure ... Caused by: org.apache.solr.common.SolrException: Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler' ... Caused by: java.lang.ClassNotFoundException: org.apache.solr.handler.dataimport.DataImportHandler ...

   錯誤真的要看清楚，小蛙當時只有看到前三個，一直以為是設定檔哪裡出錯，一個一個找了好久，才發現第四個錯誤 java.lang.ClassNotFoundException，上面這些錯誤都是因為根本找不到 org.apache.solr.handler.dataimport.DataImportHandler 引起的，在網路上搜尋了一下，有一些網友分享這個檔案存在於下載回來 solr 的 dist 目錄中，可以透過在 solrconfig.xml 中設定 lib 的讀取路徑，小蛙則是把 solr-dataimporthandler-4.5.0.jar, solr-dataimporthandler-extras-4.5.0.jar 這兩個 jar 直接複製到 /var/lib/tomcat7/webapps/solr/WEB-INF/lib 目錄中。

6. 重新啟動 tomcat 後，solr 畫面可以正常進入，左邊 Core Selector 下拉選單選到自己的 Core 後再選擇 DataImport，

   1 2 3 4 5 6 7

   // full-import : 全部匯入；delta-import : 只匯入變更部分 Command -> full-import // verbose 打勾可以看到詳細訊息 v Verbose // 選擇剛剛設定檔新增的名稱 Entity -> item 執行 Execute

   完成後可以看到「Indexing completed. Added/Updated: 12701 documents. Deleted 0 documents. (Duration: 14s)」

7. 大功告成！檢查看看是否正常匯入，點選左邊的 Query，測試 Execute Query 看看資料正不正確。

參考資料：

1. [Solr] Solr 學習筆記(五) 設定 Data Import Handler 直接從 MySQL 把資料匯入 @ 長島冰茶的工程師筆記
   
   http://wbkuo.pixnet.net/blog/post/156125771-%5Bsolr%5D-solr-%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98(%E4%BA%94)-%E8%A8%AD%E5%AE%9A-data-import-handler-%E7%9B%B4

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

這篇文章 Solr 教學 (4) – 使用 DataImport 匯入資料庫資料 最早出現於 記下來。