上一篇記錄了怎麼透過 DataImportHandler 來將 MySQL 的資料匯入到 Solr 中，剛詢問了同事，一個 Core 可以大概看成資料庫中的一個 table，所以要匯入兩個不相關的 table 要用兩個 Core，雖然網路上好像有人提到可以將兩個不相干的 table 匯入到一個 Core 中，不過小蛙的 table 不多，就用簡單的做法就好。

小蛙的 index 環境是在 /opt/solr/example，最快的方法是直接把 example 資料夾複製一個新的並且改名字，這邊小蛙想要有一個 news 的 core， 使用自己建立必要資料夾的方法，建立以下資料夾

/opt/solr/news/
/opt/solr/news/conf
/opt/solr/news/data

再將原本 /opt/solr/example/conf/ 下的 db-data-config.xml, schema.xml, solrconfig.xml 這三個檔案複製到 /opt/solr/news/conf/ 目錄中。

接著修改 /opt/solr/solr.xml，加入新的 core

重新啟動 tomcat。小蛙在這邊就遇到很多錯誤，因為資料夾是用 root 權限建立的，而 solr 並沒有這樣的權限可以存取，所以這邊要注意把 /opt/solr/news 下的檔案擁有權都改成 tomcat7 (看 tomcat user 叫什麼就改成那個)。

第二個要注意的事情是一切正常運作後，點選到 DataImport 頁面開始運行時，卻出現下面的錯誤

參考資料 1,2 中提到在 db-data-config.xml 中的 <dataSource 加上 batchSize=”-1″ 就可以解決這個問題囉！

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

參考資料

• Solr – User – problem on running fullimport
• DataImportHandler – Solr Wiki

這篇文章 Solr 教學 (5) – 建立新的 Core 最早出現於 記下來。

1. 修改 solrconfig.xml，這個是前幾篇提到 core 下面的，小蛙的目錄是 /opt/solr/example/conf，這邊 db-data-config.xml 可以改成自己想要的名字，也可以直接使用相對路徑，考慮可能會有移機的狀況，還是盡可能使用相對路徑。

   1 2 3 4 5

   <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">   <lst name="defaults">     <str name="config">db-data-config.xml</str>   </lst> </requestHandler>

2. 新增資料庫連線檔 db-data-config.xml，這個檔名是上面自己設定的，跟 solrconfig.xml 放在同一個目錄下即可。依自己的環境修改 url, user, password，以及 SQL 語法及欄位對應，這邊的 field name 是資料庫的欄位。

   01 02 03 04 05 06 07 08 09 10 11

   <dataConfig>   <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/test" user="myusername" password="mypassword"/>     <document name="mydocument">       <entity name="item" query="SELECT * FROM stockTable">         <field column="ID" name="id" />         <field column="SNO" name="no" />         <field column="SNAME" name="name" />         <field column="STYPE" name="type" />       </entity>   </document> </dataConfig>

3. 修改 schema.xml，改成自己的設定

   01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

   <?xml version="1.0" ?> <!--  Licensed to the Apache Software Foundation (ASF) under one or more  contributor license agreements. See the NOTICE file distributed with  this work for additional information regarding copyright ownership.  The ASF licenses this file to You under the Apache License, Version 2.0  (the "License"); you may not use this file except in compliance with  the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software  distributed under the License is distributed on an "AS IS" BASIS,  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  See the License for the specific language governing permissions and  limitations under the License. --> <schema name="example core zero" version="1.1">   <types>     <fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>     <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>   </types>   <fields>     <!-- general -->     <field name="id" type="string" indexed="true" stored="true" multiValued="false" required="true"/>     <field name="no" type="string" indexed="true" stored="true" multiValued="false" />     <field name="name" type="string" indexed="true" stored="true" multiValued="false" />     <field name="type" type="string" indexed="true" stored="true" multiValued="false" />     <!-- 這個 _version_ 如果拿掉會報錯 -->     <field name="_version_" type="long" indexed="true" stored="true"/>   </fields>   <!-- 主鍵 -->   <uniqueKey>id</uniqueKey>   <!-- 沒有設定欄位時的預設搜尋 -->   <defaultSearchField>name</defaultSearchField>   <!-- 空白串接關鍵字時預設使用 OR 或是 AND -->   <solrQueryParser defaultOperator="OR"/> </schema>

4. 這時候因為連結的是 MySQL，所以需要 mysql connector，假設使用的是 oracle 就要下載 ojdbc 來使用，MySQL Connector/J 到 MySQL 官網下載。選擇 Platform Independent 後下載壓縮檔，解壓縮後只需要裡面的 mysql-connector-java-x.x.xx-bin.jar 這個檔案，把這個檔案放在 solr lib 目錄下，以小蛙的環境為例，是直接放在 /var/lib/tomcat7/webapps/solr/WEB-INF/lib 目錄下，當 tomcat 啟動 solr 專案時就會自動被載入。
5. 到這邊似乎都沒問題，在小蛙準備要重新啟動 tomcat 讓設定生效的時候，卻一直出現這樣子的錯誤

   1 2 3 4 5 6 7 8

   org.apache.solr.common.SolrException: RequestHandler init failure ... Caused by: org.apache.solr.common.SolrException: RequestHandler init failure ... Caused by: org.apache.solr.common.SolrException: Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler' ... Caused by: java.lang.ClassNotFoundException: org.apache.solr.handler.dataimport.DataImportHandler ...

   錯誤真的要看清楚，小蛙當時只有看到前三個，一直以為是設定檔哪裡出錯，一個一個找了好久，才發現第四個錯誤 java.lang.ClassNotFoundException，上面這些錯誤都是因為根本找不到 org.apache.solr.handler.dataimport.DataImportHandler 引起的，在網路上搜尋了一下，有一些網友分享這個檔案存在於下載回來 solr 的 dist 目錄中，可以透過在 solrconfig.xml 中設定 lib 的讀取路徑，小蛙則是把 solr-dataimporthandler-4.5.0.jar, solr-dataimporthandler-extras-4.5.0.jar 這兩個 jar 直接複製到 /var/lib/tomcat7/webapps/solr/WEB-INF/lib 目錄中。

6. 重新啟動 tomcat 後，solr 畫面可以正常進入，左邊 Core Selector 下拉選單選到自己的 Core 後再選擇 DataImport，

   1 2 3 4 5 6 7

   // full-import : 全部匯入；delta-import : 只匯入變更部分 Command -> full-import // verbose 打勾可以看到詳細訊息 v Verbose // 選擇剛剛設定檔新增的名稱 Entity -> item 執行 Execute

   完成後可以看到「Indexing completed. Added/Updated: 12701 documents. Deleted 0 documents. (Duration: 14s)」

7. 大功告成！檢查看看是否正常匯入，點選左邊的 Query，測試 Execute Query 看看資料正不正確。

參考資料：

1. [Solr] Solr 學習筆記(五) 設定 Data Import Handler 直接從 MySQL 把資料匯入 @ 長島冰茶的工程師筆記
   
   http://wbkuo.pixnet.net/blog/post/156125771-%5Bsolr%5D-solr-%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98(%E4%BA%94)-%E8%A8%AD%E5%AE%9A-data-import-handler-%E7%9B%B4

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

這篇文章 Solr 教學 (4) – 使用 DataImport 匯入資料庫資料 最早出現於 記下來。

在測試這個功能的時候發生一個小插曲，以往設定完馬上就可以用了，這次測試時不管怎麼做都會出現 403 Forbidden 的錯誤，簡直是晴天霹靂，完全摸不著頭緒，已經設定好小蛙自己使用的 IP，還是一樣 403，最扯的是 127.0.0.1 本機測試也還是一樣的情況，在資訊這行經常會遇到靈異現象，可能要買一包綠色乖乖才可以，不過 VPS 主機在美國要怎麼辦呢 …

後來 … 突然想到一件事情，小蛙的網站有使用 CloudFlare 這個服務來加快網頁速度，CloudFlare 會根據使用者的設定，比如原本的 http://wazai.net/ 假設連結到小蛙的 IP (1.2.3.4)，這個 1.2.3.4 的 IP 是在美國紐約，現在有一個日本來的使用者連結了 http://wazai.net，此刻 CloudFlare 發現日本這邊也有一個 CloudFlare 伺服器，就會將日本的使用者連結到日本的 CloudFlare 伺服器以加快網站速度。

就在這個 moment，真正連到小蛙伺服器的 IP 就變成 CloudFlare 日本伺服器的 IP，而不是真正日本使用者的 IP，當然這邊 CloudFlare 也有提供自訂的 Header 可以取得原始日本使用者的 IP。

到這邊大概懂了 … 竟然被那麼奇怪的問題卡了那麼久 … 就是小蛙在測試的時候，也是連結 http://domain:8080/solr ，但真正收到的 IP 卻不是小蛙自己本身的 IP，而是接近小蛙位置的 CloudFlare Server IP，就連在本機 127.0.0.1 的時候也是一樣的狀況 … CloudFlare 為了避免這個問題，可以在網站上設定可以直接連接的 Domain，例如：domain 透過 CloudFlare，額外新增設定 nocf.domain 來避免使用 CloudFlare。

上教學！有兩種設定方式，一種是 Apache Tomcat 官網範例 提到的透過 web.xml 設定 <filter>，第二種是直接在 <Host> <Context> 等 Catalina Container 中設定。

透過 <filter>

1. <filter> 過濾器在每個專案下的 web.xml 中設定，在 <web-app> </web-app> 之間加入 <filter> 設定，IP 的部分設定為 1.2.3.4 改寫成 1\.2\.3\.4，IP 與 IP 之間以「|」分隔。

   1	# vim /var/lib/tomcat7/webapps/solr/WEB-INF/web.xml

   01 02 03 04 05 06 07 08 09 10 11 12

   <filter>   <filter-name>Remote Address Filter</filter-name>   <filter-class>org.apache.catalina.filters.RemoteAddrFilter</filter-class>   <init-param>     <param-name>allow</param-name>     <param-value>127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1</param-value>   </init-param> </filter> <filter-mapping>   <filter-name>Remote Address Filter</filter-name>   <url-pattern>/*</url-pattern> </filter-mapping>

2. 設定完成！重新啟動 tomcat。

透過 <Context>

1. 進入到 solr 個別設定檔，在 <Context> </Context> 之間加入 <Value />

   1	# vim /var/lib/tomcat7/conf/Catalina/localhost/solr.xml

   1 2	<Valve className="org.apache.catalina.valves.RemoteAddrValve"         allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1"/>

2. IP 設定規則同 <filter> 第一點。
3. 設定完成！重新啟動 tomcat。

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

這篇文章 Solr 教學 (3) – 以 Remote Address Filter 限制存取 最早出現於 記下來。

1. 瀏覽 http://domain:8080/solr 管理頁面時，需要做登入動作
2. 可透過 http://username:password@domain:port/solr/example/select?q=*%3A*&wt=json&indent=true 的方式進行資料查詢

直接開始：

1. 小蛙的環境是 Ubuntu 13.04 64bit + Solr 4.5.0 + tomcat 7，首先新增一個使用者角色

   1	# vim /var/lib/tomcat7/conf/tomcat-users.xml

   1 2 3 4

   <role rolename="solr_admin"/> <user username="your_username"       password="your_password"       roles="solr_admin"/>

2. 編輯網頁目錄下的 web.xml，在 <web-app> </web-app> 之間加入 <security-constraint> 設定

   1	# vim /var/lib/tomcat7/webapps/solr/WEB-INF/web.xml

   01 02 03 04 05 06 07 08 09 10 11 12 13

   <security-constraint>   <web-resource-collection>     <web-resource-name>Solr authenticated application</web-resource-name>     <url-pattern>/*</url-pattern>   </web-resource-collection>   <auth-constraint>     <role-name>solr_admin</role-name>   </auth-constraint> </security-constraint> <login-config>   <auth-method>BASIC</auth-method>   <realm-name>solr</realm-name> </login-config>

3. 重新啟動 tomcat，連到 http://domain:8080/solr 就可以看到要求登入畫面

   1	# service tomcat7 restart

4. 從 solr 管理頁面得到的 select 網址，在前面加上帳號:密碼也可以正常取得資料，如下。

   1	http://username:password@domain:port/solr/example/select?q=*%3A*&wt=json&indent=true

下一篇 Solr 教學 (3) – 以 Remote Address Filter 限制存取 將記錄怎麼使用 tomcat 7 內建的 Remote Address Filter 以 IP 的方式設定白名單或黑名單。

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

參考資料

• Securing Solr on Tomcat @ Telligent Community 6
• Tomcat URL Authentication e.g: https://user:password@app.wibble.com @ stackoverflow

這篇文章 Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面 最早出現於 記下來。

花了不少時間，怎麼 war 檔不是直接拉到 tomcat 目錄下就可以使用 … 這安裝也太麻煩了，先記錄下來，如果有什麼意外要再灌一次才知道怎麼弄。苦痛的記憶開始 … 小蛙的環境是：Ubuntu 13.04 64bit + Solr 4.5.0 + tomcat 7。

安裝 tomcat 7

apt-get install tomcat7

下載 solr 4.5，假設放在 /usr/src 下

cd /usr/src
wget http://apache.stu.edu.tw/lucene/solr/4.5.0/solr-4.5.0.zip

解壓縮 (如果沒有 unzip 就 # apt-get install unzip，不想安裝的話也可以到 這邊下載 tgz 版本)

unzip solr-4.5.0.zip

複製需要的 war 檔案到 tomcat 目錄下

cd solr-4.5.0
cp ./example/webapps/solr.war /var/lib/tomcat7/webapps/solr.war

建立 solr.xml 設定檔，底下的 /opt/solr 是 solr 的資料放置目錄

vim /var/lib/tomcat7/conf/Catalina/localhost/solr.xml

<?xml version="1.0" encoding="UTF-8"?>
<Context path="/solr" docBase="/var/lib/tomcat7/webapps/solr.war" crossContext="true" privileged="true" antiResourceLocking="false">  
  <Environment name="solr/home" type="java.lang.String" value="/opt/solr" override="true" />
</Context>

建立 solr 資料目錄，並新增 solr.xml 設定檔

mkdir -p /opt/solr
vim /opt/solr/solr.xml

<?xml version="1.0" encoding="UTF-8" ?>
<solr persistent="true">    
  <cores adminPath="/admin/cores">        
  <core name="example" instanceDir="example" />        
  <!-- adding extra cores!
  <core name="another_example" instanceDir="another_example_directory" />-->
  </cores>
</solr>

更改擁有者及群組

chown -R tomcat7:tomcat7 /opt/solr/example

複製必須的設定檔

cp /usr/src/solr-4.5.0/example/solr/collection1/conf/*.txt /opt/solr/example/conf/
cp /usr/src/solr-4.5.0/example/multicore/core0/conf/*.xml /opt/solr/example/conf/

增加以下設定 (參考資料1，先照著做)

vim /opt/solr/example/conf/solrconfig.xml

<requestHandler name="/update/csv" class="solr.CSVRequestHandler" startup="lazy"></requestHandler>
<requestHandler name="/admin/luke" class="org.apache.solr.handler.admin.LukeRequestHandler" />
<requestHandler name="/spell" class="solr.SearchHandler" startup="lazy">
	<lst name="defaults">
		<str name="spellcheck.onlyMorePopular">false</str>
		<str name="spellcheck.extendedResults">false</str>
		<str name="spellcheck.count">1</str>
	</lst>
	<arr name="last-components">
		<str>spellcheck</str>
	</arr>
</requestHandler>
<searchComponent name="suggest" class="solr.SpellCheckComponent">
	<lst name="spellchecker">
		<str name="name">suggest</str>
		<str name="classname">org.apache.solr.spelling.suggest.Suggester</str>
		<str name="lookupImpl">org.apache.solr.spelling.suggest.tst.TSTLookup</str>
		<str name="field">title</str>
		<str name="buildOnCommit">true</str>
	</lst>
</searchComponent>
<requestHandler name="/suggest" class="org.apache.solr.handler.component.SearchHandler">
	<lst name="defaults">
		<str name="spellcheck">true</str>
		<str name="spellcheck.dictionary">suggest</str>
		<str name="spellcheck.count">10</str>
	</lst>
	<arr name="components">
		<str>suggest</str>
	</arr>
</requestHandler>

這應該是一種報應，小蛙設定 Eclipse RSE 時不小心做了刪除動作，結果就把整個 tomcat/webapps 全刪了 … 照著上面的步驟重做一次後發現漏掉這一步 = =，把執行 solr 需要的 JAR 加入到 lib 資料夾中

cp /usr/src/solr-4.5.0/example/lib/ext/* /var/lib/tomcat7/webapps/solr/WEB-INF/lib/

重新啟動 tomcat

service tomcat7 restart

到這邊大致上就完成囉！如果沒有改 tomcat port 的話，http://your_domain:8080/solr 就可以連到 solr 囉！裡面只有剛剛複製的 collection1，之後開始新增 / 修改 / 刪除 資料時，再把過程記錄下來！

Solr 系列文章：

• Solr 教學 (1) – 安裝篇
• Solr 教學 (2) – tomcat 7 以帳號密碼限制存取頁面
• Solr 教學 (3) – 以 Remote Address Filter 限制存取
• Solr 教學 (4) – 使用 DataImport 匯入資料庫資料
• Solr 教學 (5) – 建立新的 Core

參考資料：

1. How to install SOLR 4.0 Cloud with Tomcat 7 on Ubuntu 12.04 LTS @ nodeX
   http://www.nodex.co.uk/article/10-12-12/how-to-install-solr-4-0-cloud-with-tomcat-7-on-ubuntu-12-04-lts

這篇文章 Solr 教學 (1) – 安裝篇 最早出現於 記下來。