Oracle – 記下來

Oracle, MySQL 分組編號與全排序編號 row_number, over, partition by

黃小蛙 — Fri, 17 Nov 2023 04:02:11 +0000

留給自己的一 memo，使用 Oracle 匯出資料的時候常常需要加上分組編號，這邊簡單記錄一下使用方法。

使用 ROWNUM 編號 (Oracle)

首先第一種情況是要從頭到尾做連續編號，如果使用 ROWNUM 做的話，會發現只要加了 ORDER BY，序號不會跟著順序重新編號，例如

SELECT rownum, t.* FROM TEST t

如果只是要簡單編號不考慮資料排序 (order by) 直接使用 ROWNUM 即可(下表左)，若加上排序後如下表右，順序並不會跟著變動。

1	B000636	無
2	B000637	無
3	F00001	原始
4	F00001	分類
5	F00002	原始
6	F00003	分類

使用 ROWNUM 加上編號

6	F00003	分類
5	F00002	原始
4	F00001	原始
3	F00001	分類
2	B000637	無
1	B000636	無

加上 ORDER BY 後

使用 row_number(), over() 全排序編號

這種時候借助 row_number() 與 over() 的幫忙就可以完成

SELECT row_number() over (order by no desc) seq, t.* FROM TEST t

1	F00003	分類
2	F00002	原始
3	F00001	原始
4	F00001	分類
5	B000637	無
6	B000636	無

使用 row_number() over () 後

使用 row_number(), over(partition by) 做 Oracle 分組編號

還有一種常見的需求是做分組編號，就是遇到同類型的時候，可以標註這是該類型的編號幾，只要在 over 中加入 partition by 要用來當作分組依據的欄位即可

SELECT t.no, row_number() over (partition by t.no order by t.no asc) seq, t.type FROM TEST t

B000636	1	無
B000637	1	無
F00001	1	原始
F00001	2	分類
F00002	1	原始
F00003	1	分類

加上分組編號

類似需求備忘：Oracle rownum / row_number / rank / dense_rank 這四個的差異

延伸閱讀：
MariaDB JSON_EXTRACT: 從 JSON 欄位取值

使用 Oracle sqlplus 將查詢結果匯出到檔案

黃小蛙 — Wed, 11 Aug 2021 11:54:28 +0000

小蛙又遇到不能用 GUI 來管理 Oracle 的專案了，其實跟 2012 年的時候遇到的這個是相同的專案（Oracle 使用 sqlplus 匯入 SQL 檔案），該篇記錄了怎麼把一堆要執行的 SQL 指令存入檔案中，並於 Oracle sqlplus 載入檔案執行，這篇文章為反向動作，將查詢的結果輸出到檔案內。

這個專案的環境很麻煩，在一個需要透過 VPN 連進去的內部環境，連上 VPN 之後就 … 斷網了，完全沒辦法對外，沒辦法 Google 查資料，對小蛙這種不專精的半調子來說存在一定難度，幸好有強大的同仁用 VM 的特殊大絕解決這問題，不過 VM 裡面連上 VPN 還是不能上網，但總算可以在本機 Google 資料，再手動把指令或語法手動輸入進去，對，沒錯，沒辦法複製貼上 Orz …

囉嗦一堆，進正題

set colsep ,
set headsep off
set pagesize 0
set linesize 10000
set trimspool on
set echo off

spool /home/hans/output

select * from image;

spool off

上面那些指令是參考 StackOverflow 多個答案來的，有些實際上在做什麼小蛙也不是很了解，但還是可以猜出大概是什麼，例如：colset 是設定欄位間的分隔符號(其他詳細設定請自行 Google)。小蛙遇到有問題的地方是 linesize 沒有設定，導致匯出的每一行都被切斷在莫名其妙的地方。其他 spool 輸出檔案路徑、select * from image; 要匯出結果的查詢 … 等等。

這指令已符合小蛙的需求，先備存，之後有其他需求再去查詳細的資料。以下是小蛙自己留存用的

// 相當於 mysql show tables;
select table_name from user_tables;

// 查找排序過的前 10 筆 (Top 10)
select rownum, t.* from ( 實際要運作的 SQL ) t where rownum < 10;

// 列出表格的所有欄位
select * from user_tab_columns A where A.table_name = 'IMAGE';
// 列出名稱、類型及長度
select column_name, data_type, default_length from user_tab_columns A where A.table_name = 'IMAGE';

// 複製 table 內所有資料
create table image_backup as select * from image;

// 表格建立的時間
select object_name, created, TIMESTAMP from user_objects where object_name = 'IMAGE';

// 修改表格
alter table IMAGE modify (file_name varchar2(300), index_term varchar2(1000));

// 格式變動完成
commit;

Oracle 系列文章：

這篇文章使用 Oracle sqlplus 將查詢結果匯出到檔案最早出現於記下來。

資料庫問題彙整

黃小蛙 — Fri, 04 Jun 2021 02:29:26 +0000

記錄一些遇到過 DB 相關錯誤訊息。

這些問題都是消耗時間換來的經驗，希望能節省有相同問題的您的時間，現在開始陸續補上 (但也可能偷懶後來就沒更新了 Orz …)

java.sql.SQLException: ORA-00932: inconsistent datatypes: expected – got CLOB

小蛙收到問題回報，在某個頁面的排序功能上會出現該錯誤，這個問題的解法很簡單，只是用來排序的欄位上出現 CLOB 格式，只要使用 to_char() 把 CLOB 轉成 CHAR 來做排序即可。例如：

// 原始 SQL
SELECT * FROM EXHIBITION ORDER BY clob_field DESC
// 改成
SELECT * FROM EXHIBITION ORDER BY to_char(clob_field) DESC

參考資料：來源1、來源2

這篇文章資料庫問題彙整最早出現於記下來。

Oracle 匯入/匯出 Excel (透過 SQL Developer)

黃小蛙 — Wed, 13 Mar 2013 07:28:51 +0000

昨天碰到一個情況，內容單位希望自己可以有辦法匯入匯出資料庫，不用每次都要透過技術組支援，這件事其實有好有壞，好的是內容單位可以自己處理很多事物，避免時程的耽擱；麻煩的地方在於，如果匯入的時候發生了什麼問題，到時候技術組可能會更頭痛，不過既然內容單位有了這樣的要求，小蛙就順手把文件記錄在這！

這裡使用的是 Oracle SQL Developer 官方免費 Client，下載及設定可參考這裡。直接上圖 + 說明！

【資料匯出成 Excel】

開啟 Oracle SQL Developer 後，在要匯出的資料表上點選滑鼠右鍵，選擇「匯出(B)…」。

由於只是要匯出資料，取消勾選「匯出DDL(E)」，勾選「匯出資料(O)」，格式選擇「xls」，選擇存放路徑(這邊要選擇單一檔案，不然會匯出空白的excel)，編碼也要選擇正確，否則會有亂碼的情況。

確認要匯出的資料，下方還可以設定只匯出某個條件下(where)成立的資料。

完整匯出資訊。

點選完成後，開始匯出動作。

匯出完成可以到剛剛指定的路徑，看到剛剛匯出的 Excel。

【從 Excel 匯入資料】

匯入的部份也同樣簡單，在要匯入的資料表中點選「匯入資料」，也可以直接選擇匯入資料後再選擇要匯入的資料表，小蛙在這邊建了一個TEST資料表以供匯入測試。

選擇要匯入的 Excel 檔案。

預覽要匯入的資料，看看從 excel 載入的資料正不正確，有沒有亂碼 … 等。

匯入方法選擇「插入」

這邊預設應該會全部先幫使用者選好，如果沒有的話，也可以自己選擇哪些欄位是要匯入的。

選擇欄位對應，如果這邊匯入跟匯出都有勾選表頭的話，會自動使用表頭的欄位名稱來進行對應，否則要自己一一核對。

真正匯入資料之前，可以點選「驗證」來看看這次的匯入匯不會有問題，如下圖提示在日期欄位發生錯誤。

確認無誤，點選完成後開始匯入。

打完收工！

Oracle 系列文章：

Excel 相關文章：

這篇文章 Oracle 匯入/匯出 Excel (透過 SQL Developer) 最早出現於記下來。

官方 Client – Oracle SQL Developer 安裝教學

黃小蛙 — Wed, 13 Mar 2013 07:04:03 +0000

之前大多使用 PL/SQL Dev 這套軟體，有些單位並沒有這套付費軟體，而且 Oracle 官方出的 Oracle SQL Developer 就已經很好用了，該有的功能都有，重點是免費的！這篇文章介紹怎麼安裝跟設定 Oracle SQL Developer。

下載 Oracle SQL Developer (http://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html)

電腦裡已安裝 JDK

Oracle SQL Developer for 32-bit Windows (This zip does not include a JDK)
To install and run:
– Ensure you have a JDK installed, if not, download here
(click the Download for JDK 6 Update , where is the latest update)
– Download the file above
– Extract sqldeveloper.zip into any folder, using folder names
– Within that folder, open the sqldeveloper folder
– Double-click sqldeveloper.exe

未安裝 JDK

Oracle SQL Developer for 32-bit Windows (This zip file includes the JDK1.6.0_11)
To install and run:
– Download the file above
– Extract sqldeveloper.zip into any folder, using folder names
– Within that folder, open the sqldeveloper folder
– Double-click sqldeveloper.exe

解壓縮 Oracle SQL Developer 後執行 sqldeveloper.exe。

如果剛剛下載的是第一個的話(不包含JDK)，第一次執行會要求指定JDK的位置(一定要選JDK的，選JRE的會有問題)，點選Browse…會跳出視窗供選取位置(下下圖)。

完成後會開啟軟體，這以下畫面直接點選確定即可。

點選連線下方的「+」後，選擇「資料庫連線」。

輸入資訊，點選「測試」，左下角出現「成功」字樣。儲存後點選連線。
IP: 輸入您的資料庫位址
SID: 輸入您的資料庫 SID
username : 資料庫帳戶
password : 資料庫密碼

管理介面如下圖：點選左邊的「表格」->右邊的「資料」頁籤，可以看到該表格所有資料。

可以直接在篩選條件輸入需要的條件。

在左方資料庫上點選右鍵，選擇「開啟SQL工作表」，可開啟手動輸入SQL功能。

自行輸入SQL畫面。

如果在執行的時候出現了下圖的錯誤，請參考這裡。

參考資料

Oracle 系列文章：

這篇文章官方 Client – Oracle SQL Developer 安裝教學最早出現於記下來。

Oracle 使用 sqlplus 匯入 SQL 檔案

黃小蛙 — Tue, 16 Oct 2012 12:30:50 +0000

小蛙上星期遇到一個棘手的問題，也才知道原來 Oracle 沒有了 GUI 介面之後是那麼樣的難操作 … 這篇文章紀錄一下關於如何把資料透過 Oracle start file (@ file) 的方式匯入沒有 GUI 介面的 Oracle。

聽起來好像不是什麼很大的問題，對大部分的資料庫老手來說，但對小蛙真的是個大問題，一直以來都是透過 GUI 操作 Oracle，真正遇到文字介面的時候還慌了一大下，問題是這樣的，某個 Tomcat + Oracle 的環境下，Tomcat 跟 Oracle 各為兩台不同機器，Tomcat 有對外 IP，而 Oracle 只能透過 Tomcat SSH (虛擬IP) 進去操作，由於環境內部幾乎所有 port 都被擋掉，連請同事打 tunnel 都沒辦法的情況下，只好使出將要匯入的資料先整理成 sql 檔案再匯入。

原本使用 PL/SQL 的 Export data 匯出 SQL Inserts，卻出現

Table xxx contains one or more CLOB columns.
Cannot export in SQL format, user PL/SQL Developer format instead.

如果使用 Oracle Export 會沒辦法達成小蛙要的需求(兩邊資料庫是不同的，加上還要額外另外匯入 Excel 的資料)，只好乖乖寫程式把要匯入的資料整理成 SQL Inserts format。怎麼把資料或 Excel 匯出成 SQL format 就不贅述了，有幾點要注意：

原本程式裡的 PreparedStatement 要全部寫成 Statement。
從 Excel 撈出的資料要檢查其正確性(單雙引號等特殊字元)。
JXL 對於 Date Format 的 Cell 撈出來後會有問題(這個在另一篇詳述)。

資料全部匯出之後，在 Oracle 機器下進入 sqlplus，首先小蛙第一次忘了把結果紀錄下來(spool filename)，到最後根本不知道哪些有問題哪些沒問題，只好乖乖的把資料刪掉重匯(好死不死竟然輸入了commit;)，這該死的資料庫，一個主表帶著一堆子表，並擁有 FK 關係，更令人噴飯的是通通沒有設定 on delete cascade … 只好，先一個一個子表清光光後，再清主表(這邊其實可以把既有的 FK 刪除，再新增有 on delete cascade 屬性的 FK，而且很怪的是 PL/SQL 可以使用 delete from table cascade 的語法，而在 Oracle sqlplus 中小蛙輸入卻發生錯誤)，好，清完之後第二次謹慎點！

SQL> spool import_result.log
SQL> @ import_file_name.sql
新增一筆資料
新增一筆資料
...
...
新增一筆資料
SQL> commit;
SQL> spool off

終於，大功告成。如果有更好的做法，還請各位高手不吝留言給小蛙，感恩萬分！

參考資料

Oracle Database – SQLPLUS常用指令 @ 資訊理想化的延伸

Oracle 系列文章：

Excel 相關文章：

這篇文章 Oracle 使用 sqlplus 匯入 SQL 檔案最早出現於記下來。

Oracle – 記下來

Oracle, MySQL 分組編號與全排序編號 row_number, over, partition by

使用 ROWNUM 編號 (Oracle)

使用 row_number(), over() 全排序編號

使用 row_number(), over(partition by) 做 Oracle 分組編號

與 Oracle 相關的文章

使用 Oracle sqlplus 將查詢結果匯出到檔案

資料庫問題彙整

java.sql.SQLException: ORA-00932: inconsistent datatypes: expected – got CLOB

Oracle 匯入/匯出 Excel (透過 SQL Developer)

【資料匯出成 Excel】

【從 Excel 匯入資料】

官方 Client – Oracle SQL Developer 安裝教學

電腦裡已安裝 JDK

未安裝 JDK

參考資料

Oracle 使用 sqlplus 匯入 SQL 檔案

參考資料