Pig Latin的 DIFF() 函數(shù)用于比較元組中的兩個(gè)包（字段）。它需要一個(gè)元組的兩個(gè)字段作為輸入并匹配它們。如果它們匹配，則返回一個(gè)空包。如果它們不匹配，它將找到存在于一個(gè)字段（包）中而在另一個(gè)字段中找不到的元素，并通過將它們打包進(jìn)包中來返回這些元素。

語法

下面給出了 DIFF() 函數(shù)的語法。

grunt> DIFF (expression, expression)

例

通常， DIFF() 函數(shù)比較元組中的兩個(gè)包。下面是它的例子，這里我們創(chuàng)建兩個(gè)關(guān)系，將它們cogroup，并計(jì)算它們之間的差異。假設(shè)在HDFS目錄 /pig_data/ 中有兩個(gè)文件，即 emp_sales.txt 和 emp_bonus.txt ，如下所示。 emp_sales.txt 包含銷售部門員工的詳細(xì)信息， emp_bonus.txt 包含獲得獎(jiǎng)金的員工詳細(xì)信息。

emp_sales.txt

1,Robin,22,25000,sales 
2,BOB,23,30000,sales 
3,Maya,23,25000,sales 
4,Sara,25,40000,sales 
5,David,23,45000,sales 
6,Maggy,22,35000,sales

emp_bonus.txt

1,Robin,22,25000,sales 
2,Jaya,23,20000,admin 
3,Maya,23,25000,sales 
4,Alia,25,50000,admin 
5,David,23,45000,sales 
6,Omar,30,30000,admin

分別使用關(guān)系 emp_sales 和 emp_bonus 將這些文件加載到Pig中。

grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
	
grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);	

使用COGROUP運(yùn)算符和鍵 sno，將關(guān)系 emp_sales 和 emp_bonus 的記錄/元組分組，如下所示。

grunt> cogroup_data = COGROUP emp_sales by sno, emp_bonus by sno;

使用 DUMP 運(yùn)算符驗(yàn)證關(guān)系 cogroup_data ，如下所示。

grunt> Dump cogroup_data;
  
(1,{(1,Robin,22,25000,sales)},{(1,Robin,22,25000,sales)}) 
(2,{(2,BOB,23,30000,sales)},{(2,Jaya,23,20000,admin)}) 
(3,{(3,Maya,23,25000,sales)},{(3,Maya,23,25000,sales)}) 
(4,{(4,Sara,25,40000,sales)},{(4,Alia,25,50000,admin)}) 
(5,{(5,David,23,45000,sales)},{(5,David,23,45000,sales)}) 
(6,{(6,Maggy,22,35000,sales)},{(6,Omar,30,30000,admin)})

計(jì)算兩個(gè)關(guān)系之間的差異

現(xiàn)在讓我們使用 DIFF() 函數(shù)計(jì)算兩個(gè)關(guān)系之間的差異，并將其存儲(chǔ)在關(guān)系 diff_data 中，如下所示。

grunt> diff_data = FOREACH cogroup_data GENERATE DIFF(emp_sales,emp_bonus);

驗(yàn)證

使用DUMP運(yùn)算符驗(yàn)證關(guān)系 diff_data ，如下所示。

grunt> Dump diff_data;
   
({}) 
({(2,BOB,23,30000,sales),(2,Jaya,23,20000,admin)}) 
({}) 
({(4,Sara,25,40000,sales),(4,Alia,25,50000,admin)}) 
({}) 
({(6,Maggy,22,35000,sales),(6,Omar,30,30000,admin)})

如果 emp_bonus 和 emp_sales 中的記錄匹配，則 diff_data 關(guān)系將是空元組。在其他情況下，它將保存來自兩個(gè)關(guān)系（不同的元組）的元組。

例如，如果將 sno 的記錄視為 1 ，那么會(huì)發(fā)現(xiàn)它們?cè)趦蓚€(gè)關(guān)系中都是相同的((1，Robin，22,25000，sales),(1，Robin，22,25000，sales))。因此，在 diff_data 關(guān)系中，將為 sno 1 得到一個(gè)空元組，它是 DIFF() 函數(shù)的結(jié)果。