http://localhost:1313/tags/emr/ Recent content in Emr on GeminiXiang Hugo zh-tw Wed, 17 Aug 2022 15:55:28 +0800 http://localhost:1313/posts/aws-emr-%E6%A8%A1%E5%BC%8F%E5%B7%AE%E7%95%B0/ Wed, 17 Aug 2022 15:55:28 +0800 http://localhost:1313/posts/aws-emr-%E6%A8%A1%E5%BC%8F%E5%B7%AE%E7%95%B0/ <h1 id="mode">Mode</h1> <blockquote> <ol> <li>Client mode</li> <li>Cluster mode</li> </ol> </blockquote> <h2 id="差異點">差異點</h2> <hr> <blockquote> <p>driver 放置的位置</p> </blockquote> <table> <thead> <tr> <th></th> <th>driver放置於</th> </tr> </thead> <tbody> <tr> <td>Client</td> <td>Master</td> </tr> <tr> <td>Cluster</td> <td>Slave(Worker)其中一台</td> </tr> </tbody> </table> <h2 id="影響層面">影響層面</h2> <hr> <ul> <li> <ol> <li>Memory 設定</li> </ol> </li> </ul> <blockquote> <p>啟動Job時，是否要指定memory的使用量</p> </blockquote> <table> <thead> <tr> <th></th> <th>Memory設定</th> </tr> </thead> <tbody> <tr> <td>Client</td> <td>都可</td> </tr> <tr> <td>Cluster</td> <td>指定比較優，因為driver預設2GB</td> </tr> </tbody> </table> <ul> <li> <ol start="2"> <li>機器壞掉時影響層面</li> </ol> </li> </ul> <table> <thead> <tr> <th></th> <th>EC2壞掉影響層面</th> <th>worker記憶體量</th> </tr> </thead> <tbody> <tr> <td>Client</td> <td>千萬不能壞Master，需要額外的重啟流程</td> <td>優</td> </tr> <tr> <td>Cluster</td> <td>壞帶有driver的worker時，master會協助重啟</td> <td>少</td> </tr> </tbody> </table> <h2 id="小結論">小結論</h2> <p>Client 適合中小型</p> <table> <thead> <tr> <th></th> <th>適合情境</th> </tr> </thead> <tbody> <tr> <td>Client</td> <td>Master/Slave 在同一網路內</td> </tr> <tr> <td>Cluster</td> <td>Master/Slave 在不同網路內</td> </tr> </tbody> </table>