1. 大數據和Hadoop 研究學習大數據,自然要從Hadoop開始。 Hadoop不是一個簡單的軟件,而是有一些列軟件形成的生態,其核心思想來自Google當初發布的三篇論文,后來做了開源的實現, 谷歌的實現和Hadoop的實現大致可以做這樣的對應: Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase Hadoop生態的所有組成部分,都是跑在linux環境下的,自然我們首先需要搭建linux環境。另外Hadoop之所以能處理“大”數據,是因為其分布式的特性,可以利用分布式計算構建服務器集群,并可根據需要擴展。為了學習,我們先在本地計算機上利用虛擬機搭建linux環境,要模型集群環境,就多創建幾個虛擬機就可以了。 為了玩兒這套東西,因為要創建幾個虛擬機,所以的你的電腦內存最好不小于8G,因為跑Hadoop一般一個虛擬機需要2G,隨便開3臺虛擬機就占不少內存了。 不過前期為了學習,我先只給每臺虛擬機分配1G內存,后面不夠了在調整就行了。 2. 為什么選VirtualBox? 提起虛擬機,自然首先想到的就是大名鼎鼎的VMware。 VMware是老牌虛擬機軟件,網上教程也很多。我之所以選用VirtualBox,主要是因為license的問題。 我手頭只有一臺MacBook pro, 不想話太多時間在軟件license上折騰,所以選擇了免費的VirtualBox. VirtualBox的安裝過程乏善可陳,就是常規操作,不說了。 3. 虛擬機中安裝CentOS 前面提到,我的主力計算機是一臺MacBook Pro. 之前為方面,利用Parallel Desktop虛擬了一臺Windows 出來,這里不提。 linux系統我選擇了CentOS,首先從CentOS官網下載系統的ISO文件。在VirtualBox里新建一個虛擬機,類型選Linux,版本隨便選一個就行了,因為里面沒有看到有CentOS,不過隨便選一個也沒問題。 注意最好選一下文件夾,也就是虛擬機文件存放的位置,因為隨著裝的東西越來越多,虛擬機文件可能會越來越大。我的電腦硬盤都快撐滿了,所以掛了個外接硬盤,把虛擬機文件放在了外接硬盤上,需要時插上用,雖然不方便,但也只好將就了。 其他參數可以都按默認,虛擬機創建成功后,點設置,切換到存儲,在光驅那里選擇下載的CentOS系統的ISO文件,這樣虛擬機啟動后就可以進入CentOS的安裝了。 安裝CentOS7 操作系統也不說了,都是圖形化界面,沒什么難度。 4. 網絡環境配置遇到的坑 Linux安裝成功后的網絡設置這里需要說一下,我在這上面踩了不少坑。我希望我的網絡環境是這樣的。首先我們希望Linux虛擬機能夠連接互聯網,這樣以后需要下載什么組件時能方便些。其次希望能用Host機器也就是MacBook中訪問到Linux虛擬機,以便ssh登錄上去。VirtualBox默認的小窗口實在很小,看著眼花,雖然也可以調大,但畢竟在宿主下操作更方便些,所以還是需要從MacBook上ssh過去。但是請注意,CentOS剛剛安裝完成后是不能聯網的,還需要做相關的設置才行。 4.1 Linux虛擬機連接互聯網 虛擬機的網絡設置默認可選用“網絡地址轉換NAT” ,虛擬機會創建一個NAT網絡。 虛擬機安裝后默認沒有開啟網絡,所以不能聯網,需要啟動虛擬機,登錄后更改網絡配置。 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 把ONBOOT修改為yes,以便讓linux 啟動后即啟動網絡。 更改后按ESC,然后 :wq 退出保存。可以不用重啟,通過下面的命令重啟網絡服務,以便使更改生效。 systemctl restart network 這時候可以通過命令 ``` ip addr``` 查看,你會看到網絡已經有了一個IP地址,比如我的是 10.0.2.15。如圖: 現在你如果ping www.baidu.com,應該發現已經能夠聯網了。 4.2 從宿主機Macbook訪問Linux虛擬機 另外,但從主機Macbook還是不能ping通這個地址,就是說主機還不能訪問虛擬機。要讓主機MacBook和虛擬機linux互通,就需要讓這兩個機器在同一個網段里。 VirtualBox里的“管理”菜單下,打開“主機網絡管理器”,創建一個,如圖,可以看到創建了一個192.168.56.1的虛擬網卡。 這時候如果你在MacBook的終端中使用ifconfig命令查看,你會發現,多出來一個vboxnet0的網卡,ip地址就是192.168.56.1 danieldu@daniels-MacBook-Pro-857 ~ ifconfig lo0: flags=8049 mtu 16384 options=1203 inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options=201 gif0: flags=8010 mtu 1280 stf0: flags=0<> mtu 1280 en0: flags=8863 mtu 1500 ether ac:bc:32:c1:ed:dd inet6 fe80::1c82:47a:64f:460f%en0 prefixlen 64 secured scopeid 0x4 inet 192.168.31.46 netmask 0xffffff00 broadcast 192.168.31.255 nd6 options=201 media: autoselect status: active .... vboxnet0: flags=8943 mtu 1500 ether 0a:00:27:00:00:00 inet 192.168.56.1 netmask 0xffffff00 broadcast 192.168.56.255 utun1: flags=8051 mtu 1380 inet6 fe80::f655:9c6f:ca10:240e%utun1 prefixlen 64 scopeid 0xc nd6 options=201 ... 然后需要VirtualBox中對應的虛擬機設置中,增加一個網卡2. 選擇“僅主機(Host-Only)網絡”,界面名稱就是之前看到的vboxnet0. 然后登錄到虛擬機, 利用“ip addr” 命令查看,你會發現多出來一個網卡enp0s8。 從enp0s3 復制一個,然后編輯這個文件,這次更改為固定IP地址。 cp /etc/sysconfig/network-scripts/ifcfg-enp0s3/etc/sysconfig/network-scripts/ifconfig-enp0s8 然后 重啟網絡 "systemctl restart network". 這時候就可以從主機Macbook 訪問虛擬機了。 4.3關閉Linux防火墻 從上面的設置看到, 主機MacBook 的IP是 192.168.56.1, 虛擬機Linux設置了靜態地址為 192.168.56.100. 現在已經在一個網段內了,應該內ping通。如果你ping不通,那很可能是防火墻的問題。 首先MacBook要關閉防火墻。 然后確保虛擬機Linux的也關閉防火墻,默認防火墻是開著的。 檢查一下ssh服務,默認應該是開著的 你現在應該能從mac的終端通過ssh登錄到linux了。 總結 以上所述是小編給大家介紹的在Mac上利用VirtualBox搭建本地虛擬機環境的方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對17站長網的支持! |
免責聲明:本站部分文章和圖片均來自用戶投稿和網絡收集,旨在傳播知識,文章和圖片版權歸原作者及原出處所有,僅供學習與參考,請勿用于商業用途,如果損害了您的權利,請聯系我們及時修正或刪除。謝謝!
始終以前瞻性的眼光聚焦站長、創業、互聯網等領域,為您提供最新最全的互聯網資訊,幫助站長轉型升級,為互聯網創業者提供更加優質的創業信息和品牌營銷服務,與站長一起進步!讓互聯網創業者不再孤獨!
掃一掃,關注站長網微信
當我們在共享網絡訪問的時候,可能會遇到提示指定的網絡名不再可用的問題,這可能是由于我們的共享網絡出現了錯誤,也可能是被共享的對象所拒絕了。指定的網絡名 ......
文/曹楊 原標題:誰還看電視? 爸爸戴一副老花鏡,媽媽戴一副近視鏡,一人坐在沙發,一人躺在床上,各自刷著自己關注的博主更新的短視頻。電視也許開著,但只是背景。 這樣的畫面,幾乎成了洛奇家的常 ...
1、首先進入到“百度”軟件中, 2、然后在其中輸入“百度識圖”, 3、之后點擊圖中的“開始使用”按鈕, 4、緊接著點擊右下角的“相冊”功能, 5、在相冊下 ......
圖片來源于簡書 文/郭開森 楊帆 陸玖財經準備開新欄目了,每周一創始人郭開森和楊帆合體郭德帆,對行業進行一些觀察和評論,第一篇我們仍是打算寫社區團購,這是當下最火的話題。 來過陸玖財經做客的朋友們...
一、軟件沖突1、首先確認是否是應用程序沖突導致的。2、查看是否只有特定幾個游戲或應用會導致該問題。3、如果是應用沖突,那么只要卸載這些app就可以解決了。二 ......
電腦端:1、大家可以點擊右邊鏈接進入網頁版的百度網盤,進入之后點擊“去登錄”。https://pan.baidu.com/2、之后正確的輸入賬號密碼進行登錄就好啦。手機端:1 ......
一、N100對比intel i3 1、N100的跑分達到了147210分,這個數據可以達到i3的七代級別。 2、在跑分上也是超越了大部分的I3七代CPU,不過比I3八代要弱勢一些。 3 ......
在填寫一些項目申請書中,總是免不了要選擇一些數字,但是在方框中如何插入數字,該怎么辦呢?那么下面就由學習啦小編給大家分享下word在方框里輸入數字的技巧, ......
8月15日消息 上周,有媒體報道前身為百度圖片的“榴蓮”APP含有大量不雅視頻內容被用戶舉報。對此,百度圖片官方進行了回應,百度圖片表示已經對報道中所涉及的“生吃旋風哥”等爭議內容進行了下線處理。 此外,百度...
WPS Office手機版怎么加橫線?很多用戶還不知道WPS Office手機版怎么加橫線,WPS Office手機版怎么加橫線,WPS Office手機版怎么打橫線,WPS Office手機版怎么弄 ......
迅雷前綴是什么 答:迅雷前綴是(magnet:?xt=urn:btih:)括號里的就是了。 我們只要在這段文字之后輸入后續的內容,就可以創建下載鏈接了。 1、磁力鏈接不基于文 ......
一、內容特權。 1、半價點播。 許多站內視頻都需要付費觀看,而大會員用戶可以直接半價享受; 購買成功后的48h內無限次觀看。有部分的內容是只限在中國大陸內觀 ......
1、首先打開小米運動的“實驗室功能”。 2、接著點擊“門卡模擬”。 3、然后點擊“我知道了”。 4、最后貼近就可以刷卡成功了。...
答:華為P系列: 華為p40,華為p40plus,華為p50,華為p50e,華為p60 華為mate系列: 華為mate40,華為mate50,華為mate50e,華為mate60 華為nova系列: 華為n ......
近期有用戶反映,電腦在更新Windows 11 Insider Preview 25252.1000后,出現了應用和已壓縮的文件點擊毫無反應,拖拽都不行,只能從開始菜單打開的情況,這是怎 ......
可見單元格就是不包括隱藏或者篩選篩選后隱藏起來的單元格區域。方法:篩選或隱藏數據,復制需要粘貼的值,在目標單元格區域左上角的第一個單元格處右擊,選擇【 ......
答:驍龍8+更好。 驍龍7+gen2實際上就是驍龍8+的低配版本。 在一些其他的核心架構方面都是保持一致的,比如說CPU的架構、GPU的架構等等。 驍龍7+和驍龍8+具體 ......
文/黎明 一場針對中國互聯網巨頭的反壟斷風暴正在醞釀,而且這次動真格了。 11月10日,國家市場監管總局發布《關于平臺經濟領域的反壟斷指南(征求意見稿)》,要加大對互聯網巨頭涉嫌壟斷的調查和監管。 ...
win11系統如何釋放掉系統默認保留的存儲空間?一般情況下,Windows會保留一些存儲空間,以便設備獲得良好性能和成功更新。但是當出現系統盤儲存空間不足時,我們會將幾個G的保留空間釋放出來,以解燃眉之急。本期教...
文件被win10系統誤報病毒自動刪除了如何進行恢復?有用戶下載了某些破解軟件卻被Win10系統誤認為是病毒文件而自動刪除,當然系統自帶殺毒軟件其實挺不錯的,就是有時候會誤報,大家遇到這種情況的時候就希望把誤刪的...
1、先打開機頂盒進入主界面,并且使用遙控器打開設置。 2、然后選擇“賬號與安全”,并且進入。 3、最后往下面翻就可以看到“ADB調試”的選項,直接開啟就行了 ......
答:在3DMark壓力測試當中,顯卡需要超高97%才能夠算合格,證明顯卡的穩定性是過關的。 1、一般的默認情況下在2500~3000分就算很正常的了。 2、分數越高說明顯卡 ......
羅技g304dpi燈顏色代表什么:1、藍色:這種情況是正常工作的顯示,如果說是常亮或者閃爍,那都沒有問題這是在正常工作呢。2、紅色:如果說是紅燈閃爍的話那就是 ......
win11系統快速跳過聯網創建本地管理賬戶3種方法?現在市面上銷售的品牌筆記本和臺式機基本上都預裝Windows11家庭中文版正版操作系統,聯網后系統會自動激活。當用戶拿到新機器后還需要按照cortana(小娜)的提示一步...
答:中高端水平 i513500hx在處理器當中是處于一個中高端的水平。 i513500hx是第十一代酷睿處理器系列的一員,基礎頻率為2.4GHz,表現十分的不錯。 i513500hx介 ......
我們經常用WPS的時候,如果需要輸入波浪號~,會發現鍵盤上的波浪號輸入之后在最上面,但是為了美觀,我們希望波浪號顯示在中間。這里總結了三個方法分享給大家 ......
相信有非常多使用過筆記本的用戶都聽說過獨顯直連這個詞,但很多用戶并不了解獨顯直連是什么,又有什么用處,那么下面就和小編一起來看看什么是獨顯直連和開啟這 ......
win11系統開機總是自動登錄OneDrive如何關閉?win11系統開機的時候,會自動啟動OneDrive,不想要啟動,該怎么操作呢?下面我們就來看看詳細的教程。 在OneDrive界面點小齒輪按鈕,下拉菜單中點【設置】。 單擊【...
打開軟件,直接填寫就可以。 1、下載安裝easyconnect軟件, 2、打開easyconnect應用,在如圖所示的“服務器地址”一欄輸入如圖所示網址,點擊“連接”, 3、等 ......