如何看待“爬虫”技术的发展，是否属于违法行为？

爬虫技术，又被称为网页蜘蛛，网络机器，正常情况下，每个网站上线都被爬虫爬到。爬虫技术最常用的领域就是搜索引擎，只有有搜索引擎，我们的网站才能被更多人搜索发现，但是爬虫技术也可能是获取用户隐私信息的关键技术，我们何看待“爬虫”技术的发展？