HN에게 물어보세요: 사고 실험: AGI가 우리가 좋아하지 않는 답을 제공한다고요?
hackernews
|
|
{'이벤트': '📰', '머신러닝/연구': '📰', '하드웨어/반도체': '📰', '취약점/보안': '📰', '기타 AI': '📰', 'AI 딜': '📰', 'AI 모델': '📰', 'AI 서비스': '📰', 'discount': '📰', 'news': '📰', 'review': '📰', 'tip': '📰'} 머신러닝/연구
#agi
#머신러닝
#사고 실험
#인공지능 윤리
요약
AGI 출현에 대한 대부분의 논의는 그것이 모든 인류를 파괴하거나 모든 인류의 문제를 마법처럼 해결하는 것에 초점을 맞춥니다.<p>AGI가 출현하고 우리의 신념과 충돌하는 솔루션을 제공한다는 것에 대해서는 전혀 논의되지 않았습니다(반례에 관심이 있습니다). (이 실험의 목적에 따라 자기 개선 AGI가 우주적 수준의 지식에 도달하고 항상 정답을 제공한다는 아이디어가 있다고 가정합니다.)</p><p>예 1: AGI에게 전염병을 해결하도록 요청하고 그에 대한 대응으로 백신 제제를 얻습니다.
왜 중요한가
본문
Most discussion of AGI emerging focus either on it destroying all of humanity, or it magically solving all of humanity'woes.<p>Never discussed (I am interested in counterexamples) is AGI emerging and giving us solutions that clash with our convictions. (I am assuming, for the intent of this though experiment, the idea a self-improving AGI reaches cosmic levels of knowledge and always gives the correct answers).</p><p>Example 1: ask AGI to solve a pandemic, get a vaccine formula in response.</p><p>Example 2: ask AGI how to cure cancer, get the answer "universal health care, ban this list of chemicals, don't eat meat and don't drink alcohol".</p><p>Example 3: ask AGI to solve crime, get the answer "constant surveillance of everyone everywhere, and ban cash".</p><p>Example 4: ask AGI to solve genetic diseases, get the answer "eugenism".</p><p>There are a lot of stories of AI and humans fighting each other because the AI wants to wipe humanity, but one can imagine a version where humans want to unplug an omnipotent AI because it wants to help humanity but is seen as "too woke" or "communist" or "fascist"... There is no reason to think an AGI won't give us answers already given by scientists and technocrats.</p>